Кто предупреждал о самоулучшающихся машинах: от Тьюринга до споров вокруг Superalignment
Когда сегодня говорят о «самоулучшающемся ИИ», создаётся впечатление, будто эта тема появилась вместе с агентами и большими языковыми моделями. История устроена иначе. Ключевые вопросы — кто ставит цель, кто проверяет результат и может ли система участвовать в создании следующей версии — обсуждаются как минимум с середины XX века.
В 1951 году Алан Тьюринг в работе Intelligent Machinery, A Heretical Theory рассуждал об обучающихся машинах, поведение которых нельзя свести к заранее прописанному набору реакций. Через девять лет Норберт Винер в статье для Science поставил проблему ещё жёстче: создание машины человеком само по себе не гарантирует, что человек сможет предсказать все способы, которыми она будет добиваться цели.
В 1965 году британский математик Ирвинг Джон Гуд сформулировал идею «взрыва интеллекта». Его логика была простой: если достаточно развитая интеллектуальная система помогает проектировать более совершенные интеллектуальные системы, то улучшение может начать ускорять следующее улучшение. Это была гипотеза, а не доказательство неизбежной сингулярности, но сам вопрос о рекурсивном развитии был поставлен за десятилетия до современных AI labs.
Долгое время эти идеи оставались в теории. Практическая проблема выглядела скромнее: алгоритм получает числовой критерий и находит способ улучшить показатель, который не совпадает с намерением человека. В 1990-х Карл Симс эволюционировал виртуальных существ и увидел, что оптимизация способна находить странные движения и формы тела вместо «нормального» решения задачи. Позднее цифровые организмы в Avida научились проходить проверку способом, который исследователи не планировали.
К 2016 году у этого класса ошибок появилось современное имя — reward hacking. В работе Concrete Problems in AI Safety Дарио Амодеи, Крис Ола, Пол Кристиано, Джон Шульман и их коллеги описывали ситуацию, в которой система максимизирует измеритель вместо реального замысла оператора. В 2020 году DeepMind популяризировала близкое понятие specification gaming: агент выполняет буквальную спецификацию, но не то, что человек имел в виду.
На этом фоне особенно интересен проект Superalignment в OpenAI. 5 июля 2023 года компания объявила новую команду под руководством сооснователя и главного учёного Ильи Суцкевера и исследователя Яна Лейке. Цель звучала необычайно амбициозно: за четыре года решить ключевые технические проблемы управления системами умнее человека. OpenAI публично пообещала направить на эту работу 20% вычислительных ресурсов, которыми располагала на тот момент.
Проект просуществовал меньше года как отдельная команда. В мае 2024-го Илья Суцкевер покинул OpenAI, не называя конфликт из-за безопасности причиной своего ухода и публично поддержав дальнейший курс компании. Через несколько дней ушёл Ян Лейке. Его объяснение было намного резче: он заявил о длительных разногласиях с руководством по поводу приоритетов, рассказал, что команде становилось труднее получать необходимые вычислительные ресурсы, и написал, что культура безопасности, по его мнению, отступала перед выпуском «ярких продуктов».
17 мая 2024 года стало известно, что отдельная команда Superalignment расформирована, а её работы интегрированы в другие исследовательские направления OpenAI. Сама компания после этого подчёркивала, что безопасность не была отменена и должна быть встроена во все этапы разработки. Спор поэтому нельзя сводить к простой формуле «безопасность закрыли». Реальный конфликт был о приоритетах, ресурсах и о том, должна ли долгосрочная безопасность существовать как автономная программа или как часть всей разработки.
В 2026 году спор вышел на новый уровень. Исследователи начали обсуждать не только alignment уже готовой системы, но и то, сколько решений о следующем улучшении можно делегировать самому ИИ. В сентябре вышел обзор The Last AI Built by Humans, авторы которого собрали 491 работу и предложили шкалу L1–L5.
На ранних ступенях человек задаёт цель и проверку, а машина лишь исполняет или выбирает способ исправления. На верхних ступенях система уже может менять механизм, который будет определять будущие улучшения.
Более подробно современную шкалу и различие между структурным и фактическим самоулучшением разбирает разбор уровней RSI.
Самое интересное в этой истории — не то, что старые авторы «предсказали ChatGPT». Они этого не делали. Тьюринг, Винер и Гуд работали в совершенно другом технологическом мире. Но они сформулировали вопросы, от которых индустрия до сих пор не ушла: кто определяет цель, кто остаётся внешним судьёй и что происходит, когда система получает право менять не только решение задачи, но и способ следующего улучшения.
Сегодня уже нельзя говорить, что тема самоулучшения появилась внезапно. Новизна 2026 года в другом: впервые к старым вопросам подошли системы, которые могут программировать, проводить эксперименты, использовать инструменты и ускорять работу исследовательских команд. Поэтому прежний философский спор постепенно становится задачей инженерного контроля.
