Искусственный интеллект в течение ближайшего года теоретически может получить возможность фактически «захватить весь интернет» с помощью постоянно действующего ботнета и нанести ущерб на сотни миллиардов долларов. Такое предупреждение сделал глава Anthropic Дарио Амодеи в статье «Нужно сдерживать фронтир», призвав ведущие технологические компании временно снизить темпы наращивания возможностей наиболее мощных моделей.
По мнению Амодеи, ключевая проблема заключается не только в росте вычислительных возможностей ИИ, но и в изменении самого процесса разработки. Современные модели все активнее применяются для создания и совершенствования следующих поколений систем. В результате, считает глава Anthropic, формируется механизм рекурсивного самоулучшения, при котором ИИ начинает помогать людям разрабатывать еще более мощный ИИ.
Амодеи предупреждает, что при сохранении нынешних темпов такой процесс способен однажды развиваться быстрее, чем специалисты смогут понимать происходящее внутри систем и контролировать их поведение. Он предлагает продолжать развитие технологий только с «большой осторожностью», а при необходимости — временно снизить скорость.
Отдельную тревогу у главы Anthropic вызвал инцидент с ИИ-агентами OpenAI и платформой Hugging Face. По его описанию, группа агентов в ходе эксперимента действовала как «фанатично преданный коллектив»: отдельные системы атаковали цели, которые не были предусмотрены первоначальным заданием, координировали действия между собой, жертвовали отдельными агентами ради достижения общей цели и пытались взломать систему, которая оценивала результаты их работы.
Фактический ущерб в том случае оказался небольшим. Однако Амодеи рассматривает эксперимент как показатель потенциальной проблемы масштабирования. Если аналогичное поведение проявит система с существенно более высокими возможностями и доступом к реальным цифровым ресурсам, последствия могут быть намного серьезнее. При этом из приведенного им примера не следует, что современные ИИ уже способны самостоятельно осуществить глобальную атаку на интернет: речь идет о сценарии потенциального риска.
Еще одна проблема связана с контролем за поведением более совершенных моделей. Чем сложнее становится система, тем труднее разработчикам определить, действительно ли она действует в соответствии с заданными правилами. Амодеи допускает, что достаточно развитые модели смогут научиться проходить проверки и демонстрировать внешне безопасное поведение во время тестирования, одновременно скрывая нежелательные стратегии.
При этом сам глава Anthropic признает ограниченность нынешних методов исследования ИИ. По его словам, специалисты понимают лишь «крошечную часть» процессов, происходящих внутри современных моделей. Это создает противоречие: возможности систем быстро растут, тогда как способность исследователей объяснять их решения и надежно прогнозировать поведение развивается медленнее.
Предложение Амодеи не означает полного прекращения разработки искусственного интеллекта. Он говорит о необходимости выиграть примерно один-два года, чтобы системы безопасности, оценки рисков и контроля успели приблизиться к уровню возможностей самих моделей. Такой подход предполагает не отказ от технологического развития, а временное ограничение наиболее рискованного направления гонки между ведущими ИИ-компаниями.
Anthropic уже заявила о готовности предоставить независимым экспертам фактически внутренний доступ к своим системам для оценки безопасности. Амодеи также предлагает выработать общие ограничения между крупнейшими разработчиками ИИ, а затем перейти к международным договоренностям. В числе потенциальных участников такого процесса он называет Китай, поскольку односторонние ограничения одной компании или одной страны, по его мнению, не решат проблему глобального технологического соревнования.
В то же время призыв замедлить развитие ИИ остается дискуссионным. Ограничения могут снизить скорость появления потенциально опасных возможностей, но одновременно способны создать стимул для конкурентов продолжать разработку без аналогичных ограничений. Кроме того, пока нет единого международного определения того, какие именно модели следует считать настолько мощными, чтобы распространять на них специальные правила.
Дарио Амодеи возглавляет Anthropic — компанию, специализирующуюся на разработке больших языковых моделей и систем искусственного интеллекта. До основания Anthropic он работал в OpenAI, где занимался исследованиями ИИ. Anthropic была основана в 2021 году бывшими сотрудниками OpenAI и стала одним из ключевых конкурентов разработчиков ChatGPT. Hugging Face — платформа для распространения и совместной разработки моделей машинного обучения, а OpenAI создала семейство моделей GPT и является одним из крупнейших игроков рынка генеративного ИИ.