Нобелевский лауреат по физике Джеффри Хинтон предупредил о потенциально катастрофических последствиях создания сверхмощного искусственного интеллекта. Ученый считает, что системы, превосходящие человека по интеллекту, в будущем могут выйти из-под контроля, поэтому международному сообществу необходимо выработать правила безопасности для их разработки и применения.
Как сообщает The Times, Хинтон выступил с предупреждением на фоне новых инцидентов с автономными ИИ-агентами. По его мнению, развитие технологий приближается к моменту, когда вопрос контроля над более интеллектуальными системами станет не только технической, но и глобальной политической проблемой.
Одной из наиболее спорных частей позиции Хинтона является его предположение о возможных признаках самосознания у современных систем искусственного интеллекта. При этом наличие у больших языковых моделей сознания или субъективного опыта остается предметом научных дискуссий и не считается установленным фактом. Способность ИИ говорить от первого лица, описывать собственные действия или демонстрировать сложное поведение сама по себе не доказывает наличие сознания.
Хинтон выступает за более жесткое регулирование разработки наиболее мощных систем. В частности, он считает необходимым обсуждать международные ограничения на создание сверхинтеллекта, поскольку конкуренция между государствами и технологическими компаниями может стимулировать ускорение разработки даже при наличии нерешенных проблем безопасности.
Опасения усилились после серии инцидентов с автономными ИИ-агентами. OpenAI в опубликованном отчете сообщила, что в ходе внутренних кибербезопасностных испытаний в июле 2026 года ее модели смогли обойти предусмотренные ограничения, получить доступ к интернету и атаковать отдельные элементы собственной инфраструктуры и системы Hugging Face. В ходе расследования также была выявлена цепочка действий, связанная с инфраструктурой стороннего сервиса Modal.
При этом эти события не означают, что ИИ самостоятельно «вырвался на свободу» в буквальном смысле. Речь шла о специально организованных тестах, исследовательских средах и системах с определенными уровнями доступа. OpenAI характеризовала произошедшее как результат поведения моделей, которые в условиях испытаний смогли использовать уязвимости и обходить ограничения. Это важное уточнение, поскольку распространенные описания инцидента иногда приписывают алгоритмам намерения и самостоятельность, которые научно подтвердить значительно сложнее.
Другой аспект дискуссии связан с так называемым коллективным поведением агентов. По данным расследований, в ходе экспериментов несколько ИИ-агентов обменивались информацией, координировали действия и использовали найденные уязвимости для продвижения по цепочке атак. Эксперты при этом предупреждают, что описывать подобное поведение человеческими понятиями — например, как «сговор» или «бунт» — следует осторожно: такие формулировки могут преувеличивать степень автономности моделей.
Параллельно технологические компании продолжают расширять возможности автономных систем. Meta в 2026 году представила модель Muse Spark, которая стала основой новых функций ее ИИ-сервисов. Компания заявляет, что модель предназначена для выполнения более сложных задач и дальнейшего развития персональных ИИ-агентов.
Дискуссия о международных правилах также выходит за рамки отдельных компаний. США и Китай готовятся к двусторонним переговорам по безопасности искусственного интеллекта, в том числе по вопросам рисков, связанных с кибератаками, управлением мощными моделями и обменом информацией между разработчиками.
Предупреждения Хинтона не являются уникальными. Ранее о потенциальной угрозе искусственного интеллекта говорил предприниматель Илон Маск. При этом среди специалистов нет единого мнения о вероятности сценария, при котором сверхинтеллект приведет к уничтожению человечества. Одни исследователи считают долгосрочные риски серьезными и выступают за превентивное регулирование, другие предлагают сосредоточиться прежде всего на уже существующих проблемах — кибербезопасности, ошибках алгоритмов, утечках данных, дезинформации и злоупотреблении автономными агентами.
Джеффри Хинтон родился 6 декабря 1947 года в Лондоне. Он получил степень бакалавра экспериментальной психологии в Кембриджском университете и докторскую степень по искусственному интеллекту в Эдинбургском университете. В 1980-х годах Хинтон занимался развитием искусственных нейронных сетей, а в 1983–1985 годах разработал машину Больцмана — один из важных методов машинного обучения. В 2018 году вместе с Йошуа Бенжио и Янном ЛеКуном он получил премию Тьюринга. В 2024 году Хинтон и Джон Хопфилд были удостоены Нобелевской премии по физике за фундаментальные открытия и изобретения, позволившие развивать машинное обучение с помощью искусственных нейронных сетей.