Искусственный интеллект способен создавать риски не только через гипотетический «захват мира», но и за счет постепенного расширения своих полномочий. Три эксперта — Саймон Нидер, Энтони Харрис и Дэвид Кайлер — в колонке The Guardian предупредили: наиболее серьезная катастрофа может формироваться из тысяч небольших решений, каждое из которых по отдельности кажется приемлемым.
Опасность может накапливаться постепенно
Авторы рассматривают сценарий, при котором ИИ получает все больше самостоятельности не в результате одного политического решения, а поэтапно. Сначала системе поручают относительно безопасные задачи, затем расширяют доступ к данным, инфраструктуре и инструментам, поскольку предыдущие этапы не привели к серьезным последствиям.
Так возникает эффект накопления риска. Разработчики и пользователи могут последовательно снимать ограничения, делегировать новые функции и разрешать более автономную работу. Каждый отдельный шаг способен выглядеть рациональным, однако совокупный результат меняет масштаб потенциального ущерба.
Особенность такого сценария заключается в отсутствии четкой точки, которую общество могло бы распознать как начало катастрофы. К моменту появления очевидных признаков опасности ИИ уже может быть встроен в большое количество бизнес-процессов, государственных систем и объектов критической инфраструктуры.
ИИ способен усиливать уже существующие угрозы
Отдельная проблема связана не с самостоятельными решениями машин, а с возможностями, которые получают люди благодаря ИИ. Технология может ускорить разработку биологических агентов, помочь обнаружить уязвимости компьютерных систем или повысить эффективность отдельных видов вооружений.
При этом непосредственное решение о применении таких возможностей остается за человеком. Именно поэтому авторы материала предлагают рассматривать безопасность ИИ не только как техническую проблему. Не менее важным становится вопрос о том, кто и на каком основании разрешил системе выполнить потенциально опасное действие.
Такой подход отличается от популярных сценариев, в которых машина внезапно становится самостоятельным противником человека. В реальности опасность может возникать из сочетания человеческих решений, несовершенных процедур контроля и постепенно расширяющихся возможностей алгоритмов.
Почему остановить систему может оказаться сложно
Еще один риск связан с глубокой интеграцией ИИ. Если технология окажется одновременно частью финансовых операций, логистики, связи, промышленности, оборонных процессов и государственных сервисов, ее отключение может иметь собственные серьезные последствия.
Это создает своеобразную зависимость: чем больше система приносит пользы, тем выше стимул продолжать ее использование даже при появлении предупреждающих сигналов. Дополнительную сложность создает непрозрачность цепочек принятия решений, когда конкретное действие является результатом работы нескольких моделей, программных компонентов и человеческих операторов.
В такой ситуации регулятор может столкнуться с проблемой уже после того, как ключевые решения были приняты. Изменить архитектуру системы или полностью отказаться от нее окажется значительно сложнее, чем установить ограничения на раннем этапе.
Какие правила предлагают ввести
Эксперты считают, что ответ должен быть не только национальным, поскольку наиболее мощные ИИ-системы и компании работают в международной среде. Среди предлагаемых мер — установление минимальных стандартов безопасности и ограничение полностью автономных действий в сферах, где ошибка способна привести к масштабному ущербу.
Отдельное значение авторы придают фиксации человеческой ответственности. Для критически важных операций должна существовать документированная цепочка решений, позволяющая установить, кто именно разрешил конкретное действие и какие проверки были проведены перед его выполнением.
Еще одним механизмом называется обязательный международный обмен информацией о серьезных сбоях и инцидентах, которые едва не привели к катастрофическим последствиям. Подобная система позволила бы государствам и разработчикам получать информацию о проблемах не только из собственных ошибок.
Вопрос о регулировании ИИ уже вышел за рамки дискуссии исключительно между технологическими компаниями. В разных странах формируются нормы, определяющие требования к безопасности, прозрачности и ответственности разработчиков и пользователей систем искусственного интеллекта. При этом универсального международного режима, который одинаково регулировал бы самые мощные модели и их применение в высокорисковых сферах, пока нет.
Саймон Нидер, Энтони Харрис и Дэвид Кайлер в своем анализе исходят из того, что ключевым фактором риска становится не обязательно намерение ИИ причинить вред, а сочетание автономности, масштаба применения и человеческих решений. Именно поэтому остается открытым вопрос, насколько далеко можно делегировать алгоритмам принятие решений до того, как контроль человека станет формальным, а не реальным.