"Спасти мир" и "спасти людей" - не одно и то же
Апокалипсис по подписке: Стоит ли жалеть человечество, которое предлагают заменить? Мнение политолога
Георгий Бовт, политолог.
Георгий Бовт, политолог. / Андрей Семашко/russkiymir.ru
Один из разработчиков искусственного интеллекта (ИИ) корпорации Anthropic Джейкоб Коксон чуть ли не в ужасе сбежал оттуда, а ранее он по той же причине ушел из OpenAI, дескать, разработчики ИИ в гонке к самосовершенствующемуся сверхинтеллекту играют человеческими жизнями. По его оценке, уже к концу следующего года все уже может выйти из-под контроля. На это отреагировал Эван Хьюбингер - руководитель направления стресс-тестирования в Anthropic, чья работа состоит в поиске дыр в ИИ-моделях. Он подтвердил: в компании действительно всерьез считают, что ИИ способен убить всех людей. Он оценивает вероятность такого исхода выше 10% в ближайшее десятилетие; готового решения этой проблемы у Anthropic пока нет.

И тут же Reuters сообщило: агенты OpenAI использовали более десяти закрытых сайтов для несанкционированной связи друг с другом. Anthropic после этого раскрыла четвертый случай несанкционированного доступа своей модели к внешним системам во время тестирования. Прочитав все это, верховный комиссар ООН по правам человека Фолькер Тюрк призвал государства ввести гарантии безопасности, пока не поздно. Не поздно ли?

На деле во всем этом есть много хайпа. Реальность такова, что имели место ошибки в заданиях ИИ-агентам, позволившие им выйти за пределы изолированной среды. То есть это не злонамеренное действие ИИ, а ошибки разработчиков. Куда интереснее поведение самих компаний. OpenAI не раскрывала эпизод месяцами - до публикации Reuters. Anthropic пропустила январский случай при первичной проверке и нашла его только в августе. В интерпретации произошедшего стоит учесть две вещи.

Тезис "ИИ всех убьет" не доказан. Тезис "ИИ безопасен", впрочем, тоже

Первое. "Апокалиптическая риторика" - маркетинговый ход. Продавец, предупреждающий, что его товар может уничтожить мир, сообщает инвестору, что товар невероятно мощный. Тезис о сверхинтеллекте отвлекает от вещей более скучных и куда более прозаичных: вытеснения занятости, концентрации вычислительных мощностей в руках пяти компаний, слежки, информационных и хакерских спецопераций.

Второе. Оценку опасности выше 10% дал человек, который видит внутренние результаты, хотя и не обязан был ничего говорить. От этого нельзя отмахнуться. При этом 10-процентная вероятность выхода ИИ из-под контроля - субъективное суждение, а не результат расчета. Другие оценки вероятности катастрофы расходятся от нуля до более 90%; медиана - в районе 20%. Крупнейший опрос исследователей машинного обучения (AI Impacts) дал медиану превосходства ИИ над человеком по всем задачам к 2061 году. Лишь 10% респондентов назвали 2026-й. Такой разброс свидетельствует скорее об отсутствии знаний. Так что тезис "ИИ вот-вот всех убьет" не доказан, даже недоказуем. Тезис "ИИ безопасен", впрочем, тоже. Доказано лишь то, что современные системы регулярно делают в тестах то, чего от них не ждали, а разработчики узнают об этом с опозданием на месяцы.

Теперь позволим себе небольшую провокацию. Реальность такова, что человечество как "управляющая система" демонстрирует результаты, которые в любой другой отрасли привели бы к "отзыву лицензии". 27 января 2026 года Бюллетень ученых-атомщиков перевел "часы Судного дня" (ядерного апокалипсиса) на 85 секунд до полуночи - ближе, чем когда-либо за 79 лет, включая Карибский кризис. После прекращения действия ДСНВ впервые с 1972 года на арсеналы двух главных ядерных держав (у каждой свыше пяти тысяч боезарядов) не распространяются никакие ограничения. Климатические обязательства не выполняются, планету ждет "перегрев" или Третья мировая война.

Но если человечество чуть ли не готово само себя уничтожить, то ИИ, получается, статистически безопаснее людей. Более того, система, лишенная "эволюционного наследства" - территориальной агрессии, племенной лояльности и розни, исторических обид и комплексов - теоретически способна к тому, чего человеческие институты не достигали даже во снах утопистов: к оптимизации долгосрочного результата без искажения политическими циклами.

Впрочем, и тут есть оговорки. Во-первых, сценарий "ИИ заменит человечество в управлении миром" все же не стоит в повестке ближайших десяти лет. Стоит другой: ИИ усилит мощь уже существующих субъектов, не изменив ни их целей, ни их структуры. Более реалистичное ближайшее будущее - не "машина правит вместо генштабов", а "генштабы, министерства и корпорации принимают прежние решения быстрее". В ядерной сфере это означает сокращение времени на решение, то есть ухудшение качества управления. ИИ может стать ускорителем уже существующих механизмов эскалации.

Во-вторых. "Закон Эшби" утверждает, что разнообразие управляющего контура должно быть не меньше разнообразия управляемого. То есть человек не сможет контролировать систему сложнее себя. Но отсюда же следует, что такая система не станет и автоматически носителем наших целей. Тезис "сверхинтеллект будет управлять миром лучше нас" подставляет в качестве цели "по умолчанию" человеческое благо. Но с какой стати ИИ должен преследовать именно эту цель?

В-третьих. "Спасти мир" и "спасти людей" - не одно и то же. Идеально управляемая планета без людей - не решение проблемы человечества, а ее "умножение на ноль" вместе с носителем.

ИИ усилит мощь существующих субъектов, не изменив ни их целей, ни структуры

Таким образом, паника по поводу того, что ИИ "получит контроль над миром", преждевременна, хотя и благодушию тут не место. По-настоящему вопрос стоит не о том, "уничтожит ли ИИ человечество", а куда приземленнее и неприятнее: кто и по каким правилам получит контроль над системами, которые уже сейчас не удается удержать даже внутри испытательного стенда. Ответ зависит не от машин, а от тех самых людей, чью управленческую компетентность только что оценили в "85 секунд до полуночи". Вот в этом - а не "в восстании машин" - и состоит главная угроза и повод для тревоги.