Узда для искусственного интеллекта: Россия может "оркестровать" роями ИИ-агентов

Совсем не случайно президент Украины Владимир Зеленский в рамках выступления на Генассамблее ООН в Нью-Йорке назвал искусственный интеллект (ИИ) "возможной новой угрозой в рамках украинского конфликта". И выразил свои опасения по поводу того, что уже в следующем году ИИ сможет сам решать, как и кого поражать. Зеленский как бы намекает общественности на "эффект бабочки" в военной сфере, который может привести человечество к катастрофе. Предупреждает, что от него скоро больше ничего не будет зависеть.

То, что гонка вооружений все глубже переходит в цифровую плоскость применения, всем уже и так давно очевидно. На поле боя все чаще побеждает не тот, у кого мощнее взрывчатка и совершеннее способы доставки боеприпаса к цели (они и так запредельные), а тот, кто применит оружие в нужный момент: отследит перемещение личного состава по системам связи, ударит во время разгрузки боеприпасов или построения личного состава.

Эту информацию с поля боя уже анализирует и выдает разведке ИИ. И ему все охотнее передают полномочия. При этом человек уже не в состоянии отследить за машиной эффекты, которые ИИ могут показаться неважными или незначительными (он может не заметить появление беженцев, спутать похоронную процессию со свадебной, не знать о национальном празднике или открытии школы в зоне поражения).

О том, что в новой гонке важно сохранить контроль человека над машинами, которые получают все больше возможностей, проекту "Русское оружие" заявил гендиректор ООО ЦРИТ "Абсолют" Евгений Попов, который в русле "третьего альтернативного направления в области развития ИИ" возглавляет проект Мета-Когнитивной Операционной Системы (МК ОС) "АБСОЛЮТ".

Публикуем часть нашей беседы.

Евгений Попов: Соперничество США и Китая формирует условия, при которых одностороннее замедление ИИ становится невыгодным для обеих держав. И пока сохраняется страх уступить в технологиях, конкуренция за вычислительные ресурсы, модели и инфраструктуру будет усиливаться. Но это не означает, что единственный путь для России - участвовать в гонке за максимальную мощь ИИ. В созданном нами управляющем слое разумности на базе трехъядерной архитектуры - Мета-Когнитивной Операционной Системы (МК ОС) "АБСОЛЮТ" - преимущество достигается не скоростью роста возможностей, а способностью на всех этапах контролировать этот рост.

МК ОС "АБСОЛЮТ"

В России заявлялись основы человекоориентированного ИИ - в документах закреплены понятия доверия, безопасности и защиты прав человека.

Евгений Попов: Именно потому наш следующий шаг - превратить эти принципы в проверяемую технологическую архитектуру. Ключевой принцип: любое расширение возможностей ИИ должно сопровождаться адекватным усилением механизмов безопасности, прозрачности и подконтрольности человеку. Если такой контроль невозможен, переход на новый уровень не должен происходить.

Какие задачи МК ОС "АБСОЛЮТ" решает?

Евгений Попов: Наша модель, которая уже существует и проходит испытания, гарантирует: сохранение субъектности человека, разграничение полномочий, запрет критически значимых автономных действий без авторизации, контроль доступа к инфраструктуре, журналирование действий, возможность остановки и восстановления системы. ИИ не должен решать за человека, что ему думать. Его задача - предоставлять информацию, альтернативы, прогнозы последствий, но окончательное решение остается за человеком.

Возможно ли подчинить ИИ-агентов?

Евгений Попов: Возникает второе соревнование XXI века - создание самой надежной системы управления машинным интеллектом независимо от его происхождения (американские, китайские или российские LLM). Новая парадигма: не ограничивать ИИ-агентов, а управлять их ростом, не подчинять человека машине - сохранять его субъектность, не требовать доверия к ИИ-агенту - создавать возможность его проверки, не побеждать в гонке любой ценой - делать пространство, в котором она происходит безопасно. Для участия нам не нужна крупнейшая ИИ-модель. Достаточно надсистемного контура - своего рода операционной системы, работающей с любыми моделями и контролирующей цепочку от намерения до аудита. Мы создаем прослойку доверия между человеком, агентами ИИ и реальным миром.

МК ОС "АБСОЛЮТ"

Какое развитие отечественной операционной системы вы планируете в гражданской сфере?

Евгений Попов: Следующая версия - ABSOLUT 2.0 - универсальный Операционный ИИ, который может работать на любых устройствах. Он подключается к локальным и внешним моделям, имеет память, журналы, интеграцию с корпоративными системами ("1С", "Битрикс24"). Через отдельный исполнительный контур предусматривается оркестрация специализированных ИИ-агентов и в перспективе агентских роев. Но ключевым становится не число агентов, а ограничение их полномочий. Агент может получить задачу, однако он не должен иметь возможности самостоятельно расширить себе доступ, передать дочернему агенту больше прав, чем получил сам, или незаметно выйти за пределы разрешенной среды. Для критических операций предусматривается участие человека через Human-in-the-Loop. Отдельный блок OAP обеспечивает наблюдаемость: не только результат, но и основание решения, фактические последствия. Принцип "покажи, на чем основано решение и что произошло", а не "ИИ-агент сообщил, что все правильно".

Ваша надстройка имеет аналоги на Западе?

Евгений Попов: Отдельные решения есть в американской системе "Палантир". Но архитектурные возможности МК ОС "АБСОЛЮТ" значительно шире. Отмечу, что подобные проекты сегодня ведутся в Китае и Японии.

Военным не станет труднее перекладывать ответственность на ИИ за неудачные удары? Может, именно с этим и связано выступление в ООН Зеленского?

Евгений Попов: В основе нашего подхода лежит простая идея: способность искусственного интеллекта принять решение еще не означает автоматическое право это решение самостоятельно исполнить. Человек обязан оценивать все ограничения, применение тех или иных действий в различных условиях, а также иметь возможность заблокировать любой шаг, а затем проверить, что в реальности произошло именно то, что было разрешено. Такой подход соответствует существующему направлению российской государственной политики в области доверенного ИИ. В Национальной стратегии развития искусственного интеллекта "доверенные технологии искусственного интеллекта" определены через безопасность, объективность, недискриминацию, этичность и недопущение вреда человеку и нарушения его основных прав и свобод.

Человекоориентированный подход также не надо воспринимать как исключительно российскую идею. Например, в официальных китайских документах также говорится о безопасном и контролируемом ИИ и о необходимости сохранять его под человеческим контролем. Поэтому потенциальное отличие подобной российской разработки заключается не столько в декларации правильных принципов, сколько в попытке превратить их в технически проверяемую систему управления.

Не получится ли так, что такая надстройка замедлит наших военных?

Евгений Попов: Нет, не замедлит. В этом смысле "АБСОЛЮТ" можно описать простой аналогией. LLM - это двигатель. "АБСОЛЮТ" - система управления полетом. Она не обязана создавать самый мощный двигатель. Ее задача - знать, куда движется система, кто задал маршрут, какие действия разрешены, где находятся границы, что показывают приборы, когда требуется человек и что делать при отказе. Если такая архитектура пройдет полноценные технические испытания и независимый аудит, она сможет стать практическим примером той самой "третьей модели": не замедлять развитие машинного интеллекта как такового, а создавать технологию, позволяющую человеку сохранять управление по мере роста его возможностей. Тогда предметом конкуренции становится уже не только вопрос, у кого самый сильный ИИ, а другой: кто способен построить наиболее надежный слой между мощным искусственным интеллектом, человеком и реальным миром?