Яндекс выложил в открытый доступ новую ИИ-модель, обученную с нуля
Яндекс выложил в опенсорс Alice AI Foundation LLM - претрейн-версию своей новой большой языковой модели, обученной полностью с нуля. Модель обгоняет в том числе более крупные опенсорс-модели, такие как DeepSeek-V4-Flash-Base и NVIDIA Nemotron-3-Super-120B-Base, и не требуя при этом больших вычислительных мощностей для инференса. Разработчики могут использовать ее как в исследовательских, так и в коммерческих проектах благодаря свободной лицензии Apache 2.0.
Новая модель - это экспериментальная версия, на которой Яндекс тестирует архитектурные решения для своей будущей единой рассуждающей модели (ЕРМ). Рассуждающая модель ляжет в основу агентных возможностей Алисы AI, благодаря которым пользователи смогут поручать ей выполнение конкретных действий.
Alice AI Foundation LLM работает на архитектуре MoE (Mixture of Experts) и включает 80 миллиардов параметров, из которых в моменте активны только 3 миллиарда - это обеспечивает исключительную скорость и экономичность ее работы. В модель заложены способности к рассуждению и работе в агентных сценариях. За счет этого она показывает высокую эффективность в сложных логических заданиях и в программировании. Например, на олимпиадных задачах по математике она делит лидерство с Qwen3.5-35B-A3B-Base, решая подавляющее большинство заданий. А в тестах на написание кода превосходит модель компании NVIDIA Nemotron-3-Super-120B-Base - несмотря на то что использует в четыре раза меньше активных параметров. Качество в ризонинге и программировании - необходимый навык для эффективной работы агентов, способных выполнять действия по поручению пользователя.
"Появление Alice AI Foundation LLM важно тем фактом, что в России можно построить полный технологический цикл: самостоятельно подготовить данные, обучить базовую модель с нуля, разработать русскоязычные бенчмарки и открыть результат для разработчиков по коммерчески применимой лицензии Apache 2.0", - отмечает Алексей Сидорюк, советник генерального директора по искусственному интеллекту Ассоциации ФинТех, основатель канала Ген ИИ.
При компактном размере и меньшей требовательности к вычислительным мощностям новая модель обходит на задачах, где нужны широкие фактические знания, и более крупные открытые модели - например, DeepSeek-V4-Flash-Base с 284 млрд параметров и 13 млрд активных. Бенчмарки для оценки знания фактов показывают, что новая модель отвечает на уровне предыдущей закрытой модели Яндекса Alice AI LLM, у которой в три раза больше параметров и в семь раз больше активных.
Для оценки знаний модели, актуальных для русскоязычных пользователей, Яндекс разработал два собственных бенчмарка - WikiWebFacts и HardMultiQA. Первый состоит из пар "короткий вопрос - короткий ответ" и проверяет знание дат, определений, событий и персоналий на основе материалов онлайн-энциклопедий и частотных агрегированных поисковых запросов. Второй, HardMultiQA, построен на основе анонимизированного потока запросов к Алисе AI и охватывает более редкие области знаний: от медицины и права до IT и искусства. В этих задачах недостаточно вспомнить один факт: модель должна выбрать несколько верных вариантов из списка, перечислить сразу несколько фактов, подходящих под условие вопроса, или найти фактическую ошибку в тексте.
Технический отчет компании - это самое интересное, говорит Николай Комлев, председатель Совета ТПП РФ по развитию ИТ и цифровой экономики. "Мы видим, что сегодня развитие ИИ - это уже не гонка исключительно за размером моделей. У новой разработки 80 млрд параметров, но непосредственно при работе используется около 3 млрд. В отчете указано, что при таком эффективном размере модель способна показывать сопоставимые, а в отдельных тестах и более высокие результаты, чем значительно более крупные зарубежные решения.
По словам Комлева, это соответствует более широкому тренду отрасли: разработчики стремятся не просто увеличивать модели, а получать высокий результат при меньших вычислительных затратах.
"Для российского рынка это особенно важно. Чем эффективнее модель, тем шире возможности ее практического использования компаниями и исследовательскими командами, для которых доступ к большим вычислительным ресурсам ограничен. Поэтому важен не только сам факт появления еще одной российской модели. Мы видим, что отечественные разработчики движутся в том же направлении, что и мировой рынок: создают собственные решения и одновременно работают над их эффективностью и доступностью. Это уже показатель зрелости российской отрасли ИИ", - сообщил Комлев.
Новые бенчмарки создавались для оценки русскоязычных знаний модели, так как англоязычные бенчмарки не позволяют оценить их объективно. Оба бенчмарка компания выложила в открытый доступ вместе с моделью, чтобы разработчики и исследователи могли сами воспроизвести результаты и сравнивать между собой любые модели. Вместе с наборами задач компания публикует эталонные ответы и полный протокол оценки.
При обучении модели разработчики Яндекса улучшили работу оптимизатора - программы, управляющей процессом обучения. Они перестроили его так, чтобы пересылка данных между видеокартами шла параллельно с вычислениями. Это позволило ускорить шаги оптимизации примерно в два раза.
Яндекс также оптимизировал подготовку качественных обучающих данных - для их отбора требовалось оценивать документы с помощью ресурсоемкой модели. Ее запуск на всем корпусе потребовал бы более 200 тысяч часов работы видеокарт. Теперь перед такой оценкой документы проходят через каскад классификаторов. На каждом этапе более сложная и вычислительно затратная модель работает с меньшим количеством документов. Это позволило в десятки раз сократить количество вычислений и при этом сохранить около 95% полезных документов. Кроме того, инженеры значительно обогатили базу знаний модели в области права, медицины и математики.
Новая модель предоставляется под лицензией Apache 2.0, что позволяет свободно использовать ее в коммерческих и исследовательских целях. Она уже прошла основной этап обучения, от которого зависят ее эрудированность, способности и потенциал. Это позволяет использовать ее как основу для создания собственных проектов.
