Аппаратные требования больших языковых моделей ИИ заметно сократились

Скорость, с которой развивается искусственный интеллект (ИИ), уже почти никого не удивляет. Однако исследователи сделали еще одно открытие, касаемо больших языковых моделей, лежащих в основе чат-ботов: аппаратные ресурсы, необходимые им для работы, заметно сокращаются с 2012 года.

Повысить производительность систем ИИ можно двумя способами. Первый - это увеличение размеров больших языковых моделей за счет соразмерного увеличения вычислительной мощности. Второй - оптимизация базовых алгоритмов для более эффективного применения существующего оборудования. Современные разработчики, по всей видимости, отдали предпочтение второму варианту. Об этом говорится в статье "Алгоритмический прогресс в языковых моделях", опубликованной на сайте arXiv.

В рамках исследования специалисты провели анализ производительности 231 большой языковой модели, которые были созданы с 2012 по 2023 года. Как оказалось, вычислительная мощность, которая нужна для их работы, каждые восемь месяцев уменьшалась в среднем в два раза. По словам ученых, это может быть связано с оптимизацией кода и развитием аппаратных компонентов.

"Качество больших языковых моделей сейчас растет не только за счет увеличения вычислительных мощностей, но и за счет алгоритмических усовершенствований, которые позволяют добиваться той же точности, что и восемь месяцев назад, но за счет 0.5 мощности. То есть рост их качества обгоняет рост "компьюта", который тратится на обучение", - объяснил кандидат физико-математических наук и руководитель научной группы "Пространственный интеллект" Института AIRI Антон Конушин.

При этом суммарные мощности суперкомпьютеров, которые используются для обучения и применения ИИ, растут. Также увеличивается объем локальных вычислений.

"В данный момент идет тренд на повышение объема вычислительных мощностей. И связано это с одной простой вещью: на данном этапе развития технологий ИИ увеличение вычислительных ресурсов - это относительно простой способ повысить качество больших языковых моделей. А оно, к слову сказать, пока оставляет желать лучшего", - сказал доктор технических наук и технический директор Smart Engines Дмитрий Николаев.

По его словам, хотя сейчас их эффективность постепенно растет, однако не в той степени, чтобы существенно повлиять на здравоохранение, экономику, политику и другие сферы жизни общества. Более того, пока непонятно, когда эффект от применения больших языковых моделей станет "удовлетворительным".

Что касается тренда на увеличение вычислительной сложности в долгосрочной перспективе, то он вряд ли продолжится, считает эксперт: во-первых, человечество не вырабатывает столько энергии, чтобы постоянно увеличивать вычислительные мощности, а во-вторых, если качество ИИ повысится, то на первое место, как это всегда бывает, встанут вопросы экономичности.

Вместе с тем ученые еще не научились считать нейросети в штуках, а потому значительного увеличения числа таких систем пока не ожидается, отметил Николаев.

"С уверенностью можно сказать только то, что число посвященных им исследовательских работ и опытных разработок продолжит расти", - добавил он.

Собеседник также подчеркнул, что из-за заметного сокращения аппаратных требований больших языков моделей ИИ, увеличится потребление энергии. Однако, когда объемы энергии, которая тратится на обучение моделей, достигнут запредельных значений, то экономические эффекты возобладают над эффектами развития. Тогда "все пойдет вспять", уверен эксперт.

"Некоторые высказывают опасения, что доступные данные, на которых можно обучать модели, могут закончиться, однако, на ближайшее время их точно хватает. Не стоит забывать и про то, что сейчас активно развиваются подходы с использованием синтетических данных", - заключил Конушин.