Государственный Эрмитаж активно применяет инновационные технологии на базе ИИ для анализа и изучения своих коллекций. Эрмитаж и Европейский университет в Санкт-Петербурге совместно создали сервис для анализа гравюр и собраний изображений. Он позволяет исследователям работать с большими коллекциями из нескольких тысяч изображений, на классификацию и разбор которых ушли бы десятки лет.
В мире есть две крупнейшие коллекции английских сатирических гравюр XVIII-XIX веков. Самая полная и тщательно атрибутированная коллекция находится в Британском музее: это около 25 тысяч изображений, большинство которых - с подробными описаниями и перекрестными ссылками. Потенциально вторая по значимости коллекция хранится в Эрмитаже и состоит примерно из восьми тысяч гравюр. Но есть ли среди них настолько редкие, что их нет даже в Британском музее?
Для решения этой задачи в лаборатории университета разработали сервис, в основе которого лежат алгоритмы с применением как классических методов компьютерного зрения, так и нейросетевых подходов. Чтобы сравнить коллекции из 24 700 тысяч и восьми тысяч гравюр, потребовалось бы проанализировать 187 миллионов пар изображений. Если проверять каждую пару вручную, затрачивая на это по пять секунд, то ушло бы более 30 лет.
Важным результатом в процессе создания сервиса стало преодоление дефицита данных: при отсутствии готового датасета команда создала синтетические наборы изображений с помощью генеративных моделей, что позволило обучить алгоритмы без ручной разметки.
В результате сотрудники лаборатории "Искусство и искусственный интеллект" университета доказали, что в коллекции Государственного Эрмитажа находятся тысячи уникальных английских сатирических гравюр XVIII-XIX веков - разработанный сервис обнаружил 2766 редких экземпляров, которых нет в Британском музее!
"Изучение гравюр - это всегда работа с большими объемами данных. Поэтому раньше мало кто ставил перед собой цель подробно описать большую коллекцию гравюр - непонятно, как к такой глыбе подступиться. Впрочем, были и исключения: замечательная британская исследовательница Мэри Дороти Джордж составила огромный многотомный справочник, в котором подробно проанализировала каждую из многих тысяч английских карикатур Британского музея, - но у нее на это ушла вся жизнь. Сейчас, выделив с помощью искусственного интеллекта не описанные ею листы и, опять-таки при помощи ИИ изучив их, мы можем создать весомое дополнение к ее труду, но гораздо быстрее", - Василий Успенский, хранитель и научный сотрудник Государственного Эрмитажа.
Сейчас музейный комплекс и университет создают отдельный собственный инструмент для анализа гравюр: определение автора, персонажей, сюжета, контекстуальные атрибуции, а также для поиска смысловых и сюжетных связей между разными гравюрами. Все это должно кратно ускорить исследовательскую работу.
"Эрмитаж активно использует современные технические и когнитивные технологии для выполнения задач, прежде непосильных из-за необходимости иметь огромный запас времени и количества сотрудников. Такое сохранение традиций приводит к рождению новых приемов и вопросов, придающих музейной работе иногда неожиданную актуальность, научную и общественную.
Сотрудничество хранителей и мастеров искусственных нейросетей в русле проекта Эрмитажа и Европейского университета уже дает блестящие результаты. Первый пример - выделение редкостей в огромной массе уникальной коллекции английской карикатуры. Уже сама операция поиска рождает яркое представление об этом жанре искусства как историко-культурном явлении и о родившей его общественной атмосфере Англии в XVIII-XIX веках. Это особенно интересно нам в Петербурге, политика которого была всегда одним из важных раздражителей для британских карикатуристов.
Впереди полный каталог эрмитажной коллекции, сопровождаемый удобной для всех исследователей уникальной базой данных. Мы стараемся быть впереди, и вместе с Европейским университетом это получается", - Михаил Пиотровский, директор Государственного Эрмитажа, академик РАН и РАХ.
В ноябре 2021 года Школа искусств и культурного наследия ЕУСПб совместно с Государственным Эрмитажем запустили Лабораторию по искусству и искусственному интеллекту. Она была создана для поиска решений на пересечении сферы искусства, управления музеями и искусственного интеллекта.
