Стэнфордский университет будет рецензировать научные статьи при помощи нейросети

Кажется, искусственный интеллект уже не может никого удивить, проникая практически во все сферы жизни.

Но размещенное на платформе arXiv сообщение Стэнфордского университета открыло совершенно неожиданные способности нейросетей.

Речь идет об особой сфере - рецензировании научных статей, которые авторы направляют в престижные журналы. Всегда считалось, что доверить такой вердикт можно только элите научного сообщества, самым авторитетным экспертам в конкретной науке. Что, кстати, делает рецензирование все более проблематичным. Причина? Число публикаций в мире растет лавинообразно, а наука просто не может обеспечить такое количество достойных экспертов. Это одна из главных причин, что на страницы изданий проникает все больше сомнительных публикаций.

Решить эту острейшую проблему берется искусственный интеллект, в частности модель ChatGPT, основанная на архитектуре GPT-4. В эксперименте ему доверили рецензирование около 3000 статей для самого престижного журнал Nature, а также 1700 статей для журнала ICLR. Результаты сравнили с отзывами экспертов.

Совпадение мнений машины и человека удивили самих исследователей. В отзывах для журнала Nature нейросеть более чем в половине случаев сделала те же замечания, что и эксперты. А в случае статей для журнала ICLR совпадение достигло 77%. Более того, ИИ сумел проанализировать статьи в их "сыром" виде, без предварительной обработки.

Особое внимание он уделил оценке четырех основных критериев: новизна работы; выявление элементов, которые оправдывают ее принятие; распознавание причин для ее отклонения; рекомендации по улучшению статьи.