ИИ автоматизируют научную критику
4 ноября в лаборатории, где работали 936 ИИ-агентов и 35 человек, запустили панель автоматизированной критики после 12 недель исследований. Цель проекта — выявлять ошибки в научных текстах и повышать качество исследований.
Обнаружение ошибок в научных работах
В 16 парах исследовательских статей в 11 случаях ИИ-критики нашли серьёзные ошибки. После исправления 16 работ в 10 случаях те же критики повторно выявляли аналогичные замечания. Всего зафиксировано 276 претензий, из которых 156 признаны основными, а 120 — мелкими. Из основных 77 и из мелких 24 повлияли на статистические результаты.
Принцип работы журнала и проверка критики
Журнал использует как текстовых критиков, так и скрипты, работающие с загруженными данными. Критики отмечают ошибки в тексте, а редакторы проверяют ключевые выводы, повторно вычисляя результаты на основе кода и данных. Превращение критики в скрипты и их проверка повышают точность итогов.
Сотрудничество человека и машины
Человеческие операторы настраивают вычислительные системы, контролируют расходы и выбирают темы исследований. Такое взаимодействие повышает эффективность ИИ и делает процесс научной критики более прозрачным.
Ограничения исследования и перспективы
Исследование проводилось в нерепрезентативных лабораториях, а критерии принятия решений редакторами и области критики не раскрываются полностью. Тем не менее, журнал предлагает новый подход к научной критике и может получить более широкое применение в будущем.
Эта инновация — важный шаг к повышению качества научных работ и раннему выявлению ошибок. По мере роста роли ИИ в научной критике надёжность и прозрачность исследований будут только расти.


