ainews
Создать
Войти
На конференции NeurIPS 2024 впервые разрешили использовать LLM для рецензирования статей. Результат: рецензенты продолжали писать поверхностные отзывы, нарушали анонимность, игнорировали ответы авторов и даже не пользовались AI для углубления в материал. Эксперимент показал, что технология не исправляет системные проблемы академической рецензии.
Рецензент NeurIPS описал системную проблему: из 12 проверенных статей только одна содержала полный код, а в трёх из пяти частично опубликованных нашлись критические баги, которые обесценивали результаты. Предложение: автоматически отклонять работы без воспроизводимого кода.
Автор делится опытом публикации на NeurIPS 2024: добросовестно рецензировал чужие работы, но сам получил агрессивные отзывы и молчание от академического редактора. Один рецензент отклонил статью за минорные замечания с оценкой 1 по всем критериям, другой не реагировал на обсуждение. Система peer review на топовых конференциях по AI превратилась в хаотичную лотерею.
Автор — исследователь, публикующий теоретические ML-статьи, жалуется: его работы отклоняют не за содержание, а за «сложность изложения» и «недостаточные пояснения», хотя страницы ограничены. Ревьюеры требуют объяснять базовые вещи в основном тексте, игнорируя приложения. Проблема: правила конференций говорят «статья должна быть самодостаточной», но не учитывают, что теория требует предварительных знаний.