ainews
NeurIPS превратился в токсичную лотерею: исповедь рецензента и автора
Автор делится опытом публикации на NeurIPS 2024: добросовестно рецензировал чужие работы, но сам получил агрессивные отзывы и молчание от академического редактора. Один рецензент отклонил статью за минорные замечания с оценкой 1 по всем критериям, другой не реагировал на обсуждение. Система peer review на топовых конференциях по AI превратилась в хаотичную лотерею.
Это зеркало кризиса в ML-академии: система валидации идей превратилась в лотерею, что тормозит прогресс и выжигает исследователей. Кто быстрее построит альтернативу — тот захватит доверие сообщества.
Что произошло
Аноним с опытом публикаций поделился в Reddit провальным кейсом на NeurIPS — топовой конференции по машинному обучению. Сам добросовестно рецензировал работы, включая подозрительные AI-generated. Выставлял мягкие оценки, отклонял только за серьёзные проблемы.
На свою статью получил резкий контраст: двое рецензентов были агрессивны. Один поставил reject с единицами по всем критериям за мелочи. Академический редактор молчал до дедлайна. Когда редактор попросил рецензентов ответить на правки, один признал, что замечания учтены, но оценку не поменял.
Автор называет это типичным для NeurIPS опытом. Система превратилась в лотерею: качество работы не гарантирует принятие, всё решает случайность попадания на адекватных рецензентов.
Контекст
NeurIPS — одна из двух главных конференций в ML (вторая — ICML). Принятие там критически важно для карьеры в research. Но с ростом числа сабмитов (15 000+ в год) система peer review сломалась: рецензенты перегружены, качество отзывов падает, конфликты интересов не отслеживаются. Похожие жалобы массово звучат про CVPR, ICLR, ACL.
Автор: Ксения Лаврова · Источник: reddit.com
Разработчикам. Если планируете research-карьеру — готовьтесь к битве с рецензентами. Качество работы не гарантирует принятие. Стратегия: сабмитить на несколько конференций параллельно, апеллировать агрессивно, искать senior-коллег в AC для поддержки. Многие переходят на arXiv + блоги вместо гонки за бейджами конференций.
Бизнесу. Если нанимаете ML-специалистов по списку NeurIPS-публикаций — пересмотрите критерии. Система настолько лотерейная, что сильные исследователи могут не проходить из-за случайных рецензентов. Лучше смотреть на цитируемость, GitHub-активность, качество кода и реальные результаты, чем на формальные acceptances.
Инвесторам. Академический ML переживает кризис валидации: топовые конференции больше не фильтруют качество. Прорывные идеи могут годами не публиковаться из-за консервативных рецензентов. Инвестируйте в команды с сильным engineering + arXiv-presence, а не в формальные регалии. Университетская система отстаёт от индустрии.
- Сделать платформу для альтернативного peer review с оплатой за качественные рецензии и репутацией участников — Metaculus для науки
- Запустить AI-инструмент для аудита рецензий: детектит adversarial feedback, предвзятость, несоответствие комментариев оценкам
- Создать консалтинг по подготовке сабмитов для NeurIPS/ICML: как писать rebuttal, обходить токсичных рецензентов, работать с AC
- Построить arXiv-first медиа: рейтинг препринтов не по принятию на конференции, а по реальному impact в индустрии и цитируемости
- SaaS для research-команд: автоматизация сабмитов на несколько конференций параллельно, трекинг статусов, шаблоны для апелляций
- NeurIPS может начать реформы (платные рецензенты, AI-детекция слопа, открытые процессы) — тогда часть проблем уйдёт
- Академическое сообщество консервативно: альтернативные платформы могут не взлететь из-за отсутствия престижа
- Если делать бизнес на боли исследователей — риск упереться в малый рынок: только узкий круг ML-академиков публикуется на топовых конференциях
- Публичная критика конференций может привести к блэклистингу — опасно для автора поста и тех, кто будет открыто строить на этой проблеме
Это не нытьё неудачника, а симптом реальной болезни. Я сам видел десятки таких историй: сильные работы отклоняют за формальности, слабые проходят из-за знакомств или удачного тайминга. NeurIPS стал слишком большим, чтобы гарантировать качество peer review. Проблема в том, что альтернативы пока нет: arXiv — это хорошо, но без бейджа топовой конференции сложно строить академическую карьеру.
С другой стороны, это шанс для тех, кто готов ломать систему. Если кто-то создаст платформу с прозрачными рецензиями, оплатой за качественный фидбек и репутацией участников — это может стать новым стандартом. Пока же совет простой: не ставьте всё на один сабмит, диверсифицируйте, публикуйте в arXiv, стройте аудиторию напрямую. Бумажка с логотипом NeurIPS важна, но не критична, если у вас есть реальные результаты и цитаты.
Комментарии