исследования 1 мин

Как лимит страниц в ML-конференциях убивает теоретические работы

Автор — исследователь, публикующий теоретические ML-статьи, жалуется: его работы отклоняют не за содержание, а за «сложность изложения» и «недостаточные пояснения», хотя страницы ограничены. Ревьюеры требуют объяснять базовые вещи в основном тексте, игнорируя приложения. Проблема: правила конференций говорят «статья должна быть самодостаточной», но не учитывают, что теория требует предварительных знаний.

Это не нытьё одного исследователя, а симптом системной проблемы в академическом ML: правила peer review, задуманные для справедливости, на практике выдавливают фундаментальные работы в пользу «лёгких» прикладных. Если не исправить — теория в AI будет деградировать.

Проблема

На крупных ML-конференциях (NeurIPS, ICML, AAAI) объём основного текста статьи строго ограничен. Приложения формально можно делать любой длины, но правила гласят: «Статья должна быть самодостаточной, ревьюеры не обязаны читать приложения».

Автор поста — исследователь, специализирующийся на теоретических работах по ML, — замечает: половина отказов приходит не из-за качества исследования, а из-за претензий к изложению:

  • «Концепция сложная»
  • «Термины не объяснены»
  • «Математика могла бы быть понятнее»
  • «Вы ссылаетесь на работу X, но не описали её подробно в основном тексте»

При этом теоретические статьи объективно требуют больше предварительных знаний: линейная алгебра, дискретная математика, знание предметной области — это данность.

Ловушка формата

Проблема в том, что конференционные правила создают логическое противоречие:

  1. Объём ограничен (обычно 8–10 страниц)
  2. Статья должна быть самодостаточной
  3. Ревьюеры не читают приложения
  4. Но если вынести детали в приложение — «это не считается»

Результат: теоретические работы попадают в ловушку. Либо упрощай до банальности, либо получай отказ за «недостаточность пояснений».

Что предлагает автор

Не увеличивать лимит страниц, а добавить уточняющее правило:

«Не будьте придирчивы. Если вам не хватает предварительных знаний для оценки работы — скажите об этом и оцените то, что можете».

По сути — признать, что теория требует базы, и перестать отклонять работы за «сложность», если сложность оправдана содержанием.

Контекст

Исторически лимит страниц связан с печатными сборниками. Сейчас — с защитой от перегрузки ревьюеров. Но побочный эффект — дискриминация теоретических работ в пользу прикладных и эмпирических, где проще «показать на графиках».

Автор сравнивает с университетом: никто же не пишет в отзыве «Реальный анализ сложный, поэтому вы плохой преподаватель». Сложность — часть предмета.

Ключевые выводы

  • Фиксированный объём статей на ML-конференциях создаёт структурное неравенство: теоретические работы требуют больше места для обоснований, чем эмпирические
  • Правило «статья должна быть самодостаточной, приложения не обязательны» при ограничении страниц превращается в невыполнимое требование для теории
  • Половина отказов приходит не за качество исследования, а за «сложность изложения» — субъективный критерий, который маскирует недостаток компетенций ревьюера
  • Проблема усугубляется «смещением ворот»: сначала просят пояснить X, потом — пояснить X в основном тексте, игнорируя приложение
  • Решение не в увеличении лимита, а в честности: ревьюеры должны признавать пределы своей экспертизы, а не прятаться за формальные претензии
академияpeer-reviewтеория MLконференцииNeurIPS

Автор: Ксения Лаврова · Источник: reddit.com

Мнение редакции

**Вот честно:** автор прав насчёт абсурда. Ты пишешь теоретическую работу, тебе дают 8 страниц и говорят «будь самодостаточным», а потом ревьюер с PhD пишет: «Вы используете термин из статьи 2022 года, объясните его подробнее». Брат, это конференция по машинному обучению, а не журнал для старшеклассников. Либо читай приложение, либо признай, что тема не твоя.

Но есть нюанс: **плохое изложение — реальная проблема**. Многие теоретики пишут так, будто читатель обязан страдать вместе с ними. Разница между «сложно, потому что тема сложная» и «сложно, потому что автор не потрудился упростить» — огромная. Автор этого не различает. Его запрос «не будьте придирчивы» может обернуться потоком плохо написанных работ, защищённых мантрой «это просто сложная тема». Правильное решение — не отменять стандарты ясности, а **обучать ревьюеров различать непонятность от необходимой сложности**. И да, может, таки стоит разрешить 10-12 страниц для теории.

Ещё по теме

Комментарии