ainews
Создать
Войти
Модели машинного обучения часто показывают отличные результаты на тестовых данных, но терпят фиаско в реальном мире из-за скрытых переменных, ложных корреляций и ошибок в данных. Сотни моделей для прогнозирования COVID, например, оказались бесполезными. Статья разбирает типичные ловушки ML и способы их избежать, включая новый REFORMS-чеклист для научных исследований.
Роль математики в ML меняется: раньше она диктовала дизайн архитектур, теперь помогает объяснять эмпирические феномены уже обученных моделей. Вместо гарантий производительности — постфактум-анализ, как в физике. При этом «чистые» разделы математики (топология, алгебра, геометрия) становятся всё актуальнее для понимания многомерных пространств параметров и скрытых активаций нейросетей.
RAG-системы преобразуют тексты в векторные представления (эмбеддинги) и хранят их в специализированных базах данных. Новое исследование показывает: из этих «случайных чисел» можно восстановить исходный текст с точностью до 92%. Это ставит под вопрос безопасность хранения конфиденциальных данных в векторном формате.
AI-модели воспроизводят и усиливают гендерные стереотипы из обучающих данных. Исследования показывают: word embeddings выдают аналогии вроде «мужчина — программист, женщина — домохозяйка», а системы распознавания лиц ошибаются на темнокожих женщинах в 34,7% случаев против 0,8% на светлокожих мужчинах. Проблема решаема через более разнообразные датасеты и математические методы «debiasing».
Mamba — альтернатива трансформерам на основе State Space Models (SSM). Обещает схожую производительность, но без квадратичного узкого места Attention: работает в 5 раз быстрее, масштабируется линейно и справляется с контекстом до миллиона токенов. Mamba-3B сопоставима с трансформерами вдвое большего размера.
Исследователи пытаются научить нейросети выполнять классические алгоритмы (сортировка, поиск кратчайшего пути) — не для практической пользы, а чтобы привить им ключевые свойства алгоритмов: доказуемую корректность, надёжное обобщение и интерпретируемость. Главная находка: архитектура нейросети должна «выравниваться» (align) с логикой алгоритма — тогда она обучается на порядки быстрее.
Автор критикует индустрию ИИ-безопасности за подмену понятий: вместо защиты от реальных рисков компании вроде OpenAI и Anthropic под видом «выравнивания» (alignment) занимаются созданием продукта, который хорошо продаётся. Дискуссия об экзистенциальных угрозах отвлекает от настоящих проблем ИИ, а главная цель — не предотвратить катастрофу, а заработать.
Автор рассказывает о работе консультантом в проекте по подсчёту рыбы на крупных ГЭС в США. Станции обязаны доказывать регулятору, что не вредят популяциям лосося и других видов. Традиционный ручной подсчёт — дорогой, трудоёмкий и неточный, поэтому отрасль переходит на цифровые методы с участием ИИ.
Количественные трейдеры пытаются применить большие языковые модели для предсказания цен на акции, но сталкиваются с фундаментальной проблемой: в финансовых данных слишком много шума и слишком мало сигнала. Язык имеет грамматическую структуру, а рынок — это поле битвы умнейших людей, стирающих любые предсказуемые паттерны. Перспективнее выглядят мультимодальные подходы, объединяющие ценовые данные с новостями, спутниковыми снимками и настроениями в соцсетях.
