Войти

Популярное за неделю

И инструменты ·12 ноя 2025

Как провести собеседование для вашей AI-модели

Стандартные бенчмарки AI (вроде MMLU или AIME) имеют массу проблем: в них попадают ошибки, модели учатся под тесты, а результаты не всегда коррелируют с реальной пользой. Эксперты разработали неформальные методы оценки «на вайбах» — просят AI нарисовать пеликана на велосипеде или написать рассказ с ограничениями. Это помогает понять, какая модель лучше подходит именно для ваших задач, а не просто имеет высокие цифры в отчётах.

0 42
И исследования ·28 июл 2025

Горькая правда: почему AI не обязан понимать бардак в вашей компании

Исследователи AI обнаружили «Горький урок»: вместо того чтобы вручную кодировать человеческое понимание проблем, эффективнее просто дать AI больше вычислительных мощностей — и он сам найдёт решение. Это меняет подход к внедрению AI в организациях: возможно, не нужно разбираться с хаосом процессов — достаточно дать агентам больше автономии и данных.

0 83
М модели ·29 сен 2025

ИИ начал выполнять реальную работу экспертов — и почти догнал людей

OpenAI протестировала новые модели на задачах, которые занимают у экспертов с 14-летним опытом 4–7 часов. ИИ почти сравнялся с людьми, проигрывая в основном из-за форматирования, а не из-за ошибок по сути. Claude Sonnet 4.5 самостоятельно воспроизвёл результаты сложного экономического исследования — задача, которая у человека заняла бы часы и могла бы решить кризис воспроизводимости в науке.

0 34
Б безопасность ·11 апр 2025

Как научить AI игнорировать вредные команды: StruQ и SecAlign против prompt injection

Исследователи из UC Berkeley представили два метода защиты языковых моделей от prompt injection — атак, когда вредоносные инструкции прячутся в пользовательских данных. StruQ и SecAlign дообучают модель различать настоящие команды и подделки, снижая успешность атак с 45% до 8% без потери качества работы.

0 102
И исследования ·7 июл 2025

AI не повредит вам мозг, если использовать его правильно

Многие боятся, что AI сделает нас глупее, но исследования показывают: всё зависит от того, как его применять. Если просто копировать ответы ChatGPT при выполнении домашки — вы действительно хуже учитесь и запоминаете. Но если использовать AI как тьютора с правильными промптами и под руководством учителя — результаты обучения растут в разы.

0 55
И исследования ·9 сен 2024

Чего не хватает LLM-чатботам: чувства цели

Современные LLM-чатботы оцениваются по разовым бенчмаркам (MMLU, HumanEval), но реальное взаимодействие требует целенаправленного многоходового диалога. Текущие метрики не измеряют способность моделей вести продуктивную беседу с конкретной целью — будь то планирование путешествия, отладка кода или персональная ассистентская работа. Для настоящего человеко-AI сотрудничества нужны новые подходы к обучению и оценке диалоговых систем.

0 132
И исследования ·4 июн 2025

Почему мультимодальность не приведёт к AGI

Автор критикует популярную идею, что склеивание разных модальностей (текст, изображения, звук) в одну большую модель приведёт к сильному ИИ. Главный тезис: настоящий AGI должен понимать физический мир и уметь в нём действовать — завязывать узлы, ремонтировать машины, готовить еду. LLM же учатся не модели мира, а набору эвристик для предсказания токенов, что даёт лишь поверхностное понимание реальности.

0 30
И исследования ·3 авг 2024

Нам нужны позитивные сценарии будущего с ИИ, основанные на благополучии людей

Авторы из The Gradient предлагают новый подход к разработке ИИ: вместо абстрактных рассуждений о «полезности» — опираться на конкретные факторы человеческого благополучия (meaningful work, отношения, рост). Их тезис: ИИ уже участвует в ухудшении показателей wellbeing (одиночество, недоверие к институтам), но технически возможно развернуть его в обратную сторону — если создать конкретные позитивные сценарии будущего и встроить понимание wellbeing в фундаментальные модели.

0 88
И исследования ·24 фев 2024

Почему ваша ML-модель блестяще работает на тестах, но проваливается на реальных данных

Модели машинного обучения часто показывают отличные результаты на тестовых данных, но терпят фиаско в реальном мире из-за скрытых переменных, ложных корреляций и ошибок в данных. Сотни моделей для прогнозирования COVID, например, оказались бесполезными. Статья разбирает типичные ловушки ML и способы их избежать, включая новый REFORMS-чеклист для научных исследований.

0 120
И исследования ·16 ноя 2024

Математика в эпоху больших моделей: от проектирования к объяснению

Роль математики в ML меняется: раньше она диктовала дизайн архитектур, теперь помогает объяснять эмпирические феномены уже обученных моделей. Вместо гарантий производительности — постфактум-анализ, как в физике. При этом «чистые» разделы математики (топология, алгебра, геометрия) становятся всё актуальнее для понимания многомерных пространств параметров и скрытых активаций нейросетей.

0 50