ainews
Создать
Войти
Hugging Face и EleutherAI протестировали 14 открытых OCR-моделей на 2000+ страниц исторических книг. Лучшие показали 97% точности за $2/1000 страниц — достаточно для обучения AI, но не для научной работы. Планируют переоцифровать 300 тыс. книг из Biodiversity Heritage Library, чтобы улучшить датасеты для открытых LLM.
Когда языковая модель обучается на собственных выходных данных, происходит постепенное сужение распределения — дисперсия падает, редкие и разнообразные примеры исчезают. К 10-му поколению модель теряет 97,2% вероятностной массы хвостов распределения, становясь узкой и однообразной, хотя формально остаётся корректной.
Независимый исследователь проверил ключевые AI-бенчмарки (GPQA, MMLU-Pro, MMMU-Pro) и нашёл до 12% сломанных вопросов с неправильными ответами или неоднозначной формулировкой. После очистки топовые модели достигли ~98% вместо застрявших 92-93%. Выпущены clean-версии датасетов с полным объяснением исправлений.
Медицинские организации активно внедряют ИИ для улучшения диагностики и персонализации лечения, но сталкиваются с фундаментальной проблемой: данные о пациентах разрозненны, неполны, устарели и часто содержат ошибки. Автор анализирует, почему даже самые продвинутые алгоритмы не могут компенсировать слабое качество исходной информации.
