Табличная foundation-модель Mitra: регрессия без обучения с нуля
Mitra — это предобученный трансформер от Amazon для табличных данных, который решает задачи регрессии через in-context learning вместо традиционного обучения. Модель использует размеченные примеры как контекст и предсказывает целевые значения за один проход, избегая градиентной оптимизации на новых датасетах.
Практическое руководство для ML-инженеров, работающих с табличными данными: как использовать foundation-модели вместо XGBoost/LightGBM, экономя время на обучении. Содержит готовый код и решения типичных проблем с размером датасета.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Mitra обучена на миллионах синтетических регрессионных задач (Mixed Synthetic Priors), что позволяет обобщать на реальные датасеты
- Модель работает через AutoGluon: этап fit() не обучает модель, а подготавливает данные как контекст для предобученного трансформера
- По умолчанию Mitra принимает до 10 000 строк — при превышении можно увеличить лимит, включить fine-tuning или использовать сэмплирование
- Для больших датасетов (сотни тысяч строк) автор рекомендует альтернативы вроде TabICLv2
Никита Громов
Medium #llm
Читать оригинал
Комментарии