инструменты 1 мин

Табличная foundation-модель Mitra: регрессия без обучения с нуля

Mitra — это предобученный трансформер от Amazon для табличных данных, который решает задачи регрессии через in-context learning вместо традиционного обучения. Модель использует размеченные примеры как контекст и предсказывает целевые значения за один проход, избегая градиентной оптимизации на новых датасетах.

Практическое руководство для ML-инженеров, работающих с табличными данными: как использовать foundation-модели вместо XGBoost/LightGBM, экономя время на обучении. Содержит готовый код и решения типичных проблем с размером датасета.

Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.

О чём статья

  • Mitra обучена на миллионах синтетических регрессионных задач (Mixed Synthetic Priors), что позволяет обобщать на реальные датасеты
  • Модель работает через AutoGluon: этап fit() не обучает модель, а подготавливает данные как контекст для предобученного трансформера
  • По умолчанию Mitra принимает до 10 000 строк — при превышении можно увеличить лимит, включить fine-tuning или использовать сэмплирование
  • Для больших датасетов (сотни тысяч строк) автор рекомендует альтернативы вроде TabICLv2
tabular-datafoundation-modelsregressionin-context-learningAutoGluon
Никита Громов Medium #llm
Читать оригинал

Ещё по теме

Комментарии