Почему LLM не могут предсказывать цены так же хорошо, как генерируют текст
Количественные трейдеры пытаются применить большие языковые модели для предсказания цен на акции, но сталкиваются с фундаментальной проблемой: в финансовых данных слишком много шума и слишком мало сигнала. Язык имеет грамматическую структуру, а рынок — это поле битвы умнейших людей, стирающих любые предсказуемые паттерны. Перспективнее выглядят мультимодальные подходы, объединяющие ценовые данные с новостями, спутниковыми снимками и настроениями в соцсетях.
Статья объясняет фундаментальные ограничения применения LLM в трейдинге и показывает, какие подходы могут работать. Важно для понимания границ AI и реалистичных ожиданий от автоматизации финансовых решений.
Почему финансовые рынки — это не ChatGPT
После триумфа больших языковых моделей количественные трейдеры задались логичным вопросом: если LLM могут предсказывать следующее слово в тексте, почему бы не предсказывать следующую цену или сделку? Ведь и то, и другое — авторегрессионные задачи, где нужно предсказать следующий элемент в последовательности.
Проблема данных и шума
На конференции NeurIPS 2023 высокочастотная торговая фирма Hudson River Trading посчитала: на фондовом рынке около 177 миллиардов «токенов» данных в год (3000 акций × 10 точек данных × 252 торговых дня × 23400 секунд). GPT-3 обучался на 500 миллиардах токенов — объёмы сопоставимы.
Но есть критическая разница. Язык имеет грамматическую структуру — человек легко угадает следующее слово в предложении. Но тот же человек не сможет предсказать следующую цену по истории сделок, иначе он был бы миллиардером-дейтрейдером.
Причина в том, что умнейшие люди конкурируют за прибыль, стирая любой предсказуемый сигнал. Рынок становится «эффективно неэффективным» (термин экономиста Лассе Педерсена) — почти непредсказуемым. Никто не пытается специально усложнить предложения в книгах, но рынок — это боевое поле.
Перспективные направления
Мультимодальное обучение выглядит многообещающе. Вместо попыток предсказать цены только по историческим графикам, модели могут объединять: - Технические данные (цены, объёмы) - Новостные статьи и отчёты компаний - Настроения в соцсетях - Спутниковые снимки портов (для товарных рынков)
Резидуализация — подход, важный и в финансах, и в AI. В финансах выделяют общерыночный фактор и уникальную компоненту актива. В residual networks (вроде трансформеров) учат не саму функцию h(X), а её отклонение от единичного отображения h(X) - X. Это упрощает обучение.
Длинные контекстные окна LLM полезны для анализа многомасштабных феноменов на рынках — от внутридневных колебаний до многолетних трендов.
Реальность
Финансовые временные ряды постоянно меняются из-за фундаментальных новостей, регуляторных изменений, макроэкономических шоков. Язык эволюционирует намного медленнее. И в рыночных данных шума на порядки больше, чем сигнала — люди торгуют по иррациональным причинам (вспомним GameStop 2021).
Ключевые выводы
- Объём рыночных данных сопоставим с обучающими данными GPT-3, но предсказуемость несравнимо ниже из-за конкуренции умнейших участников
- Язык имеет грамматическую структуру, а финансовые рынки приближаются к эффективности — любой сигнал быстро стирается
- Мультимодальные подходы (цены + новости + спутниковые данные + соцсети) перспективнее чисто ценовых моделей
- Резидуализация — общая идея для факторных моделей в финансах и residual networks в AI
- Финансовые данные более нестационарны и зашумлены, чем языковые: частые макрошоки, иррациональное поведение участников
Автор: Сергей Ефимов · Источник: thegradient.pub
Это редкий случай честного разговора о том, где AI **не** работает магически. Авторы из The Gradient разбирают по косточкам популярную фантазию: «LLM предсказывают слова → значит, предскажут и цены». Нет, не значит.
Ключевой инсайт: рынок — это не текст. Язык эволюционирует веками, грамматика стабильна, авторы хотят быть понятыми. Биржа — это боевое поле, где тысячи умнейших людей с терабайтами данных конкурируют за прибыль, стирая любую предсказуемость. Попытка натренировать модель на ценах — это как учиться боксу, тренируясь против невидимого противника, который моментально адаптируется. Мультимодальные подходы (новости + спутники + соцсети) выглядят разумнее, но статья намеренно обрывается — видимо, дальше начинаются коммерческие секреты HRT. В любом случае, полезная прививка от хайпа.
Комментарии