ainews
Taobao показала RecGPT-V3: рекомендации на LLM с памятью, гибридной модальностью и скрытым reasoning
Alibaba выпустила технический отчёт о RecGPT-V3 — продакшен-системе рекомендаций для Taobao на базе LLM. Ключевые новшества: постоянная память пользователя (Memory Hub), гибридная работа с текстом и семантическими ID товаров, скрытый reasoning вместо явного chain-of-thought. В A/B-тестах: CTR +1%, GMV +3.97%, потребление ресурсов −52.4%.
Это первый публичный технический отчёт о том, как крупнейший e-commerce масштабирует LLM-рекомендации в production с доказанным ROI. RecGPT-V3 показывает конкретные инженерные решения для трёх главных болей: вычислительная эффективность, точность grounding, latency — и даёт реальные цифры прироста бизнес-метрик.
RecGPT-V3: как Alibaba масштабирует LLM-рекомендации на производстве
Alibaba опубликовала технический отчёт о третьей версии RecGPT — системы рекомендаций на базе больших языковых моделей, работающей в продакшене на Taobao. Предыдущие версии (V1 и V2) уже показали прирост метрик, но столкнулись с тремя проблемами масштабирования:
- Stateless-подход: каждый запрос заново обрабатывал всю историю пользователя, тратя вычисления впустую.
- Узкое горлышко тегов: естественно-языковые описания товаров не давали модели точно понять, какой конкретный товар имеется в виду.
- Дорогой chain-of-thought: явный reasoning генерировал длинные тексты-объяснения, что било по латентности и стоимости токенов.
Что изменилось в V3
Memory Hub — модуль постоянной памяти, который сжимает долгую историю поведения в структурированные блоки (долгосрочные интересы, недавние триггеры, анти-предпочтения). Память обновляется инкрементально, а не пересчитывается с нуля. Результат: −55.8% вычислений на моделирование пользователя.
Hybrid-modal Foundation Model — модель рассуждает одновременно над текстовыми тегами (для широкого контекста) и Semantic IDs (компактными векторными идентификаторами товаров). Это открывает «широкополосный канал» к конкретным позициям в каталоге, решая проблему неоднозначности тегов.
Latent Intent Reasoning — вместо генерации длинных текстовых объяснений модель производит компактные обучаемые латентные токены. Их можно декодировать обратно в текст для интерпретируемости, но на inference они остаются внутри модели. Снижение стоимости output-токенов в 200 раз.
Результаты в production
RecGPT-V3 развёрнут в ленте «Guess What You Like» на Taobao. A/B-тесты показали:
- IPV (item page view) +1.28%
- CTR +1.00%
- Transaction Count +1.97%
- GMV +3.97%
- Потребление ресурсов −52.4%
Это редкий пример, когда LLM-система в рекомендациях одновременно улучшает метрики бизнеса и снижает инфраструктурные расходы.
Ключевые выводы
- Stateful-подход (Memory Hub) сокращает вычисления на моделирование пользователя более чем вдвое — ключ к масштабированию LLM-рекомендаций
- Гибридная модальность (текст + Semantic IDs) решает проблему «тег-описание vs конкретный товар» — узкое место всех NLG-рекомендаций
- Latent reasoning вместо chain-of-thought снижает output-токены в 200x, сохраняя интерпретируемость для отладки
- Продакшен-метрики Taobao: CTR +1%, GMV +4% при −52% ресурсов — доказательство, что LLM-рекомендации выходят за рамки экспериментов
- RecGPT-V3 — третья итерация в production, показывает путь к индустриализации LLM в высоконагруженных системах
Автор: Артём Ковалёв · Источник: reddit.com
Это важный сигнал рынку: LLM-рекомендации перестают быть исследовательской экзотикой и становятся инженерной практикой с измеримым ROI. Alibaba не просто пишет в блог «мы попробовали GPT» — они итерируют третью версию в production, решают конкретные проблемы (латентность, compute, точность) и показывают цифры: +4% GMV при вдвое меньших ресурсах. Это дорого стоит.
Особенно интересен **Latent Intent Reasoning** — элегантное решение дилеммы «объяснимость vs эффективность». Модель рассуждает внутри себя компактными токенами, но может развернуть их в текст для дебага. По сути, это chain-of-thought, который не платит налог на генерацию. Если это масштабируется за пределы RecSys — мы увидим новый паттерн для продакшен-LLM.
Комментарии