Apple улучшила поиск на Apple TV с помощью персонализации: чем короче запрос, тем больше эффект
Инженеры Apple создали систему персонализации для поиска на Apple TV, которая комбинирует семантические и коллаборативные сигналы. Система обучает две модели эмбеддингов — текстовую (многоязычную) и ID-based на основе истории просмотров. Результат: метрики качества выросли на 2.99-3.3% оффлайн, а CTR и конверсия — на 1.14-1.23% в A/B-тесте. Главное открытие: персонализация критична именно на начальных символах запроса (1-3 буквы), где прирост качества достигает 8.63%, а на длинных запросах — только 1.46%.
Это редкий кейс, когда крупная tech-компания публикует детали production-системы с реальными A/B-тестами. Показывает, что персонализация критична не всегда и везде, а именно в точках неопределённости — когда система «не знает», чего хочет пользователь. Применимо к любому инкрементальному поиску или автокомплиту.
Как работает система
Apple представила подход к персонализации инкрементального поиска (когда результаты обновляются после каждого символа) на Apple TV. Система объединяет два типа эмбеддингов:
- TextEmb — многоязычный энкодер, дообученный на триплетах совместных действий пользователей через контрастное обучение
- IdEmb — коллаборативная модель на основе ID элементов, обученная на реальных взаимодействиях
В момент ранжирования система строит представление пользователя из недавней истории просмотров и подаёт косинусные сходства (текстовые и ID-based) в XGBoost-ранкер.
Результаты экспериментов
Оффлайн-метрики (сессии с историей): - NDCG@10: +2.99% - MRR: +3.30%
Ключевое наблюдение: персонализация критична именно на коротких префиксах (1-3 символа), где намерение пользователя ещё формируется: - Короткие запросы: +8.63% NDCG@10 - Длинные запросы: всего +1.46%
Зависимость от истории: - Пользователи с 1-5 элементами в истории: +2.13% NDCG - Пользователи с 51-100 элементами: +4.37%
Парадокс: у «опытных» пользователей базовое качество ниже (NDCG@10 падает с 0.733 до 0.680), но персонализация компенсирует это сильнее — система особенно полезна там, где дефолтное ранжирование пробуксовывает.
Онлайн A/B-тест (3 недели): - CTR: +1.14% - Conversion rate: +1.23% - Улучшение позиции выбранного элемента: 2.91%
Технические детали
Исследователи провели аблации, изолируя семантические и коллаборативные сигналы, чтобы оценить trade-off между покрытием и точностью. Качество эмбеддингов проверяли на отдельном корпусе с LLM-разметкой схожести, чтобы снизить bias кликов и показов.
Ключевые выводы
- Персонализация наиболее эффективна на ранних этапах ввода (1-3 символа), когда намерение пользователя ещё не сформировалось — прирост качества в 6 раз выше, чем на полных запросах
- Пользователи с длинной историей просмотров получают больше пользы от персонализации (+4.37% vs +2.13%), несмотря на то что базовое качество для них ниже
- Гибридный подход (текстовые + ID эмбеддинги) позволяет балансировать между семантическим пониманием и коллаборативной фильтрацией
- В продакшене система даёт статистически значимый прирост бизнес-метрик: +1.14% CTR и +1.23% конверсии
Автор: Никита Громов · Источник: machinelearning.apple.com
Это один из тех материалов, где за академичным языком скрывается важный практический инсайт: персонализация работает не «вообще», а в конкретных точках неопределённости. Когда пользователь набрал 10 букв, система и так понимает, что он ищет. А вот на «Av» — это и Avengers, и Avatar, и документалка про авиацию — тут история просмотров решает всё.
Второй момент, который стоит отметить: Apple публикует реальные цифры A/B-тестов (+1.14% CTR может показаться скромно, но на масштабе Apple TV это миллионы взаимодействий) и честно пишет, что для новых пользователей эффект меньше. Это не просто research paper — это production-кейс с прозрачной методологией, включая борьбу с click bias через LLM-разметку. Полезно для ML-инженеров, работающих с поиском и рекомендациями.
Комментарии