Новые стратегии ученых Центра ИИ МГУ повысят точность рекомендательных систем
Исследователи Центра ИИ МГУ с коллегами из Лаборатории ИИ Сбера и Сколтеха показали, как различные стратегии авторегрессионных предсказаний влияют на качество прогноза действий пользователя в задачах последовательных рекомендаций на длинном горизонте. Ученые показали, что стандартные для языковых моделей подходы — «жадный поиск», beam search и температурное сэмплирование — ведут себя в этом контексте нестандартно и могут ухудшать качество долгосрочных предсказаний. Авторы предложили новые методы объединения нескольких траекторий прогноза, которые позволяют модели на основе GPT‑2, обученной в формате next‑item предсказания, более точно восстанавливать будущие действия пользователя на несколько шагов вперед. Такой подход улучшает метрики качества без изменения архитектуры модели и может быть использован в реальных рекомендательных сервисах. Результаты работы опубликованы в журнале User Modeling and User-Adapted Interaction. Об этом сообщили в пресс-службе вуза.
В классических последовательных рекомендательных системах модель обычно предсказывает только один следующий объект, хотя в реальных стриминговых сервисах важно понимать поведение пользователя на несколько шагов вперед.
«Многошаговый прогноз позволяет оценивать, как пользователь будет взаимодействовать с контентом в более длинной перспективе, и лучше адаптировать стратегию рекомендаций под его интересы. В нашей работе представлены две новые стратегии: Reciprocal Rank Aggregation (RRA) и Relevance Aggregation (RA). В обоих случаях модель несколько раз авторегрессионно прогнозирует будущую последовательность, после чего полученные траектории объединяются в единый многошаговый прогноз», — говорит Алексей Васильев, научный сотрудник Центра ИИ МГУ, исполнительный директор по исследованию данных Сбера.
Авторы работы рассматривают задачу, в которой модель должна предсказать последовательность нескольких будущих взаимодействий, а затем на основе этого формировать Top‑K рекомендации. Для решения этой задачи они используют авторегрессионную модель на основе GPT‑2, обученную предсказывать следующий элемент последовательности, и исследуют, как изменение стратегии предсказания влияет на качество долгосрочного прогноза.
Ученые протестировали предложенные стратегии на нескольких реальных наборах данных из разных доменов, включая кино, отзывы и игровые платформы. Эксперименты показали, что многошаговые стратегии с агрегацией траекторий (RRA и RA) превосходят как простое Top‑K предсказание, так и наивные схемы авторегрессионной генерации без агрегирования, особенно на длинных горизонтах. При этом подход не требует изменения архитектуры модели или переобучения нескольких вариантов и может быть непосредственно интегрирован в существующие системы на основе авторегрессионных трансформеров.
Следите за важными новостями в Телеграм-канале Информационного центра Правительства Москвы