Генеративные рекомендации III. Хайп и хаос
Меняя компанию, я успела походить по собесам в области RecSys DL, и в одной из секций всегда всплывали генеративные рекомендации. Тема сейчас настолько хайповая, что в терминологии полный хаос, который идёт к нам ещё из научных статей. Пара примеров понимания "генеративных рекомендаций" из статей 23-25 годов:
“The first generative recommendation system in the literature” – https://arxiv.org/abs/2508.02929 https://arxiv.org/abs/2508.02929 https://arxiv.org/abs/2508.02929 известная компания свою же прошлую архитектуру из https://arxiv.org/abs/2402.17152(ICML'24). Сподвигает их к этому предложение "Generative Recommender"
https://t.me/redrecsys но их парадигма
https://t.me/redrecsys, не меняя ни задачи модели, ни способ инференса.
"In the paradigm of generative recommendation, the primary objective is to predict the next item a user is likely to interact with" - https://arxiv.org/abs/2508.10615 Huawei в препринте этого года. И приписывает таким образом пальму первенства генеративных рекомендаций ванильному SASRec из 2019 года (а то и BERT4Rec из 2018). Мотивация Huawei понятна: они обновляют архитектуру трансформера для простой Shifted Sequence модели (как это делают https://arxiv.org/abs/2502.03036v1 https://arxiv.org/abs/2502.03036v1 https://arxiv.org/abs/2502.03036v1, https://arxiv.org/abs/2402.17152, https://arxiv.org/abs/2508.06450 и пр.), не меняя концепцию обучения или задачи инференса. Но подчеркнуть актуальность статьи нужно, “Generative” в название статьи добавить хочется, и потому возникает такой вот финт, причём применяется он сейчас в статьях часто. Под "Generative" в заголовке статьи 2024-25 года часто будет скрываться именно авторегрессивная постановка обучения, без концептуальных нововведений на уровне моделирования. Разве что каузальная маска внимания может быть чуть видоизменена под конкретную задачу, как в "Generative Rankers"
https://t.me/redrecsys.
“We propose a generative Next-K strategy, where recommendations are generated item-by-item” – пишет
https://t.me/Recsys_IR_Travel с соавтором в https://arxiv.org/abs/2306.11114(SIGIR’23). Тут реализуется простая идея: айтем, сгенерированный авторегрессивной моделью, можно подставить в последовательность и продолжить генерировать рекомендации дальше. Помимо жадной генерации есть и другие стратегии. Интуитивно очень понятный подход, и тут он «генеративный» уже в прямом смысле слова, без оговорок. Но хайпует сейчас другое.
“We propose a new paradigm ... Instead of traditional query-candidate matching approaches, our method uses an end-to-end generative model that predicts the candidate IDs directly.” – пишет Google в статье про https://arxiv.org/abs/2305.05065 (NeurIPS’23). TIGER использует полноценную энкодер-декодер архитектуру и обучается генерировать один следующий айтем (состоящий из набора иерархических semantic ids) для пользователя с заданной историей (в которой также каждый айтем представлен как набор semantic ids). Результаты на публичных датасетах у этой модели
https://t.me/redrecsys, но важно далеко не это. Открывается целое направление в RecSys ресёрче:
“We propose OneRec, which replaces the cascaded learning framework with a unified generative model. This is the first end-to-end generative model” - пишут KuaiShou в препринте https://arxiv.org/abs/2502.18965 (2025). В данном случае одна модель заменяет собой все стадии индустриальных рекомендательных пайплайнов от кандидато-генерации до ранжирования. Прямая генерация айтемов по семантическим айди повторяет идею TIGER, так что в первом приближении модель относится к кандидато-генерации ("Generative Retrieval"). Но использование RL подходов в серии статей “One…” от KuaiShou
позволяет моделям дообучаться на максимизацию приносимого ими профита. По сути, это инкорпорация сразу и ранжирующего сигнала (конверсии в целевые действия - на которые учатся ранжирующие модели), и даже более общего экономического сигнала сразу в единую модель. Что в идеальном мире позволяет ей быть end-to-end генеративным рекомендательным движком, затюненным на полезность в сервисе. Так что законно задаёмся вопросом – не это ли RecSys будущего?
Про серию “One…” можно из Яндекса и поучаствовать
https://t.me/aihubvk.
