Яндекс выложил в открытый доступ крупнейший в мире датасет для развития рекомендательных систем

Yandex опубликовал датасет Yambda (Yandex Music Billion-Interactions Dataset) — крупнейший набор данных для рекомендательных систем. Он содержит почти 5 млрд обезличенных взаимодействий пользователей с аудиотреками Яндекс Музыки, стримингового сервиса Яндекса. Yambda может стать универсальным стандартом для тестирования новых подходов и алгоритмов во всех сегментах, где используются рекомендательные системы, в том числе — в электронной коммерции, социальных сетях, сервисах коротких видео.

С помощью датасета Yambda исследователи смогут разрабатывать новые алгоритмы рекомендаций и оценивать их эффективность в сравнении с бейзлайнами, что ускорит внедрение инноваций. Стартапы с небольшими массивами данных получат свои преимущества, используя Yambda для масштабирования создаваемых и тестируемых ими систем. Все это будет способствовать глобальному развитию передовых технологий с учетом потребностей бизнеса.

Сокращение разрыва между наукой и индустрией

Для предоставления актуальных рекомендаций в стриминговых сервисах, социальных сетях, приложениях для просмотра коротких видео, а также на маркетплейсах крайне важны качество и объем обучающих данных. Но исследования в области рекомендательных систем не успевают за стремительно развивающимися технологиями, например, такими как большие языковые модели. Во многом это связано с отсутствием доступа к масштабным массивам данных. Для создания эффективных рекомендательных моделей требуются терабайты поведенческих данных, которые есть у коммерческих платформ, но которыми они редко делятся.

Исследователям часто приходится работать с небольшими и устаревшими датасетами, которые не отражают всей сложности современных сценариев использования:

— датасет Million Playlists от Spotify слишком мал и не подходит для рекомендательных систем промышленного уровня;
— датасет Netflix Prize содержит около 17 000 объектов с временными метками только в виде даты, что ограничивает возможности временного моделирования и масштабных исследований;
— датасет 1TB Click Logs от Criteo выложен без надлежащей документации и идентификаторов, а основными его объектами являются клики по рекламным объявлениям.

Из-за недостаточного объема обучающих данных модели, отлично показавшие себя в академических исследованиях, часто оказываются неэффективны в реальных условиях. Это, в том числе, затрудняет интеграцию рекомендательных систем с платформами и сервисами, имеющими современную архитектуру.

О датасете Yambda

Yambda позволяет решать актуальные задачи современных рекомендательных систем, так как содержит огромный массив обезличенных данных из Яндекс Музыки, стримингового сервиса, которым каждый месяц пользуется около 28 млн человек. С помощью датасета Yambda можно изучить взаимодействие пользователей с контентом, доступным в Яндекс Музыке. В этом сервисе реализована сложная рекомендательная система «Моя волна», которая подбирает музыку для каждого пользователя с учетом предпочтений. Для обеспечения конфиденциальности все данные о пользователях и треках обезличены, датасет содержит только числовые идентификаторы.

Основные характеристики датасета:

— 4,79 млрд обезличенных пользовательских действий, собранных за 10 месяцев;
— данные получены от 1 млн пользователей и обезличенных идентификаторов при взаимодействии с 9,39 млн треков;
— два типа обратной связи: неявная (прослушивание) и явная (лайки, дизлайки и их отмена);
— эмбеддинги треков (векторные представления, созданные с помощью сверточных нейронных сетей) и обезличенная информация о треках;
— флаг is_organic, который позволяет разграничить органические действия, когда пользователь находит трек самостоятельно, и действия, предложенные рекомендательной системой, что способствует более глубокому анализу поведения;
— временные метки всех событий (для анализа поведенческой динамики и оценки моделей в условиях, максимально приближенных к реальным).

Датасет выложен в формате Apache Parquet который совместим с системами распределенной обработки данных (например, Spark или Hadoop) и аналитическими библиотеками (например, Pandas и Polars).

Варианты датасета и оценка качества алгоритмов

Датасет Yambda доступен в трех вариантах (~5 млрд, 500 млн и 50 млн событий) и подходит для любых вычислительных мощностей и разных задач в области исследований и разработки.

Для оценки качества алгоритмов используется подход Global Temporal Split (GTS), который подразумевает разбивку данных по времени и позволяет сохранить естественную последовательность событий. При использовании подхода Leave-One-Out из истории каждого пользователя в тестовый набор данных откладывается только последнее подтвержденное взаимодействие, что может привести к нарушению временных последовательностей в обучающих и тестовых выборках. GTS исключает эту ситуацию и гарантирует более реалистичное тестирование модели, при котором имитируются реальные условия, а данные из будущего недоступны.

Бейзлайны для сравнения новых подходов к разработке рекомендательных систем были получены при тестировании алгоритмов MostPop, DecayPop, ItemKNN, iALS, BPR, SANSA и SASRec. Использовались стандартные метрики, в том числе:

— NDCG@k — качество ранжирования;
— Recall@k — способность генерировать релевантные рекомендации;
— Coverage@k — разнообразие каталога.

Yambda, крупнейший в мире открытый датасет для рекомендательных систем, теперь доступен на Hugging Face https://huggingface.co/datasets/yandex/yambda.