Корпоративная фильтрация что это такое
Что такое рекомендательные системы и как они работают
Откуда соцсети, интернет-магазины и онлайн-кинотеатры знают, что вы любите? Разбираемся вместе.
Покупая что-то в онлайн-магазине, вы наверняка замечаете блок «Рекомендованное». И чем больше времени вы рассматриваете товары, тем более качественными становятся рекомендации.
Пока вы изучаете ассортимент, специальный алгоритм собирает досье: какие цвета и модели вам нравятся, что покупаете, а что удаляете из корзины. Программа находит похожие товары и в первую очередь показывает вам именно их — как если бы в ассортименте магазина были только ваши любимые вещи.
Сложно устоять перед соблазном и не потратить все деньги. На это и рассчитывают заказчики рекомендательных систем — они пытаются увеличить конверсию в покупку и средний чек своих магазинов.
Пишет про digital и машинное обучение для корпоративных блогов. Топ-автор в категории «Искусственный интеллект» на Medium. Kaggle-эксперт.
Виды рекомендательных систем
Представьте, что вам нужно порекомендовать кому-то фильм. На чём вы будете основываться? Другу, с которым у вас много общего, можно посоветовать то, что понравилось вам. Но восьмилетней сестре вы вряд ли предложите «Декстера» — и вкусы, и потребности явно будут отличаться.
Логика рекомендательных систем тоже может быть разной:
Рассмотрим каждый из типов подробнее.
Фильтрация, основанная на контенте (content-based filtering)
Посмотрели ужастик про зомби? Рекомендательная система, основанная на контенте, посоветует ещё 25. Постоянно слушаете Queen? Вот вам плейлист рок-музыки семидесятых. Кажется, что это безотказный метод. Но нет.
Допустим, вы купили диван. Это крупная и дорогая покупка, большинство людей не приходит за новым диваном каждый месяц. Если рекомендательная система посоветует вам купить ещё 15 диванов, то магазин явно будет в убытке. А вот рекламные системы вроде «Яндекс.Директа» о факте покупки не знают, поэтому ещё долго будут кидаться в вас всевозможными диванами — то есть фильтровать рекламу, основываясь на контенте.
Коллаборативная фильтрация (collaborative filtering)
Что же делать магазину мебели в такой ситуации? Рецепт простой — можно отследить историю корзин всех покупателей диванов. И окажется, что спустя пару месяцев многие покупают средства и губки для чистки мебели, какие-то аксессуары, чехлы, накидки. Порекомендовать их клиенту — значит сделать его жизнь проще, а заодно заработать. Но и этот подход не универсален.
Фильтрация, основанная на знаниях (knowledge-based filtering)
Если на сайте продаются дома или машины, полагаться на отзывы других пользователей система не может: покупки штучные и редкие, а значит, информации слишком мало — нет статистической значимости. Но мы же хотим, чтобы пользователь купил дом своей мечты у нас, а не у конкурентов?
В этом случае можно добавить фильтры: дом в городе или в деревне, количество этажей и квадратных метров, материал стен. После этого рекомендательная система подбирает наиболее подходящие дома из каталога.
Такой тип рекомендаций точен: пользователю показывают именно то, что он хочет видеть. Но алгоритмы фильтрации, основанной на знаниях, сложнее продумать, потому что параметров поиска может быть очень много.
Гибридные рекомендательные системы (hybrid filtering)
Гибридные рекомендательные системы сочетают разные подходы. Так можно избавиться от большинства недостатков «несмешанных» систем. Например, в онлайн-магазинах одежды в рекомендациях показываются вещи, похожие на те, что вы уже смотрели, а также те, которые покупали пользователи с похожими вкусами, — то есть одновременно включаются механизмы фильтрации, основанной на контенте, и коллаборативной фильтрации.
Как работает рекомендательная система Netflix
Считается, что рекомендательная система Cinematch, созданная Netflix, — одна из наиболее продуманных в мире. Netflix не раскрывает всех деталей работы своей модели машинного обучения, но основные принципы известны.
При регистрации вас сразу просят указать несколько любимых фильмов и сериалов. На их основе генерируется лента, которая будет подстраиваться под ваши вкусы. С помощью лайков и дизлайков вы можете корректировать её и добавлять понравившиеся фильмы в плейлист.
Netflix хочет знать о вас всё: что вы смотрите, что смотрели до и после конкретной программы, в какое время суток используете сервис и сколько времени в нём проводите. Алгоритм учитывает ваши возраст, пол и геопозицию.
Каждое видео на Netflix сначала просматривают специалисты. Они вручную маркируют и размечают контент, то есть описывают, что зритель увидит на экране. Пользователи иногда ищут очень конкретные вещи — например, «британская комедия про зомби» — и Netflix может выдать релевантный контент даже на такие сложные запросы.
Видеосервис использует данные о фильмах и пользователях, чтобы с помощью алгоритмов машинного обучения оценить, какая информация важнее всего. Например, что больше влияет на ваши вкусы сегодня: то, что вы смотрели год или неделю назад? Обычно чем свежее данные, тем лучше. Хотя если сейчас конец декабря, то новогодние и рождественские комедии окажутся более уместными — но только для стран с христианскими традициями.
Cinematch рассматривает как явные, так и неявные источники информации. Если вы добавляете сериал в избранное, значит, он вас заинтересовал. Но если вы посмотрели три сезона сериала за два дня и при этом не добавили его в избранное, это тоже хороший знак.
Алгоритм машинного обучения анализирует не только каждого отдельного пользователя, но и группы пользователей со сходными вкусами — сегменты. У Netflix таких сегментов по интересам больше 2 тысяч. В итоге на рекомендации влияет даже то, что смотрели другие люди из вашего сегмента.
В Интернете множество сайтов, на которых фильмы можно смотреть бесплатно, но Netflix в 2020 году набрал почти 200 млн платных подписчиков. А значит, их рекомендательная система чего-то стоит.
Плюсы и минусы рекомендательных систем
Рекомендательные системы приносят очевидную выгоду владельцам онлайн-магазинов, различных сервисов и приложений. Они показывают пользователю именно то, что ему интересно, и генерируют прибыль.
Но есть и минусы. Человек привыкает к подсказкам рекомендательных сетей при выборе книг, фильмов и музыки. У него пропадает стимул изучать новые непривычные жанры — ведь всё, что предлагает сеть, ему в принципе нравится.
Особенно остро стоит проблема потребления новостей и выдачи умной ленты в социальных сетях. Потому что здесь речь идёт уже не столько о развлечениях, сколько о формировании мировоззрения.
Например, у расиста или у конспиролога, верящего в рептилоидов, в ленте будут преобладать поддерживающие его точку зрения материалы — а значит, его шансы познакомиться с качественными альтернативными источниками стремятся к нулю и он будет лишь ещё больше укрепляться в своём мнении. И это может привести к печальным последствиям или неадекватным поступкам.
Социальные сети и алгоритмы выдачи борются с таким явлением. Так что бояться полной потери индивидуальности не стоит. Все мы в какой-то степени полагаемся на гаджеты и современные технологии, а рекомендации помогают ориентироваться в потоке информации и находить интересные материалы быстрее.
Создавать рекомендательные системы, анализировать данные и писать алгоритмы, которые помогают компаниям в России или за рубежом делать клиентов счастливыми, вы научитесь на курсе по Data Science.
Коллаборативная фильтрация: как предпочтения других пользователей влияют на твои рекомендации
Последние несколько лет в интернет-магазинах, онлайн-кинотеатрах и других сервисах активно развиваются алгоритмы отслеживания интересов пользователей, на основе которых составляется индивидуальный список интересных товаров.
Рекомендательные системы — win-win инструмент как для владельцев платформ, так и для их пользователей. Первые повышают объем продаж за счет показа релевантного контента потенциальным покупателям, вторые тратят меньше времени на поиск нужных вещей.
Говоря о рекомендательных системах, часто упоминают «коллаборативную фильтрацию». В этой статье мы простыми словами расскажем, что это такое, как она работает и приведем несколько примеров использования.
Коллаборативная фильтрация — технология прогнозирования предпочтений пользователя с учетом интересов других посетителей интернет-ресурса. На основе собираемой информации система рекомендует те товары, которыми аудитория со схожими интересами уже интересовалась, а конкретный человек — еще нет.
Коллаборативную фильтрацию в основе алгоритмов используют многие крупные сервисы (например, Amazon, eBay, AliExpress, Netflix и другие) и социальные сети (ВКонтакте, Facebook и другие). Умные алгоритмы помогают сервисам предлагать пользователям интересные товары или услуги и сокращают время поиска нужных вещей.
За сложным и страшным названием кроется простая схема работы. Система делит пользователей на группы по схожим интересам и затем рекомендует им то, что просматривали (покупали, заказывали) другие люди из этого сегмента.
Рассмотрим пример работы коллаборативной фильтрации на основе сервиса IVI (онлайн-кинотеатр). Пользователь регистрируется, смотрит фильм «Законопослушный гражданин» и дальше получает рекомендации на основе того, что смотрели другие люди, интересовавшиеся этой картиной.
По такому принципу платформа делает разные подборки и рекомендации: по жанрам, актерам, создателям фильмов и т.п.
Здесь действует принцип накопления знаний: чем больше вы смотрите страниц, тем точнее становятся рекомендации. Кстати, некоторые сервисы предлагают пользователям оставлять оценки, чтобы повышалось качество работы системы.
Коллаборативная фильтрация делится на 3 типа: основанный на соседстве, основанный на модели и гибридный. Далее поговорим о них подробнее.
Этот тип появился первым и сегодня используется в большинстве рекомендательных систем. Для посетителя подбирается подгруппа пользователей со схожими интересами и на основе комбинаций весов и оценок подбирается контент, который с большей долей вероятности заинтересует человека.
Функционирование системы, в основе которой лежит этот тип, осуществляется в несколько этапов:
Этот тип дает рекомендации на основе параметров статистических моделей для оценок пользователей, построенных с помощью метода байесовских сетей, кластеризации, латентной семантической модели и т.п.
Модели разрабатываются с использованием интеллектуального анализа данных и алгоритмов машинного обучения, чтобы найти закономерности на основе обучающих данных. Число параметров в модели не имеет жестких ограничений и может быть уменьшено в зависимости от типа с помощью метода главных компонентов.
Данный подход набирает популярность из-за более высокой точности прогнозов, потому что при работе рекомендательной системы учитываются скрытые факторы, объясняющие наблюдаемые оценки.
Недостатки тоже есть, но среди основных особо выделяется высокая стоимость реализации модели. Важной задачей на этапе создание становится поиск компромисса между точностью и размером модели, так как из-за сокращения можно потерять полезную информацию.
Гибридный тип распространен больше остальных, особенно если рекомендательная система разрабатывается для коммерческого сайта: интернет-магазина, маркетплейса и т.п. Он объединяет в себе два первых типа и помогает преодолеть ограничения изначального оригинального подхода (основанного на соседстве) и улучшить точность рекомендаций.
Он решает и другие трудности, например, проблему разреженности данных и потери информации. Из-за этого он сложен и дорог в реализации и применении, но при этом приносит компаниям много пользы.
Несмотря на всю пользу, которую дает коллаборативная фильтрация, есть и ряд проблем, с которыми сталкиваются разработчики.
Обычно большие коммерческие рекомендательные системы основаны на большом количестве данных (контент, товары, услуги и т.п.), при этом большая часть пользователей не ставит оценок. Из-за этого матрица «предмет-пользователь» получается большой и разреженной, поэтому иногда трудно подготовить релевантные рекомендации.
Эта проблема характерна для новых систем. В связи с этим иногда усиливается проблема «холодного старта», о которой поговорим далее.
При постепенном росте количества пользователей рано или поздно может возникнуть проблема масштабируемости. Например, у нас есть 100 тысяч пользователей O(M) и 15 тысяч товаров O(N). Тогда алгоритм коллаборативной фильтрации сложен для расчета в такой степени, каким получается выражение O(M x N).
Эта проблема дополняется тем, что некоторые рекомендательные системы должны за доли секунды реагировать на запросы пользователей, причем история их покупок и оценок не имеет значения. Все это требует еще большей масштабируемости.
Новый контент и пользователи для рекомендательной системы — проблема. Часть проблемы программисты решают использованием подхода, который основан на анализе содержимого, потому что он ориентируется не на оценки, а на атрибуты. Поэтому удается включать новые предметы в рекомендации для пользователей.
Синонимия — это тенденция, когда похожие или вовсе одинаковые предметы имеют разные имена. Большинство рекомендательных систем не умеют находить скрытые связи, поэтому считают эти предметы разными. Например, «фильмы про сыщиков» и «фильмы про детективов» — это один жанр, но система будет понимать их как разные категории.
Проблема рекомендательных систем в том, что любой пользователь может ставить оценки. А если это будет, например, производитель конкретных товаров? Он может положительно оценивать свои товары, а на конкурентных оставлять плохие отзывы. Поэтому рекомендательные системы стали сильно влиять на продажи и прибыль, когда коммерческие проекты начали массово использовать их.
Некоторые алгоритмы, например, основанные на продажах и рейтингах, создают сложные условия для продвижения малоизвестных продуктов. Они не могут набрать нужного количества оценок, как у популярных товаров.
Изначально коллаборативная фильтрация задумывалась как способ продвижения малоизвестных товаров. То есть пользователям на основе их интересов должен был демонстрироваться контент от мелких производителей, которые в другой среде из-за нехватки ресурсов не могут конкурировать с гигантами.
«Белые вороны» — пользователи, чье мнение не совпадает с большинством остальных. Возможно, у них специфичные вкусы и взгляды. Из-за этого делать релевантные рекомендации становится проблематично.
Вопрос не в том, что мы хотим знать о людях, вопрос в том, что люди сами хотят рассказать о себе.
Рассмотрим несколько примеров, где применяется метод коллаборативной фильтрации. Самые очевидные варианты — социальные сети Facebook и ВКонтакте. Он заложен в основе «умных» новостных лент. Наверное, вы замечали, что уже давно посты не показываются в хронологическом порядке. Сервисы определяют ваши интересны и сначала показывают записи, которые заинтересуют вас с большей вероятностью.
По аналогичному принципу сегодня работает еще одна крупная социальная сеть — Instagram. Если раньше мы видели публикации по новизне, то сегодня система автоматически подбирает сначала то, что заинтересует нас. И чем больше ставим лайков и оставляем комментариев, тем точнее работают рекомендации.
Еще один наглядный пример — YouTube. Он делает рекомендации видео на основе того, что мы смотрели до этого. Помимо этого, площадка предлагает ознакомиться с материалами других пользователей, интересы которых максимально совпадают с нашими.
Ранее в статье мы упоминали об онлайн-кинотеатре IVI. Он подбирает фильмы на основе интересов пользователя, предварительно проанализировав предыдущие просмотры и оценки. Также предлагаются подборки фильмов, которые формируются на основе схожести интересов с интересами других пользователей. Стоит отметить, что по такому принципу сегодня работают все крупные онлайн-кинотеатры.
О примерах можно говорить очень долго. Обратите внимание на крупные интернет-магазины, музыкальные сервисы и т.п. Вы увидите, что, спустя некоторое время после начала использования, они рекомендует контент, который соответствует вашим интересам.
К сожалению, коллаборативная фильтрация — не идеальное решение для построения рекомендательной системы для пользователей, но зато у этого метода есть особенности, которых лишены другие алгоритмы.
Раньше в основе систем лежали интересы самого пользователя. В результате он оказывался замкнут в кругу собственных предпочтений и с трудом получал информацию о новом контенте, который на первый взгляд не соответствовал его интересам. Теперь пользователи могут знакомиться с полным спектром товаров площадки и выбирать для себя что-то новое, полезное и интересное.
Коллаборативная фильтрация
В современном мире часто приходится сталкиваться с проблемой рекомендации товаров или услуг пользователям какой-либо информационной системы. В старые времена для формирования рекомендаций обходились сводкой наиболее популярных продуктов: это можно наблюдать и сейчас, открыв тот же Google Play. Но со временем такие рекомендации стали вытесняться таргетированными (целевыми) предложениями: пользователям рекомендуются не просто популярные продукты, а те продукты, которые наверняка понравятся именно им. Не так давно компания Netflix проводила конкурс с призовым фондом в 1 миллион долларов, задачей которого стояло улучшение алгоритма рекомендации фильмов (подробнее). Как же работают подобные алгоритмы?
В данной статье рассматривается алгоритм коллаборативной фильтрации по схожести пользователей, определяемой с использованием косинусной меры, а также его реализация на python. 
Входные данные
Допустим, у нас имеется матрица оценок, выставленных пользователями продуктам, для простоты изложения продуктам присвоены номера 1-9: 
Задать её можно при помощи csv-файла, в котором первым столбцом будет имя пользователя, вторым — идентификатор продукта, третьим — выставленная пользователем оценка. Таким образом, нам нужен csv-файл со следующим содержимым:
Для начала разработаем функцию, которая прочитает приведенный выше csv-файл. Для хранения рекомендаций будем использовать стандартную для python структуру данных dict: каждому пользователю ставится в соответствие справочник его оценок вида «продукт»:«оценка». Получится следующий код:
Мера схожести
При реализации был использован факт, что скалярное произведение вектора самого на себя дает квадрат длины вектора — это не лучшее решение с точки зрения производительности, но в нашем примере скорость работы не принципиальна.
Алгоритм коллаборативной фильтрации
Теперь осталось только написать соответствующий код
Для проверки его работоспособности можно выполнить следующую команду:
Что приведет к следующему результату:
Что такое коллаборативная фильтрация?
В нынешнем обществе, пользующимся современными технологиями, нередко употребляются термины, которые понятны далеко не всем. В данной статье разберёмся, что такое коллаборативная фильтрация, говоря простыми словами.
Для начала стоит разобраться в том, что такое коллаборация. В ближайшее время на сайте появится подбробный разбор этого термина, но если кратко, то коллаборация – это совместная деятельность в какой-либо сфере нескольких людей или организаций для достижения общих целей, проще говоря – это сотрудничество.
Говоря простыми словами, коллаборативная фильтрация (или, как её ещё называют, совместная фильтрация) – это метод построения рекомендаций в рекомендательных системах, которые используют предпочтения группы пользователей для того, чтобы спрогнозировать предпочтения для другого пользователя.
Работает коллаборативная фильтрация по следующему принципу… Пользователи выражают своё мнение о неких продуктах или услугах на сайте – дают им свою оценку, оставляют отзывы. В итоге можно сформировать группу пользователей с одинаковыми интересами – им нравятся одни товары или услуги, но совершенно не нравятся другие. Проще говоря, у этой группы пользователей будут одни и те же вкусы. Например, если брать музыку, то некоторых пользователям нравится попса, и они не ненавидят тяжёлый рок. Им нравится зарубежная попса, но они не любят отечественных исполнителей. Если солидная часть этой группы пользователей также высоко ценит другие товары, например, подстиль Прогрессив-транс, то и остальным членам этой группы будет предлагаться оценить такую музыку.
Пример, с которым многие пользователи уже сталкивались самостоятельно: подбор фильмов на Яндексе. Достаточно вбить в поиске название жанра (и зайти в свою почту на Яндексе), и Вы получите рекомендации, которые изначально обусловлены лишь рейтингом фильмов в целом. Если же Вы оцените несколько фильмов, то Вам будут предложены улучшенные рекомендации – на основе Ваших интересов.
Если сделать требуемое системой количество оценок (для нашего примера — 10), то система сможет предложить более точные рекомендации именно для Вас на основе того, что нравится людям, которые поставили оценённым Вами фильмам примерно такие же оценки.
Это и есть коллаборативная фильтрация. Система находит людей, которые разделяют оценочные суждения пользователя, а затем использует оценки этих людей, чтобы спрогнозировать то, что понравится и пользователю.
Такая же система работает и в другом сервисе Яндекс под названием «Яндекс.Музыка». Вы оцениваете музыкальные произведения, и на основе Ваших интересов составляются плейлисты.
У коллаборативной фильтрации есть немало проблем:
Коллаборативная фильтрация – не идеальный метод построения рекомендаций для пользователя, но он работает, и работает хорошо. По крайней мере, для большинства пользователей и в большинстве случаев.
Коллаборативная фильтрация простыми словами
За последнее десятилетие на интернет-платформах стали широко применяться усовершенствованные алгоритмы для отслеживания заинтересованности пользователей на ресурсе и составления списка товаров в рекомендательном разделе. Новые методы отслеживания и рекомендаций других товаров оказались полезны как для владельцев ресурсов, так и для самих пользователей.
В этой статье мы простыми словами расскажем о том, что же такое коллаборативная фильтрация, о принципе ее действия и приведем примеры применения этого метода.
Этот метод обработки интересов пользователей далеко не новый. Он широко применяется на таких крупных сервисах, как Amazon, Netflix, или в крупных социальных сетях. Благодаря умным алгоритмам компании и организации значительно лучше понимают потребности своих клиентов, а клиенты приобретают наиболее релевантные товары.
Принцип действия коллаборативной фильтрации довольно простой: если пользователь совершал покупки или же просто переходил на страницу товара, то система находит других пользователей с похожими запросами. После этого система рекомендует пользователю те продукты, которыми интересовались другие клиенты, а пользователь — еще нет. По-другому такой алгоритм называется User-Based (дословно переводится с английского как «на основе пользователя»).
Применение коллаборативной фильтрации условно можно разделить на два подхода:
Где применяется метод коллаборативной фильтрации
YouTube применяет подборку рекомендованных видео, составленную на основании просмотренных видео, сервис рекомендует к просмотру похожий контент. Также сервис предлагает познакомиться с материалами или источниками других пользователей, интересы которых максимально совпадают с активным пользователем.
Яндекс.Музыка работает по такому же принципу. Сервис собирает информацию о музыке прослушанной или отмеченной положительной оценкой и на основании этих данных составляет плейлисты.
ВКонтакте и Facebook используют коллаборативную фильтрацию для работы с «умной» новостной лентой, где список постов формируется не в хронологическом порядке их публикации, а в зависимости от степени заинтересованности пользователя.
Таким же образом в ЭБС «Лань» для отображения нового блока рекомендаций используется коллаборативная фильтрация. Сайт анализирует статистику чтения книг конкретного пользователя и сравнивает его интересы с интересами других читателей. Затем из полученной информации делает прогноз, какие книги могут заинтересовать конкретного читателя, и добавляет их в подборку. В настоящий момент разработчики оптимизируют работу нового раздела для приемлемого соотношения качества и количества.