Чек-лист. Хорошо ли работает рекомендательная система на новостном сайте
Многие СМИ пользуются рекомендациями контента для вовлечения пользователей и улучшения метрик сайта. За время работы мы провели сотни тестов на новостных медиа, среди которых РИА Новости, vc.ru, Известия, Forbes. Рассказываем на что обратить внимание и как понять, что ваша рекомендательная система нуждается в улучшении.
1. Проверьте “возраст” ваших рекомендаций
Если вы рекомендуете новости полугодичной давности — это значит блоки на сайте работают не в полную силу. По нашему опыту, отсутствие временного ограничения всегда снижает CTR блоков на сайте.
Но период актуальности публикаций у каждого СМИ индивидуален. Причиной может быть разница аудиторий: большое ядро или много новых читателей, частота обновления и другие факторы.
Например, на vc.ru интерес пользователей к публикации затухает за 30 дней. Поэтому мы ограничили рекомендации на такой промежуток. А вот на «РИА Новости» оптимальный возраст новости всего 3 дня.
2. Проверьте рекомендации на разнообразие
Если вы рекомендуете новости по разделам: к спорту — спорт, к политике — политику, — вы теряете около 20% времени, которое пользователи готовы провести на сайте.
Мы провели эксперимент и показали одной группе юзеров сегментированные рекомендации: человек читает новость из раздела «Общество» — рекомендуем ему статьи только из раздела «Общество». Другая группа получала рекомендации со всего сайта (кросс-сегментные рекомендации). CTR виджета с рекомендациями без учета разделов — в 2 раза выше, а процент отказа ниже на 16%. Время проведенное на сайте увеличилось на 23%.
Отключите сегментирование и увидите, как CTR блока пойдет вверх.
3. Пройдитесь по темам: разнообразие и здесь повысит эффективность
Проверьте, не рекомендуете ли вы похожие статьи. К новости о премьере Великобритании еще 6 новостей о Великобритании и премьерах. Такой подход выглядит очевидно, но использовать его — значит потерять 30% кликов.
Мы в своих рекомендациях используем коллаборативную фильтрацию. То есть ориентируемся не только на содержание статьи, а на закономерности в поведении пользователей. По результатам А/В тестов коллаборативная фильтрация дает на 20-30% больше кликов, чем подборка по тегам.
Это значит, треть ваших читателей осталась бы на сайте дольше, если бы не рекомендации похожих статей.
Если вы хотите учитывать содержание статьи в рекомендациях, почитайте, как мы делаем это алгоритмически.
4. Учитываете ли вы, как растет и падает интерес читателей
Звучит сложно. Но самый простой способ проверить — посмотрите, рекомендуете ли вы “самое популярное”, новости, которые набрали очень много просмотров.
Если такой блок есть на вашем сайте — вы теряете 700% кликов. Интерес пользователей к «Популярным новостям» очень низкий, потому что они, скорее всего, уже в курсе. «Популярное» — это то, что все видели.
Второй способ не определишь на глаз, и придется спросить у разработчиков. Прогнозируют ли они виральность новостей для выдачи рекомендаций?
У свежей публикации может быть мало просмотров, но читатели активно делятся новостью и этот тренд будет сохраняться в течение какого-то времени. Нужно уловить его и рекомендовать такие новости. Но важно не совершать типичную ошибку и вовремя убирать их из выдачи, когда тренд виральности идет на спад и статья набрала много просмотров.
5. Посчитайте рекомендательные плитки на сайте
А потом проведите простой тест: увеличьте количество плиток в рекомендательном блоке и наблюдайте, как пользователь залипает на сайте, а CTR ваших рекомендаций взлетает.
В тесте на Tjournal мы увеличили количество плиток с 4 до 8 и повысили кликабельность рекомендательного блока на 34,3%.
В следующий раз мы увеличили количество плиток в рекомендательном блоге TJ с 8 до 12. CTR вырос еще на 12,47%.
Но бесконечно увеличивать количество плиток не имеет смысла. В какой-то момент количество перестает переходить в качество.
Эксперимент с количеством плиток, конечно, работает не только для новостей. Похожий эксперимент мы провели на Лайфхакере. Увеличили количество плиток с 8 до 12 и эффективность рекомендательного блока выросла на 25%.
Если хотите больше подробностей, почему рекомендации работают так а не иначе, читайте статью одного из наших разработчиков: «Как нельзя делать рекомендации контента».
