Pinterest отказался от CTR и создал новую метрику для оценки рекламы. Она учитывает контент, который окружает рекламный блок

2020 год оказался очень успешным для Pinterest. Выручка компании выросла на 48% год к году, а в четвертом квартале – на 76%. Аудитория за год выросла на 37% и достигла 459 миллионов MAU.
Мы перевели статью Филипа Аппса, специалиста Pinterest по Data Science и Ads Quality, где он рассказывает, почему сервис отказался от CTR и использует новую метрику, названную User Metric. Она учитывает больше сигналов, чем просто клик и позволяет более объективно оценить вовлеченность юзера.
Чтобы было легче разобраться, мы дополнили перевод несколькими пояснениями от себя. Так формулы, приведенные в оригинале, станут более понятными. А некоторые лирические отступления из оригинала, мы, наоборот, сократили, чтобы быстрее перейти к сути.
В материале:
- 4 главные недостатка CTR;
- Какие данные нужны, чтобы оценить рекламу объективно;
- Формула User Metric,
- Результаты экспериментов User Metric vs CTR.
Если люди кликают на что-то, значит, им это нравится
Представьте, что вам нужно измерить вовлеченность пользователей сайта, например, интернет-магазина. Можно измерить этот показатель с помощью CTR — количества кликов по объявлению, разделенное на количество его просмотров. Ведь, если люди кликают на что-то, значит, им это нравится, верно?
У такого способа оценки есть несколько преимуществ:
- Данные для вычисления CTR легко получить. Поэтому этот параметр легко вычислять, отслеживать и анализировать.
- CTR — широко известный и используемый в отрасли показатель. Поэтому его легко встроить в рабочий процесс.
- Многие рекламодатели тоже хотят иметь высокий CTR. Так, вы учитываете интересы и рекламодателя, и пользователей.
Получается, мы просто берем и решаем все проблемы с помощью машинного обучения, прогнозируя и максимизируя CTR? Не так быстро.
Недостатки CTR
На самом деле, CTR ничего не говорит о степени вовлечённости пользователей. Вот четыре основных недостатка CTR:
Проблема №1: Зависимость от расположения на странице
Чем раньше реклама оказывается во вьюпорте, тем выше будет CTR. Но это не значит, что реклама в верхней части экрана полезнее для юзера, чем остальная. Это характерно не только для онлайна. Исследования (некоторые из которых приведены в статье JSTOR) показали, что люди с большей вероятностью голосуют за кандидатов, чьи имена расположены в верхней части избирательного бюллетеня. Если не учитывать этого, то можно решить, что пользователям больше нравится реклама в верхней части страницы. Тогда как на самом деле они просто чаще обращают на неё внимание.
Проблема №2: Чрезмерная ориентация на CTR приводит к кликбейту
Использование классического CTR провоцирует кликбейт. Недобросовестный рекламодатель будет ставить кричащие заголовки, которые будут вести пользователя на страницы перегруженные рекламой и не приносящие человеку никакой пользы.
Проблема № 3: CTR игнорирует другие сигналы
В Pinterest пользователь может сохранить или скрыть пин — эти действия зачастую гораздо важнее кликов, потому что показывают его отношение к контенту. CTR их не учитывает. В Pinterest считают, что каждая уважающая себя онлайн-платформа должна предоставлять пользователю инструмент, с помощью которого он может сообщить о том, что ему нравится или не нравится. И, если у платформы есть такой инструмент, нужно уделять ему особое внимание, чтобы пользователи видели, что к ним прислушиваются.
Проблема №4: На некоторые вещи нельзя кликнуть
Клик — не всегда показатель успеха и не всегда главная цель. Некоторые материалы делают не для того, чтобы на них кликали. Например, бренд может запустить имиджевое видео. Просмотр повысит его узнаваемость, но совсем не обязательно приведёт к клику.
Больше, чем CTR
Чтобы решить все эти проблемы Pinterest разработал новую метрику. Давайте разберемся, как она работает.
User Metric — так Pinterest называет эту свою улучшенную версию CTR.
User Metric =
Взвешенное взаимодействие с рекламой разделить на Взвешенное взаимодействие с соседствующим органическим контентом
Числитель: Weighted Engagement on Ads (WEA)
Вместо того, чтобы смотреть на CTR мы смотрим на WEA — средневзвешенная величина различных действий, в Pinterest: кликов, скрытий и сохранений. Чтобы вычислить эту величину нужно:
- посчитать CTR;
- посчитать рейтинг скрытий (количество скрытый делим на количество показов)
- посчитать рейтинг сохранений (количество сохранений делим на количество показов)
- для каждого из этих действий определить важность и, исходя из этого, выбрать коэффициент — положительный для хороших действий, отрицательный для плохих.
- взять полученные значения и сложить с разными коэффициентами.
Знаменатель: Weighted Engagement on Neighboring Organic Content
Чтобы решить проблему с плейсментом рекламы на странице, Pinterest предлагает вычислять такой же коэффициент для органического контента вокруг.
Искомая метрика вычисляется как отношение коэффициента WEA для рекламы к аналогичному коэффициенту для органического контента вокруг.
Взвешенное взаимодействие с рекламой
Предположим, что мы оцениваем качество взаимодействия пользователя с рекламой по формуле:
WEA = CTR — 20*HideRate.
Заметим, что HideRate умножается на большое отрицательное число. Отрицательное, потому что, если пользователь скрывает пин, значит, он ему не нравится, а большое, потому что скрытие — выражение серьезного недовольства, действие важнее, чем просто клик.
Рассмотрим два рекламных объявления: на B кликают чаще, но и скрывают его в пять раз чаще.
Если бы мы смотрели только на CTR, то решили бы, что реклама B лучше, чем A. Но если мы обратим внимание на HideRate и вычислим WEA, по формуле приведенной выше, то увидим, что A лучше.
Правильный выбор важных действий и подбор подходящих к ним коэффициентов решает проблемы 2, 3 и 4 из списка выше. Но проблема расположения рекламы все равно остается нерешённой. Сейчас мы на простом примере покажем, как разобраться и с ней.
Решение проблемы с расположением на странице
Для простоты предположим, что для оценки вовлечения пользователя мы используем только CTR. Также предположим, что мы проводим A/B-тест с контрольной и экспериментальной группой, CTR экспериментальной группы при этом оказывается ниже.
На первый взгляд, результат контрольной группы лучше. Но теперь предположим, что в контрольной группе реклама показывалась только на первой странице, а в экспериментальной — только на десятой.
Также предположим, что CTR рекламы и органического контента падает по мере того, как пользователи просматривают Pinterest. В таком случае, результат экспериментальной группы выглядит лучше — CTR в ней всего на 0,1% меньше, чем у контрольной, хотя мы ожидали более резкого ухудшения.
Что мы получаем в результате?
Мы сравниваем средний уровень вовлечённости для рекламы со средним уровнем вовлечённости для органического контента вокруг неё. Тут и появляется знаменатель.
Рекламные объявления в контрольной и экспериментальной группах обычно показываются так:
Тогда мы могли бы получить такой результат:
Поэтому, если учитывать показатели органического контента, результат по общему вовлечению пользователей в экспериментальной группе выглядит намного лучше, чем в контрольной, поскольку CTR рекламы падает гораздо медленее, чем CTR органического контента. Такое сравнение и помогает решить проблему с позицией рекламы.
Масштабируем полученные знания. От теории к практике
Стоит ли оно того? Да! Особенно потому что метрика дает результаты, отличные от CTR. Вот несколько примеров, когда показатели расходятся, а новая метрика лучше отражает взаимодействие с пользователем. (Синий – статистически значимый положительный результат, красный – статистически значимый отрицательный, серый – нейтральный.)