Pinterest отказался от CTR и создал новую метрику для оценки рекламы. Она учитывает контент, который окружает рекламный блок

2020 год оказался очень успешным для Pinterest. Выручка компании выросла на 48% год к году, а в четвертом квартале – на 76%. Аудитория за год выросла на 37% и достигла 459 миллионов MAU.

Мы перевели статью Филипа Аппса, специалиста Pinterest по Data Science и Ads Quality, где он рассказывает, почему сервис отказался от CTR и использует новую метрику, названную User Metric. Она учитывает больше сигналов, чем просто клик и позволяет более объективно оценить вовлеченность юзера.

Чтобы было легче разобраться, мы дополнили перевод несколькими пояснениями от себя. Так формулы, приведенные в оригинале, станут более понятными. А некоторые лирические отступления из оригинала, мы, наоборот, сократили, чтобы быстрее перейти к сути.

В материале:

• 4 главные недостатка CTR;
• Какие данные нужны, чтобы оценить рекламу объективно;
• Формула User Metric,
• Результаты экспериментов User Metric vs CTR.

Если люди кликают на что-то, значит, им это нравится

Представьте, что вам нужно измерить вовлеченность пользователей сайта, например, интернет-магазина. Можно измерить этот показатель с помощью CTR — количества кликов по объявлению, разделенное на количество его просмотров. Ведь, если люди кликают на что-то, значит, им это нравится, верно?

У такого способа оценки есть несколько преимуществ:

1. Данные для вычисления CTR легко получить. Поэтому этот параметр легко вычислять, отслеживать и анализировать.
2. CTR — широко известный и используемый в отрасли показатель. Поэтому его легко встроить в рабочий процесс.

3. Многие рекламодатели тоже хотят иметь высокий CTR. Так, вы учитываете интересы и рекламодателя, и пользователей.

Получается, мы просто берем и решаем все проблемы с помощью машинного обучения, прогнозируя и максимизируя CTR? Не так быстро.

Недостатки CTR

На самом деле, CTR ничего не говорит о степени вовлечённости пользователей. Вот четыре основных недостатка CTR:

Проблема №1: Зависимость от расположения на странице

Чем раньше реклама оказывается во вьюпорте, тем выше будет CTR. Но это не значит, что реклама в верхней части экрана полезнее для юзера, чем остальная. Это характерно не только для онлайна. Исследования (некоторые из которых приведены в статье JSTOR) показали, что люди с большей вероятностью голосуют за кандидатов, чьи имена расположены в верхней части избирательного бюллетеня. Если не учитывать этого, то можно решить, что пользователям больше нравится реклама в верхней части страницы. Тогда как на самом деле они просто чаще обращают на неё внимание.

Проблема №2: Чрезмерная ориентация на CTR приводит к кликбейту

Использование классического CTR провоцирует кликбейт. Недобросовестный рекламодатель будет ставить кричащие заголовки, которые будут вести пользователя на страницы перегруженные рекламой и не приносящие человеку никакой пользы. 

Проблема № 3: CTR игнорирует другие сигналы

В Pinterest пользователь может сохранить или скрыть пин — эти действия зачастую гораздо важнее кликов, потому что показывают его отношение к контенту. CTR их не учитывает. В Pinterest считают, что каждая уважающая себя онлайн-платформа должна предоставлять пользователю инструмент, с помощью которого он может сообщить о том, что ему нравится или не нравится. И, если у платформы есть такой инструмент, нужно уделять ему особое внимание, чтобы пользователи видели, что к ним прислушиваются.

Проблема №4: На некоторые вещи нельзя кликнуть

Клик — не всегда показатель успеха и не всегда главная цель. Некоторые материалы делают не для того, чтобы на них кликали. Например, бренд может запустить имиджевое видео. Просмотр повысит его узнаваемость, но совсем не обязательно приведёт к клику.

Больше, чем CTR

Чтобы решить все эти проблемы Pinterest разработал новую метрику. Давайте разберемся, как она работает.

User Metric — так Pinterest называет эту свою улучшенную версию CTR.

User Metric = 

Взвешенное взаимодействие с рекламой разделить на Взвешенное взаимодействие с соседствующим органическим контентом

Числитель: Weighted Engagement on Ads (WEA)

Вместо того, чтобы смотреть на CTR мы смотрим на WEA — средневзвешенная величина различных действий, в Pinterest: кликов, скрытий и сохранений. Чтобы вычислить эту величину нужно:

1. посчитать CTR;
2. посчитать рейтинг скрытий (количество скрытый делим на количество показов)
3. посчитать рейтинг сохранений (количество сохранений делим на количество показов)
4. для каждого из этих действий определить важность и, исходя из этого, выбрать коэффициент — положительный для хороших действий, отрицательный для плохих.
5. взять полученные значения и сложить с разными коэффициентами.

Знаменатель: Weighted Engagement on Neighboring Organic Content

Чтобы решить проблему с плейсментом рекламы на странице, Pinterest предлагает вычислять такой же коэффициент для органического контента вокруг.

Искомая метрика вычисляется как отношение коэффициента WEA для рекламы к аналогичному коэффициенту для органического контента вокруг.

Взвешенное взаимодействие с рекламой

Предположим, что мы оцениваем качество взаимодействия пользователя с рекламой по формуле: 

WEA =  CTR — 20*HideRate.

Заметим, что HideRate умножается на большое отрицательное число. Отрицательное, потому что, если пользователь скрывает пин, значит, он ему не нравится, а большое, потому что скрытие — выражение серьезного недовольства, действие важнее, чем просто клик.

Рассмотрим два рекламных объявления: на B кликают чаще, но и скрывают его в пять раз чаще. 

Если бы мы смотрели только на CTR, то решили бы, что реклама B лучше, чем A. Но если мы обратим внимание на HideRate и вычислим WEA, по формуле приведенной выше, то увидим, что A лучше.

Правильный выбор важных действий и подбор подходящих к ним коэффициентов решает проблемы 2, 3 и 4 из списка выше. Но проблема расположения рекламы все равно остается нерешённой. Сейчас мы на простом примере покажем, как разобраться и с ней. 

Решение проблемы с расположением на странице

Для простоты предположим, что для оценки вовлечения пользователя мы используем только CTR. Также предположим, что мы проводим A/B-тест с контрольной и экспериментальной группой, CTR экспериментальной группы при этом оказывается ниже. 

На первый взгляд, результат контрольной группы лучше. Но теперь предположим, что в контрольной группе реклама показывалась только на первой странице, а в экспериментальной — только на десятой.

Также предположим, что CTR рекламы и органического контента падает по мере того, как пользователи просматривают Pinterest. В таком случае, результат экспериментальной группы выглядит лучше — CTR в ней всего на 0,1% меньше, чем у контрольной, хотя мы ожидали более резкого ухудшения.

Что мы получаем в результате?

Мы сравниваем средний уровень вовлечённости для рекламы со средним уровнем вовлечённости для органического контента вокруг неё. Тут и появляется знаменатель.

Рекламные объявления в контрольной и экспериментальной группах обычно показываются так:

Тогда мы могли бы получить такой результат:

Поэтому, если учитывать показатели органического контента, результат по общему вовлечению пользователей в экспериментальной группе выглядит намного лучше, чем в контрольной, поскольку CTR рекламы падает гораздо медленее, чем CTR органического контента. Такое сравнение и помогает решить проблему с позицией рекламы.

Масштабируем полученные знания. От теории к практике

Стоит ли оно того? Да! Особенно потому что метрика дает результаты, отличные от CTR. Вот несколько примеров, когда показатели расходятся, а новая метрика лучше отражает взаимодействие с пользователем. (Синий – статистически значимый положительный результат, красный – статистически значимый отрицательный, серый – нейтральный.)