Мы используем файлы cookie для обеспечения работоспособности сервиса, улучшения навигации и маркетинговых активностей Serpstat. Нажимая "Принять и продолжить", вы соглашаетесь с нашей Политика конфиденциальности

Сообщить об ошибке

Отменить
3326
PPC Читать 14 минут

PPC-хаки: как протестировать ставки,
не применяя их

PPC-хаки: как протестировать ставки, не применяя их
Андрей Белоусов
Андрей Белоусов
Growth Hacker at Serpstat
Тест ставок в контекстной рекламе вызывает вопросы даже у опытных PPC-специалистов. Так как даже при бесконечном объеме данных, с высокой достоверностью определить какой вариант ставки лучше можно только при разнице в эффективности более 3−5%. Не очень оптимистично, так ведь? Однако у меня есть несколько интересных способов проверки, которыми я поделюсь в этой статье.

Недостатки А/Б тестирования ставок
А/B тесты ставок имеют целый ряд проблем:
1
Они требуют для достоверных результатов просто астрономическое числа кликов.
2
Чтобы провести тест в Яндекс.Директ, нужно заказывать копии рекламной кампании у персонального менеджера и устанавливать часы в шахматном порядке:
что исключает автоматическое тестирование;
часто приводит к ошибкам;
требует довольно много времени на подготовку;
шахматка не равнозначна случайному распределению кликов между вариантами, из-за чего возникает небольшая погрешность.
3
Почти всегда, ставки тестируются только на части рекламных кампаний. Преимущество одного варианта над другим на части аккаунта не говорит о преимуществе его на всем аккаунте.
4
В отличие от тестирования изменений на сайте, не достаточно просто сравнить показатель конверсии у двух вариантов. Нужно выравнивать бюджет, CPA или ДРР (доля рекламных расходов, отношение дохода к расходу), и сравнивать число конверсий или выручку. Однако, выравнивание бюджета и CPA происходит с некоторой погрешностью.
В общем, даже при бесконечном объеме данных, с высокой достоверностью определить какой вариант лучше мы сможем только если у вариантов разница в эффективности будет более 3−5%. Назовем это теоритической чувствительностью.

На теоретическую чувствительность влияют следующие факторы:
1
Мы проводим тест не на всем аккаунте, а на его определенной части. Причем ключевые слова, на которых тестируем, мы выбираем не случайным образом.
2
Мы выравниваем бюджет/CPA/ДРР у двух вариантов с некоторой погрешностью.
3
Шахматка не равнозначна случайному распределению кликов между вариантами.
На практике из-за того, что у нас нет бесконечного объема данных, даже для больших сайтов, порог чувствительности А/Б теста около 10−20%. Если разница в эффективности двух вариантов меньше этого порога, то проведение А/Б ненамного лучше подкидывания монеты. Назовем это практической чувствительностью.

В итоге А/Б тест ставок:
неточный;
идет долго;
требует много работы;
требует довольно специфических знаний;
опасный, ведь всегда есть вероятность, что новые ставки будут работать хуже;
его нельзя полностью автоматизировать.
Как ставить задачи в контекстной рекламе, чтобы не слить бюджет
Хотите узнать, как Serpstat поможет сделать рекламу эффективнее?

Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
PPC-хаки: как протестировать ставки, не применяя их 16261788430259

Есть такая метрика...
Поэтому может существовать метрика, обладающая большей чувствительностью (даже теоретической), чем А/Б тест. Причем эту метрику можно просто рассчитать по историческим данным, не трогая ставки. Если это автоматизировать, то можно сделать за пару кликов.

Однако, поскольку мы не знаем зависимость числа кликов и CPC от ставки, то данная метрика, будет выдавать количественные результаты с довольно большой погрешностью. Но, возможно, довольно точные качественные результаты.

Другими словами эта метрика будет хорошо отвечать на вопрос: «Какой вариант лучше?», но довольно плохо на вопрос «На сколько лучше?».

Теория
Промежуточные расчеты могут вам показаться громоздкими, но итоговая формула будет короткой.

Для простоты предположим, что у каждого ключевика:
CPC и число кликов пропорциональны ставке;
вероятность конверсии не зависит от ставки.
PPC-хаки: как протестировать ставки, не применяя их 16261788430260
Пусть мы устанавливаем ставки пропорционально прогнозу:
PPC-хаки: как протестировать ставки, не применяя их 16261788430260
Где:
f — наш прогноз вероятности конверсии;
L — константа, чтобы вписаться в наши ограничения (бюджет, целевой CPA).
Пусть p это вероятность конверсии, тогда ожидаемое число конверсий равно:
PPC-хаки: как протестировать ставки, не применяя их 16261788430260
Ожидаемый расход по ключевику равен:
PPC-хаки: как протестировать ставки, не применяя их 16261788430261
Пусть наша цель максимум конверсий при фиксированном CPA=TargetCPA.

Ожидаемый CPA равен:
PPC-хаки: как протестировать ставки, не применяя их 16261788430261
Чтобы найти L приравняем целевой CPA к ожидаемому:
PPC-хаки: как протестировать ставки, не применяя их 16261788430261
Отсюда можно вычислить L:
PPC-хаки: как протестировать ставки, не применяя их 16261788430262
Введем оператор среднего взвешенного:
PPC-хаки: как протестировать ставки, не применяя их 16261788430262
Из чего следует, что:
PPC-хаки: как протестировать ставки, не применяя их 16261788430262
Также можно легко видеть, что константу можно вынести из средневзвешенного:
PPC-хаки: как протестировать ставки, не применяя их 16261788430263
Вернемся к L:
PPC-хаки: как протестировать ставки, не применяя их 16261788430263
Для простоты предположим, что с и f не коррелируют. То есть справедливо:
PPC-хаки: как протестировать ставки, не применяя их 16261788430263
Рассчитаем ожидаемое число конверсий:
PPC-хаки: как протестировать ставки, не применяя их 16261788430264
Посчитаем, что будет при равных ставках. Пусть наш прогноз для всех ключей одинаковый и равен некоторой константе m. Не нарушая общности можно сказать, что m равна средневзвешенной конверсии:
PPC-хаки: как протестировать ставки, не применяя их 16261788430264
Как оптимизировать контекстную рекламу: неочевидные приемы и лайфхаки

КУРС
Теперь поделим число конверсий при произвольных ставках на число конверсий при равных ставках. Получим во сколько раз ставки приносят больше конверсий, чем равные ставки при том же CPA. Назовем эту метрику Коэффициент Улучшения Равных Ставок (КУРС).
PPC-хаки: как протестировать ставки, не применяя их 16261788430265
PPC-хаки: как протестировать ставки, не применяя их 16261788430265

Проверка
При равных ставках КУРС должен быть равен 1. Например, все ставки равны константе S:
PPC-хаки: как протестировать ставки, не применяя их 16261788430265
Как оптимизировать прибыль
из Яндекс.Директ: все о стратегии «Максимум прибыли»

Физический смысл
W[p] — это просто множитель, который не зависит от прогноза.
W[fp] — растет с увеличением корреляции между прогнозом и вероятностью конверсии. Также он растет с дисперсией ставок (разбросом).
W[ff] — растет с увеличением дисперсии ставок.
Можно выразить КУРС через дисперсию ставок и корреляцию между ставками и прогнозом.
PPC-хаки: как протестировать ставки, не применяя их 16261788430266
Где:
C — это взвешенный коэффициент корреляции Пирсона между ставками и прогнозом. Мера адекватности ставок, не превышает 1. Равен 1 при идеальном прогнозе, равен 0 при случайных ставках.
V[] — взвешенная относительная дисперсия. Мера разброса. Больше либо равна нулю. Например, если V[f]=0 это значит, что все ставки одинаковые. Почти наверняка выполняется V[p]<1. Обычно V[p] около 0.5. V[f] обычно не сильно отличается от V[p].
PPC-хаки: как протестировать ставки, не применяя их 16261788430266
При R[p]=0.5
PPC-хаки: как протестировать ставки, не применяя их 16261788430266
Видно, что в основном, чем больше V[f], тем сильнее КУРС зависит от корреляции. Также легко увидеть, что при больших корреляциях (больше 0.95) КУРС практически не зависит от V[f].
За двумя зайцами: как получить максимум охвата и минимум мусорных показов контекстной рекламы

КУРС при идеальных ставках
КУРС при идеальных ставках f=p, C=1:
PPC-хаки: как протестировать ставки, не применяя их 16261788430267
PPC-хаки: как протестировать ставки, не применяя их 16261788430267
PPC-хаки: как протестировать ставки, не применяя их 16261788430267
PPC-хаки: как протестировать ставки, не применяя их 16261788430268
Чем сильнее различаются конверсии у ключевых слов, тем больший КУРС можно получить при идеальном прогнозе.
2 часа→ 38$→ 41 конверсия: как быстро и без рисков создать рекламную кампанию?

КУРС<2
Из того, что почти наверняка, V[p]<1 получаем, что КУРС почти всегда меньше 2. Обратное говорит, скорей всего, о том, что значительное число ключевых слов имеет практически нулевую конверсию (намного меньшую, чем средней по сайту).

Это может получиться, например, когда вы покупаете львинную часть кликов на товары, которых у вас нет в наличии, на 404 страницы, на нерелевантные страницы или на части страниц нет кода отслеживания конверсий. Другими словами, КУРС>2 может говорить о том, что ставки решают какую-то специфическую проблему.

Например, вы разработали лекарство, которое продлевает жизнь лабораторных мышей с 2 до 4 лет (вдвое). Затем вы закупили новую партию мышей, и новые тесты показали, что в контрольной группе (не принимали лекарство) срок жизни 1 год, а тестовой — 3 года (втрое выше).

Это значит, что у новых мышей была какая-то проблема которую частично купирует ваше лекарство. Например, у новых мышей был одинаковый генетический дефект или инфекция. Ну или ваш новый ассистент любит мучать животных, а ваше лекарство снижает уровень стресса.
Как запустить успешную рекламную кампанию:
10 лайфхаков API-консоли

Расчет
Рассчитать КУРС из исторических данных можно по формуле:
PPC-хаки: как протестировать ставки, не применяя их 16261788430268
Где:
r — показатели конверсии ключевых слов;
n — число кликов у ключевых слов.
Обратите внимание, что f не должен напрямую зависеть от r. Т.е. f и r должны быть посчитаны на разных периодах.

Другими словами, нужно проводить «тест» так:
Например, 1го числа мы снимаем ставки или считаем прогноз. Запоминаем f.
Через пару недель, например 16-го числа, мы снимаем данные со 2-го по 15-ое. И получаем n и r.
Считаем КУРС, тот вариант у которого выше КУРС считаем победителем.
Поскольку в ходе этого теста мы не применяет ставок, просто смотрим статистику, то мы будем называть такой тест пассивным.
Как сделать быстрый анализ контекстной рекламы конкурентов
Хотите узнать, как с помощью Serpstat проанализировать конкурентов в контексте?

Заказывайте бесплатную персональную демонстрацию сервиса, и наши специалисты вам все расскажут! ;)
PPC-хаки: как протестировать ставки, не применяя их 16261788430268

Ставки
Если мы домножим f на какой-то постоянный множитель S, одинаковый для всех ключевиков, то КУРС не изменится:
PPC-хаки: как протестировать ставки, не применяя их 16261788430268
Поэтому вместо f можно взять не только прогноз, но и набор ставок, которые пропорциональны исходному прогнозу. Что дает возможность сравнивать не только прогнозы, но и наборы ставок друг с другом, или набор — ставок с прогнозом.
Почему бюджет 100К на рекламу — это недорого

Предельный КУРС
Можно дать следующую оценку предельному КУРСу (при идеальном прогнозе):
PPC-хаки: как протестировать ставки, не применяя их 16261788430269
Где:
r — показатель конверсии за первый период (на этом периоде считаются обычные курсы);
n — число кликов за первый период;
R — показатель конверсии за второй период (периоды не должны пересекаться).
Если у вас нет второго периода, то можно первый период разбить на 2 части (в идеале равные) тогда:
r — показатель конверсии в первой части;
R — показатель конверсии во второй части;
n — число кликов за весь период.
Это формула не зависит от однородной сезонности, когда конверсия всех ключевиков снижается или увеличивается в одинаковое число раз.

Точность расчета предельного КУРСа на малых данных в несколько раз меньше, чем у обычного КУРСа.
Как застраховать себя от «слива» бюджета на рекламу, потратив 20 минут времени?

Другие задачи
Мы расмотрели задачу «максимальное число конверсий при фиксированном CPA». Однако, КУРС можно применять практически ко всем задачам.

Максимум оборота
Если у нас задача максимум оборота при фиксированном ДРР. То формула КУРСа не изменится. Нужно просто вместо r подставить отношения оборота к числу кликов.

Однако правило V[p]<1 и КУРС<2 в этом случае может не соблюдаться.

Фиксированный бюджет
Если у нас фиксированный бюджет, то после расчетов получим:
PPC-хаки: как протестировать ставки, не применяя их 16261788430269
Что не приведет к качественным изменениям. Если у одного прогноза выше КУРС, значит у него выше и корень из КУРСа.

Модификаторы ставок
Вы можете аналогичным образом рассчитать КУРС не только для ставок, но и для модификаторов ставок по времени суток, дню недели и прочему.

Также можно оценивать учет сезонности.

Заключение
Чтобы сравнить 2 набора ставок или прогнозы, то нужно посчитать на них этот параметр:
PPC-хаки: как протестировать ставки, не применяя их 16261788430269
Где:
r — показатели конверсии ключевых слов или отношения дохода к числу кликов.
n — число кликов у ключевых слов.
f — ставки, или прогноз конверсии, или дохода с клика. При их расчете не должны использоваться данные за тот период за который снят r.
W[] — оператор среднего взвешивания:
PPC-хаки: как протестировать ставки, не применяя их 16261788430270
Равные ставки дают КУРС=1. Максимальный КУРС можно вычислить так:
PPC-хаки: как протестировать ставки, не применяя их 16261788430270
Где R — показатели конверсии ключевых слов или отношения дохода к числу кликов за другой период, не пересекающийся с первым.

Расчет в Excel
Для начала нужно избавиться от средневзешанного:
PPC-хаки: как протестировать ставки, не применяя их 16261788430270
Пусть:
n (клики) в колонке A находятся;
r (конверсия) в колонке B находится;
f (прогноз/ставки) находятся в колонке C.
Тогда формула получится такой:

SUM(A1:A)*POWER(SUMPRODUCT(A1:A,B1:B,C1:C),2)/
(POWER(SUMPRODUCT(A1:A,B1:B),2)*SUMPRODUCT(A1:A,C1:C,C1:C))

Однако, формулу можно упростить, если в колонке D находится число конверсий и доход:

SUM(A1:A)*POWER(SUMPRODUCT(C1:C,D1:D),2)/
(POWER(SUM(D1:D),2)*SUMPRODUCT(A1:A,C1:C,C1:C))

PPC-хаки: как протестировать ставки, не применяя их 16261788430271
Пусть R находится в колонке G.

Тогда формула:

SUM(A1:A)*SUMPRODUCT(A1:A,B1:B,G1:G)/(SUMPRODUCT(A1:A,B1:B) *SUMPRODUCT(A1:A,G1:G))

Вот и все :) Надеюсь, данная статья будет для вас полезна, и вы найдете что-то интересное для себя!
Чтобы быть в курсе всех новостей блога Serpstat, подписывайтесь рассылку. А также вступайте в чат любителей Серпстатить и подписывайтесь на наш канал в Telegram.

Сэкономьте время на изучении Serpstat

Хотите получить персональную демонстрацию сервиса, тестовый период или эффективные кейсы использования Serpstat?

Оставьте заявку и мы свяжемся с вами ;)

Мнение авторов гостевого поста может не совпадать с позицией редакции и специалистов компании Serpstat.

Оцените статью по 5-бальной шкале

3.82 из 5 на основе 17 оценок
Нашли ошибку? Выделите её и нажмите Ctrl + Enter, чтобы сообщить нам.

Поделитесь статьей с вашими друзьями

Войти Регистрация

Вы исчерпали лимит запросов.

Или email
Забыли пароль?
Или email
Optional
Back To Login

Не волнуйтесь! Напишите свой электронный адрес и мы пришлем вам новый пароль.

Вы уверены?

Awesome!

To complete your registration you need to enter your phone number

Назад

Мы отправили код подтверждения на ваш номер телефона

Your phone Resend code Осталось запросов

Что-то пошло не так.

Свяжитесь с нашей службой поддержки
Или подтвердите регистрацию с помощью Телеграм бота Перейдите по этой ссылке
Выберите один из проектов

Знакомство с Serpstat

Узнайте об основных возможностях сервиса удобным способом!

Отправьте заявку и наш специалист предложит вам варианты обучения: персональную демонстрацию, пробный период или материалы для самостоятельного изучения и повышения экспертизы. Все для комфортного начала работы с Serpstat.

Имя

Email

Телефон

Будем рады вашему комментарию
Я принимаю условия Политики конфиденциальности.
Увеличить лимиты

Улучшить тариф

Экспорт недоступен для вашего тарифного плана. Вам необходимо улучшить свой тариф до Lite или выше, чтобы получить доступ к инструменту Подробнее

Зарегистрироваться

Спасибо, мы сохранили ваши новые настройки рассылок.

Пригласить
Просмотр Редактирование

E-mail
Сообщение
необязательно
E-mail
Сообщение
необязательно

У вас закончились лимиты

Вы достигли лимита на количество созданных проектов и больше не можете создавать новые проекты. Увеличьте лимиты или удалите существующие проекты.

Я хочу больше лимитов
Открыть чат технической поддержки