Байесовский A/Б-тест: как лучше просчитать результаты

Время чтения:4 минуты

А/Б-тест, он же сплит-тест, это простой, но эффективный инструмент маркетолога. Вы берёте два варианта чего-нибудь, преподносите их двум аудиториям с одинаковыми характеристиками и смотрите, на какой вариант будет лучше реакция. Зачем это нужно? Чтобы повысить конверсию. Например, в рекламных креативах любая деталь может привлечь или оттолкнуть пользователей. 

Большинство маркетологов и работников этой сферы уверены, что есть всего один вид А/Б-теста. Тот, что мы описали вначале.

1 Принципы А/Б тестирования

Но есть и другой – более сложный, зато и тактически выгодный метод. Он называется байесовское тестирование. 

Чем оно отличается от обычного?

То, что мы чаще всего делаем, это частотный подход: результаты оцениваем по количеству определённых действий (то есть по метрикам). Например, вы тестируете креативы с разными CTA-элементами в контекстной рекламе. Здесь показателем успешности будет количество кликов. А в байесовском тесте всё по-другому.

Вы делаете выводы из анализа не только текущих данных, но и информации о предыдущих экспериментах. По сути, вы тестируете, тестируете, тестируете, пока не соберёте достаточно информации, и только тогда принимаете определённые решения.

2 Принципы А/Б тестирования

Как это работает?

Давайте разберём процесс на конкретном примере. Допустим, одно объявление привлекло 867 уникальных посетителей и получило 360 конверсий. Коэффициент конверсии – 41%. По этим данным мы предполагаем, что если получится привлечь 5 000 уникальных посетителей, то конверсий будет 2050. Возьмём это объявление как вариант А. 

Посмотрим на похожую рекламу, каким-то элементом отличающуюся от первой. У неё коэффициент конверсии – 52%. Это будет наш вариант Б. Для частотного метода этих данных было бы достаточно. Но мы пойдём дальше.

Задайте себе вопрос: «Насколько велика вероятность, что Б получит больше конверсий, чем А?» В этом случае, вероятность 9%. А теперь приступайте к череде проб и ошибок. Байесовский анализ – это выводы, основанные на предположениях. Вы можете рассчитать ожидаемое снижение метрик при выборе конкретного варианта. Установите себе лимит понижения, например, 2%. Как только метрика по варианту Х опустится ниже, вы можете смело говорить, что победила другая опция. 

Не ставьте больших лимитов, здесь нужно оперировать более тонкими категориями, чем с частотным подходом. Байесовская методология подразумевает, что вы можете жертвовать снижением показателей только в сжатых рамках. Так вы сможете избежать необдуманных экспериментов и крупных ошибок. 

И ещё раз. Вот ваш алгоритм: запускаете тест – показатель по одному из вариантов опускается на 2 процента – останавливаете этот тест – начинаете новый. И так, пока показатели не начнут стабильно расти.

3 Принципы А/Б тестирования

Преимущества байесовского подхода

Во время такого тестирования вы можете постоянно изменять варианты в лучшую сторону. Здесь вывод – это не результат, а информация к размышлению и использованию в следующем цикле. 

Если вы хотите потестировать разные каналы или инструменты, менять их в процессе не надо. Вместо этого поиграйте с разными функциями, чтобы получить более вычисляемые результаты. 

Традиционный А/Б-тест стоит заменить байесовским, если вы хотите учесть больше показателей в своих выводах. С его помощью удобнее просчитывать, например, рентабельность инвестиций в рекламу. Но, конечно, этот метод требует больше времени и больше усилий.

В конце концов, какой бы метод вы ни выбрали, всегда помните о потенциале А/Б-тестирования. Это практически универсальный способ прощупывания аудитории, который в любой форме принесёт вам массу полезных данных.

Связаться с нами

Нажимая на кнопку "Отправить" вы соглашаетесь с политикой обработки данных!