Что такое A/B-тест

A/B-тест, другие названия метода: сплит-тест (англ. split-test), это способ тестирования вариантов при их параллельном показе аудитории, оценке реакции и подсчете результатов для того, чтобы выбрать лучший вариант А или B.

Метод применяется для сравнения рекламных объявлений, вариантов страниц сайта или отдельных элементов, заголовок, фон, стиль дизайна. Это дает количественную, а не вкусовую оценку. Вот как это выглядит для сайта: 10000 человек кликнули по объявлению. Случайной половине аудитории был показан один вариант сайта, а другие 5000 посетителей видели другой вариант.

Пример оценки результата

Сравниваем два дублирующих варианта посадочной страницы сайта А и В.

  • Вариант А дал 5% конверсии из посетителя в заявку. Стоимость заявки 1000 руб.
  • Вариант В дал 1%. Стоимость заявки 5000 руб.

Вариант А, в этом случае лучше и надо выбрать и “взять на вооружение” его. И, даже несмотря на то, что нам, нашим друзьям, нашим коллегам, нашей семье, любимым и даже отдельным заказчикам по вкусу или по другим соображениям этот вариант не нравится, статистика говорит иначе. Такой подход позволяет не полагаться на вкус, не мерить по себе, а выбрать действительно более жизнеспособный эффективный и экономически оправданный вариант, тот вариант, который с большей вероятностью приведет к успеху. Хватит уже спорить насчет цвета кнопки, фона или формулировки заголовка, возьмите и проверьте!

На рыбалке наживка должна нравится на вкус не рыбаку, а рыбе!

Правила методики

  • Важно соблюсти статистически достаточное количество повторений.
  • Важно получить достаточный разрыв в результатах сравниваемых вариантов, чтобы выбрать лучший.
  • Тест должен быть параллельный, проходить в одно время, чтобы результат не зависел от сезонности и времени показа.
  • Трафик должен быть однородный на все варианты. Будет странно, если на один вариант трафик из поиска, а на другой из соц. сети.
  • Суть и тема вариантов учавствующих в тесте должна быть одна. Если попытаетесь сравнить два варианта на разные услуги и товары, то не поймете почему один вариант лучше другого. Товар/услуга там более востребована или из-за того, что оформлено по-разному.

Для того чтобы понять сколько повторений нужно и какой должен быть разрыв в результатах, чтобы один из вариантов признать победителем, есть специальные формулы и калькуляторы. Поищите. Есть метод проще. Сделайте перед A/B тестом А/А тест. Пусть вариант соревнуется сам с собой и когда результаты выровняются, а это будет не сразу, то на это количество и ориентируйтесь.

Идея A/B теста

Идея метода основана на том, что зритель видит вариант впервые и не знает про другие варианты. Зрители не общаются, не советуются и не делятся мнениями между собой. Именно такая ситуация на рекламных маркетинговых сайтах, где 98% посетителей новые. Редко кто приходит повторно. Они либо заинтересовались и вышли на связь, либо закрыли сайт, забыли, ушли. Мы не можем себе позволить раздать разный вариант дизайна полиграфических материалов участникам, которые сидят рядом в конференц-зале. Они могут увидеть друг у друга разные варианты фирменного стиля и удивиться “откуда такая разножопица”, как смешно говорила одна заказчица из полиграфии. В онлайн-мире ситуация совсем другая.

Когда А/В тест не нужен

Сплит-тест, эффективный инструмент для выбора вариантов. Но помните, что рекламный бюджет тоже должен быть увеличен пропорционально. Если решили проверить бизнес-гипотезу, сделали лендинг, настроили рекламу и хотите открутить пробный бюджет 40 тыс. руб., то на два варианта страницы потребуется заложить в 2 раза больше бюджета. На 3 и 4 варианта соответственно, в случае A/B/C или A/B/C/D - теста. Подготовить несколько вариантов сайта, это больше работы, чем сделать один вариант.

Все статьи