Что такое A/B-тестирование рассылки и как его провести

Интернет-магазин одежды захотел узнать, повысится ли конверсия рассылки, если изменить в ней тему. Компания провела A/B-тест, проанализировала результаты и выяснила, что рассылку с новой темой подписчики открывают чаще.

В статье разберемся, что такое A/B-тестирование, как правильно его провести и каких ошибок нужно избегать в процессе.

А/Б тестирование в маркетинге — это метод, который помогает сравнить две версии продукта и понять, какая из них работает эффективнее.

В чём суть A/B-тестирования. Пользователей делят на две группы и показывают им разные варианты продукта. Например, одна часть клиентов видит email-рассылку со старой темой, а другая — с новой. Дальше компания оценивает, на какой вариант аудитория реагирует лучше.

А/Б-тесты рассылки помогают бизнесу решить следующие задачи:

• оптимизировать стратегию email-маркетинга;

• повысить эффективность маркетинговых коммуникаций;

• улучшить пользовательский опыт: понять предпочтения пользователей и создавать для них более релевантные и привлекательные рассылки.

С помощью А/B-теста можно проверять не только рассылки, но и, например формы регистрации, интерфейс отдельных элементов на сайте, описания товаров, акции и скидки.

Есть два вида A/B-тестов:

1. Простые.
2. Сложные.

Простые А/Б тесты. С их помощью можно проверить минимальные изменения в письме. Например, отправить два одинаковых письма, но прописать разные темы и узнать, насколько аудитория в целом чувствительна к вашему tone of voice и что конкретно привлекает их внимание.

Сложные А/Б тесты. Компания отправляет подписчикам два письма с абсолютно разным контентом. Это позволяет выяснить, какой контент больше мотивирует подписчиков совершить целевое действие.

Тестировать можно не только контент письма, но и другие составляющие рассылок. Например, если вы заметили, что открываемость рассылок низкая, можно протестировать другое время или частоту отправки писем. Возможно, подписчики проверяют почту в начале рабочего дня, а не вечером, как вы предполагали. Тогда стоит проверить, насколько хорошо работает утренняя рассылка.

«А/Б-тестирование email-рассылок помогает не только улучшить показатели вовлеченности, но и сохранить ресурсы компании и не потерять продажи. К примеру, перед CRM-маркетологом стоит задача изменить дизайн рассылок. Вы делаете несколько А/B-тестов, и в результате видите, что новый дизайн отрабатывает хуже, чем старый. В моем опыте был случай, когда изменение дизайна рассылок снизило количество CTOR по сравнению со старым.

А теперь представьте, что CRM-маркетолог и дизайнер потратили несколько дней на изменение дизайна во всех триггерных рассылках — а в результате получили сниженную конверсию в визиты. Чтобы этого избежать, обязательно проводят A/B тест≥

Спланировать A/B-тест можно в несколько этапов:

Шаг 1. Определить проблемы и цели. На этом этапе нужно понять, что именно не так с продуктом и что нужно исправить. Например, интернет-магазин заметил, что у рассылки упала открываемость. Компания решила изменить email-письма и с помощью этого увеличить открываемость.

Шаг 2. Предложить решения или изменения. Чтобы привлечь внимание подписчиков, интернет-магазин решает персонализировать письма — добавить в тему имя клиента. Это один из самых простых способов повысить открываемость.

Шаг 3. Определить ключевой и измеримый показатель. В нашем случае показатель — открываемость, Open Rate. В идеале он должен составлять 27%, но может быть и меньше — все зависит от сферы бизнеса. Показатель должен быть обязательно выражен в цифрах.

Шаг 4. Сформулировать гипотезу. Это предположение, что изменится, если компания поменяет тему письма. Например, интернет-магазин сформулировал гипотезу так: «Если добавить в тему письма имя получателя, открываемость писем увеличится на 1,5%».

«Гипотеза должна быть конкретной и измеримой — например: „Изменение темы письма на персонализированную увеличит открываемость на 2%“. При такой гипотезе будет легко понять, сработало А/Б тестирование или нет»

Шаг 5. Подготовить тестируемые версии рассылки. Этот шаг состоит из нескольких этапов:

1. Сформировать два варианта рассылки:

2. Определить статистическую значимость. Это показатель надежности статистики. Он оценивает, не были ли получены данные в результате случайности. Каждая компания сама определяет уровень статистической значимости, но обычно закладывают 5%.

3. Рассчитать выборку. Это количество людей, которое нужно для теста. От выборки зависит, насколько достоверными будут результаты тестирования. Оптимального значения здесь нет: всё зависит от вашей гипотезы и ожидаемых результатов.

Рассчитать выборку можно с помощью специального калькулятора.

«При подсчёте выборки учитывайте текущие показатели метрик, желаемое улучшение и статистическую значимость. Например, при открываемости 20% и желаемом улучшении на 5% для статистической значимости 95% потребуется около 1 000 подписчиков в каждой группе»

Шаг 6. Определить продолжительность теста. Компания сама решает, сколько времени проводить тестирование — это зависит от целей и от результатов, которые ожидают получить. Но обычно длительность A/B теста должна составлять не меньше двух недель.

Шаг 7. Проанализировать результаты. После отправки писем интернет-магазин оценивает открываемость двух вариантов писем. Результат может быть таким:

Вариант А: OR — 8,4%
Вариант B: OR — 10,2%

Так в результате А/В-тестирования компания определила, что изменение темы письма на более персонализированную положительно влияет на открываемость писем и позволяет поднять ее как минимум на несколько процентов.

«Нужно провести несколько А/В-тестов на проверку одной гипотезы. Рассылку нужно отправить в разные дни в разное время, чтобы можно было оценить эффективность принятых изменений при разных условиях. В моем опыте после трех рассылок, направленных на проверку одной гипотезы, уже можно делать выводы»

Шаг 8. Запустить тест. Это можно в большинстве сервисов для рассылок. Такая функция есть и в RetailCRM. Прямо в системе можно провести тестирование письма по нужным вам параметрам и отправить подписчикам лучший из вариантов.

Ниже собрали видеоинструкцию, как запустить A/B-тест в RetailCRM.

Даже если вы сделали всё правильно и запустили тестирование, есть вероятность, что оно не принесёт желаемых результатов. Чтобы этого избежать, разберём самые распространённые ошибки, которые допускают при A/B-тестировании:

1. Менять настройки в процессе тестирования.
2. Запускать тестирование без проработанной гипотезы.
3. Использовать слишком много тестируемых вариантов.
4. Неправильно рассчитать выборку.

Ошибка № 1. Менять настройки в процессе тестирования. Представим, что компания запустила тестирование двух вариантов прехедеров в email-рассылке. На следующий день маркетологи придумали более привлекательный вариант прехедера и решили добавить его в тест. Это привело к тому, что результаты тестирования оказались нерелевантными.

Не стоит менять дизайн, выбору или добавлять дополнительный вариант сразу после тестирования.

Ошибка № 2. Запускать тестирование без проработанной гипотезы. В таком случае будет сложно сделать адекватный вывод о результатах теста.

Гипотеза должна быть конкретной, подробной и содержать метрику, которую компания хочет проверить.

Ошибка № 3. Использовать слишком много тестируемых вариантов. Оптимальнее сравнивать на тестировании два варианта письма. Если их будет больше, можно запутаться в результатах теста и сделать неправильные выводы. Если вариантов на проверку много, лучше провести несколько тестирований.

Ошибка № 4. Неправильно рассчитать выборку. Результаты тестирования могут быть недостоверными, если компания сделала слишком маленькую или, наоборот, слишком большую выборку. В таком случае не получится определить оптимальный вариант письма, который получит отклик у большинства аудитории.

При настройке новой email-рассылки не забывайте и об общих правилах: избегайте спам-слов в теме и тексте письма, проверяйте кликабельность ссылок и тексты на наличие грамматических и орфографических ошибок. Если вы учтёте все правила, A/B-тестирование пройдёт успешно, а его результаты усилят вашу маркетинговую стратегию.