A/B-тестирование в рассылке

Зачем нужны A/B-тесты в рассылке?

Вы можете выполнить A/B-тестирование в массовой рассылке. То есть, создать разные варианты сообщения и проверить, какой из них даст наилучшие результаты. Например, можно оценить, как разные сообщения влияют на размер чека или на кол-во чеков в среднем на клиента.

A/B-тестирование можно выполнить в e-mail, SMS, push-рассылке.

По умолчанию в массовой рассылке всем клиентам отправляется один вариант сообщения. Опция A/B-тест позволяет отправить от 2 до 5 разных вариантов сообщения в рамках одной рассылки.

В разных вариантах сообщения можно менять:

  • Тело сообщения;

  • Отправителя;

  • Тему письма (для e-mail-рассылок);

  • Приложенные файлы (для e-mail-рассылок).

Пример A/B-тестирования в рассылке

Можно создать 2 варианта сообщения в SMS-рассылке:

  • "Скидка 50% на все натуральные угги";

  • "Для вас скидка до 50% на угги из натуральных материалов".

Создание A/B-теста в массовой рассылке

Чтобы добавить новый вариант сообщения в рассылке, перейдите в блок A/B-тест на странице создания рассылки. Этот блок находится между блоками Клиенты и Рассылка.

Нажмите Добавить вариант.

Добавление варианта A/B-тестирования в массовой рассылке

Для каждого варианта сообщения можно задать, какой % клиентов должен его получить. По умолчанию варианты распределяются равномерно. Например, если варианта 2, то половина клиентов получает первый вариант, половина – второй.

Изменить процентное соотношение можно, двигая бегунок:

Вот пример неравномерного распределения ответов:

  • Вариант A получат 15% клиентов;

  • Вариант B – 25%;

  • Вариант C – 35%;

  • Вариант D – 25% клиентов.

При создании A/B-тестирования в массовой рассылке в блоке Рассылки появляются вкладки. Количество вкладок соответствует количеству вариантов тестирования. По щелчку на название вкладки осуществляется переход к заполнению параметров сообщения. Необходимо заполнить эти параметры для каждого варианта.

Удаление варианта тестирования осуществляется при нажатии на значок корзины в соответствующей вкладке.

Отчёты

Отчёт по A/B-тесту доступен на странице, где располагаются все остальные отчёты по рассылке.

Внешний вид отчёта:

Отчёт Контрольная группа и A/B-тесты

В первой таблице по каждой группе выводится информация:‌

  • Количество получателей – сколько сообщений было отправлено в данной группе;

  • Доставлено сообщение – сколько сообщений было доставлено в данной группе;

  • Количество клиентов, совершивших покупку – рассчитывается с учётом параметров атрибуции;

  • Конверсия в покупателей – сколько процентов клиентов, получивших письмо, совершили покупку под влиянием рассылки;

  • Количество чеков в группе;

  • Среднее число чеков на покупателя;

  • Сумма покупок;

  • Средний доход на покупателя.

Во второй таблице выводится подробная информация о конверсии и о нежелательном поведении в каждой группе. Например, в группе B:‌

  • Отправлено – 36 057 сообщений (100%);

  • Доставлеено – 36 057 сообщений (100% от отправленных);

  • Открыто – 918 сообщени1 (2.5% от отправленных);

  • Переходы были из 198 сообщений (0.5% от отправленных);

  • Заказы – из 26 сообщений (0.1% от отправленных);

  • Отписались после получения сообщения 2 человека (0%);

  • Жалоб на спам – 0 (0%).

Значения в некоторых столбцах выделены цветом: зелёным – лучшее значение, красным – худшее.‌

Например, в группе А средний доход на покупателя – 2 317 рублей, это лучшее значение среди всех групп (выделено зелёным). В группе B – 995 рублей, это худшее значение (выделено красным).

Отчёт показывает атрибутированные чеки, связанные с рассылкой. Подробнее об атрибуции можно прочитать в статье Атрибуция чеков.