A/B-тестирование в рассылке

Зачем нужны A/B-тесты в рассылке?

Вы можете выполнить A/B-тестирование в массовой рассылке. То есть, создать разные варианты сообщения и проверить, какой из них даст наилучшие результаты. Например, можно оценить, как разные сообщения влияют на размер чека или на кол-во чеков в среднем на клиента.

A/B-тестирование можно выполнить в e-mail, SMS, push-рассылке.

По умолчанию в массовой рассылке всем клиентам отправляется один вариант сообщения. Опция A/B-тест позволяет отправить от 2 до 5 разных вариантов сообщения в рамках одной рассылки.

В разных вариантах сообщения можно менять:

• Тело сообщения;

• Отправителя;

• Тему письма (для e-mail-рассылок);

• Приложенные файлы (для e-mail-рассылок).

Пример A/B-тестирования в рассылке

Можно создать 2 варианта сообщения в SMS-рассылке:

• "Скидка 50% на все натуральные угги";

• "Для вас скидка до 50% на угги из натуральных материалов".

Создание A/B-теста в массовой рассылке

Чтобы добавить новый вариант сообщения в рассылке, перейдите в блок A/B-тест на странице создания рассылки. Этот блок находится между блоками Клиенты и Рассылка.

Нажмите Добавить вариант.

Добавление варианта A/B-тестирования в массовой рассылке

Для каждого варианта сообщения можно задать, какой % клиентов должен его получить. По умолчанию варианты распределяются равномерно. Например, если варианта 2, то половина клиентов получает первый вариант, половина – второй.

Изменить процентное соотношение можно, двигая бегунок:

Вот пример неравномерного распределения ответов:

• Вариант A получат 15% клиентов;

• Вариант B – 25%;

• Вариант C – 35%;

• Вариант D – 25% клиентов.

При создании A/B-тестирования в массовой рассылке в блоке Рассылки появляются вкладки. Количество вкладок соответствует количеству вариантов тестирования. По щелчку на название вкладки осуществляется переход к заполнению параметров сообщения. Необходимо заполнить эти параметры для каждого варианта.

Удаление варианта тестирования осуществляется при нажатии на значок корзины в соответствующей вкладке.

После заполнения всех вариантов сообщений вы можете отправить тестовое сообщение с необходимым вариантом. Для этого выберите вкладку с необходимым вариантом сообщения и нажмите Тест:

Для предпросмотра письма необходимо выбрать вкладку с нужным вариантом сообщения и нажать кнопку предпросмотра:

По умолчанию, при отправке тестового сообщения и во время предпросмотра будет использован Вариант А

Отчёты

Отчёт по A/B-тесту доступен на странице, где располагаются все остальные отчёты по рассылке.

Отчёт Контрольная группа и A/B-тесты

В первой таблице по каждой группе выводится информация:‌

• Количество получателей – сколько сообщений было отправлено в данной группе;

• Доставлено сообщение – сколько сообщений было доставлено в данной группе;

• Количество клиентов, совершивших покупку – рассчитывается с учётом параметров атрибуции;
• Конверсия в покупателей – сколько процентов клиентов, получивших письмо, совершили покупку под влиянием рассылки;

• Количество чеков в группе;

• Среднее число чеков на покупателя;

• Сумма покупок;

• Средний доход на покупателя.

Во второй таблице выводится подробная информация о конверсии и о нежелательном поведении в каждой группе. Например, в группе B:‌

• Отправлено – 36 057 сообщений (100%);

• Доставлено – 36 057 сообщений (100% от отправленных);

• Открыто – 918 сообщений (2.5% от отправленных);

• Переходы были из 198 сообщений (0.5% от отправленных);

• Заказы – из 26 сообщений (0.1% от отправленных);

• Отписались после получения сообщения 2 человека (0%);

• Жалоб на спам – 0 (0%).

Значения в некоторых столбцах выделены цветом: зелёным – лучшее значение, красным – худшее.‌

Например, в группе А средний доход на покупателя – 2 317 рублей, это лучшее значение среди всех групп (выделено зелёным). В группе B – 995 рублей, это худшее значение (выделено красным).

Отчёт показывает атрибутированные чеки, связанные с рассылкой. Подробнее об атрибуции можно прочитать в статье Атрибуция чеков.