Общие рекомендации
-
Тестируйте версии рассылок, которые различаются только одним элементом: переменная в шаблоне, тема письма или имя отправителя.
-
Формируйте такие варианты рассылок для сплит-теста, которые будут различаться незначительно. Это упростит измерения разницы в отклике пользователей и оценку результатов теста.
-
Создайте версию письма, которую вы будете использовать в качестве контрольной. Контрольной называется такая рассылка, в которую не вносятся изменения. Тестируйте альтернативные версии в паре с контрольной и оценивайте результат относительно нее.
Рекомендации по аудитории
-
Аудитория, которой рассылаются версии шаблонов, должна быть достаточно большой, чтобы результат был статистически достоверным. Рекомендуется включать в сплит-тест количество получателей от 1000 контактов.
-
Проводите сплит-тестирование на аудитории, которая относится к одному сегменту, чтобы минимизировать влияние внешних факторов на результат.
-
Перед выполнением A/B тестирования проведите A/A-тестирование, чтобы удостовериться в том, что сегмент аудитории однороден. Разошлите один и тот же вариант рассылки двум, равным по количеству контактов, группам целевой аудитории. Если показатели конверсии похожи для обеих групп, есть основания говорить об однородности сегмента.
Рекомендации по оценке
-
Анализируйте отклик получателей спустя некоторое время после запуска (в зависимости от типа рассылки — от 2 до 72 часов).
-
Оценивайте показатели конверсии всех рассылок, включенных в сплит-тест, в одно время, чтобы исключить влияние фактора времени на результат.
-
При оценке результатов обращайте внимание на то, какие показатели испытывают влияние того элемента, который вы тестировали. Например, цвет кнопки призыва к действию (CTA) может отразиться на количестве переходов по ссылке, а формулировка темы письма — на количестве его открытий.