Как правильно провести сплит-тестирование
Для проведения успешного сплит-теста важно придерживаться некоторых универсальных рекомендаций.
Как создать варианты Email-рассылок
-
Тестируйте версии рассылок, которые различаются только одним элементом: переменная в шаблоне, тема письма или имя отправителя.
-
Формируйте такие варианты рассылок для сплит-теста, которые будут различаться незначительно. Это упростит измерения разницы в отклике пользователей и оценку результатов теста.
-
Создайте версию письма, которую вы будете использовать в качестве контрольной. Контрольной называется такая рассылка, в которую не вносятся изменения. Тестируйте альтернативные версии в паре с контрольной и оценивайте результат относительно нее.
Что необходимо знать об аудитории
-
Аудитория, которой рассылаются версии шаблонов, должна быть достаточно большой, чтобы результат был статистически достоверным. Рекомендуется включать в сплит-тест количество получателей от 1000 контактов.
-
Проводите сплит-тестирование на аудитории, которая принадлежит к одному сегменту, чтобы минимизировать влияние внешних факторов на результат.
-
Перед выполнением A/B тестирования проведите A/A-тестирование, чтобы удостовериться в том, что сегмент аудитории однороден. Разошлите один и тот же вариант рассылки двум, равным по количеству контактов, группам целевой аудитории. Если показатели конверсии похожи для обеих групп, есть основания говорить об однородности сегмента.
Смотрите также
