Как правильно провести сплит-тестирование
Для проведения успешного сплит-теста важно придерживаться некоторых универсальных рекомендаций.
Как создать варианты Email-рассылок
•Тестируйте версии рассылок, которые различаются только одним элементом: переменная в шаблоне, тема письма или имя отправителя.
•Формируйте такие варианты рассылок для сплит-теста, которые будут различаться незначительно. Это упростит измерения разницы в отклике пользователей и оценку результатов теста.
•Создайте версию письма, которую вы будете использовать в качестве контрольной. Контрольной называется такая рассылка, в которую не вносятся изменения. Тестируйте альтернативные версии в паре с контрольной и оценивайте результат относительно нее.
Что необходимо знать об аудитории
•Аудитория, которой рассылаются версии шаблонов, должна быть достаточно большой, чтобы результат был статистически достоверным. Рекомендуется включать в сплит-тест количество получателей от 1000 контактов.
•Проводите сплит-тестирование на аудитории, которая принадлежит к одному сегменту, чтобы минимизировать влияние внешних факторов на результат.
•Перед выполнением A/B тестирования проведите A/A-тестирование, чтобы удостовериться в том, что сегмент аудитории однороден. Разошлите один и тот же вариант рассылки двум, равным по количеству контактов, группам целевой аудитории. Если показатели конверсии похожи для обеих групп, есть основания говорить об однородности сегмента.
Смотрите также
•Настройка, запуск и анализ сплит-теста
