Ошибки в тестах по увеличению конверсии сайта

1. Непродуманная гипотеза для теста
Задача любого эксперимента - подтвердить или опровергнуть какую-либо гипотезу. Она должна включать в себя предварительное объяснение какого-то явления или предположение о его существовании. И строится она на анализе обнаруженных проблем с тем, что найти их причину и устранить. Но если за основу берется случайная идея, то проведя тестирование, вы не получите решения, а лишь потратите время и деньги. Таким образом, гипотеза - самая важная часть. Перед началом у вас должно быть четкое понимание за счет чего вы хотите улучшить данную конкретную страницу. И тогда вы получите определенный ответ.
2. Маленькая длительность
Если тестирование остановить слишком рано, то полученная статистика не даст достоверный ответ на поставленный вопрос. Ибо за короткий период в нем поучаствует недостаточное число посетителей, а значит представленная выборка не будет статистически значимой. Вы получите результаты, но на них нельзя будет опереться.
3. Тест не охватывает всю неделю
Важным показателем для конверсии может стать день, в который заходит клиент. Если вы проводите тест в течение рабочей недели, но не захватываете выходные, вы можете получить неполные данные. И колебания могут быть достаточно значительными. Поэтому если вы начинаете во вторник, то и заканчивать вы должны во вторник, чтобы иметь более полные и достоверные данные. А учитывая предыдущий пункт следует проводить тест не одну неделю, а две или более в зависимости от вашей ситуации. Обязательно уделяйте внимание таким факторам как праздники и сезонность, если они критичны для вашего товара/услуги.
4. Раздельное тестирование при отсутствии трафика и конверсии
Нет смысла проводить А/В тестирование, если у вас пара продаж в месяц и маленькое количество посетителей. Вы не сможете понять, какая из страниц, А или В, конвертируется лучше. В этом случае нужно выбрать один вариант, например, В и посмотреть на результат.
5. Данные не анализируются в специальных сервисах
Предположим, вы получили данные, свидетельствующие, что версия А лучше на 12%, чем версия В. Но этой информации недостаточно. На время эксперимента следует подключить специальные сервисы, которые могут собирать статистику по определенным параметрам и затем представить их вам в удобном и понятном виде со всеми расчетами и построенными графиками. Это может быть Google Analytics или Яндекс-метрика. Выберите тот сервис, который вам наиболее подходит и используйте, чтобы получить больше данных для оценки результатов.
Продолжение: http://www.darvin-studio.ru/about/articles/state-oshibki_v_testirovanii_sayta.html