Как выбрать метрики для А/В тестирования?

Представим, что мы работаем в компании, которая предоставляет онлайн-консультации с врачами. Целью нашей компании является повышение удовлетворенности пользователей и увеличение количества консультаций. Для этого мы решили провести A/B тестирование, чтобы определить, какие изменения могут улучшить наш продукт.
Гипотеза: Добавление возможности чата с врачом перед самой консультацией позволит пользователям задать предварительные вопросы, убедиться, что этот врач лучше всего подходит для них, и приведет к росту удовлетворенности пользователей и повышению конверсии на страницу записи на прием.
Мы разделили пользователей на две группы: группу A и группу B. Группе A мы предложили стандартный процесс оформления консультации, а группе B мы добавляем возможность чата с врачом.
Как же все-таки выбрать правильные метрики для измерения успеха такой новой фичи?
✅ Определите бизнес-цели
Первым шагом при выборе метрик для A/B тестирования является определение бизнес-целей. Что вы хотите достичь с помощью тестирования? Какие показатели будут говорить о том, что вы достигли своих целей? Это может быть повышение конверсии, увеличение времени нахождения на сайте, увеличение количества заказов и т.д.
Что актуально для нашего примера?
— Увеличение удовлетворенности клиентов
Добавление чата с врачом позволит клиентам получить более быстрый и удобный доступ к необходимой медицинской информации. Это может привести к повышению удовлетворенности клиентов и укреплению лояльности к продукту.
— Повышение конверсии
Быстрый и легкий доступ к медицинской информации привлечет клиентов, которые решат воспользоваться услугами телемедицинских консультаций.
— Увеличение среднего чека
Чат с врачом поможет клиентам быстро получить медицинские рекомендации и консультации. Вырастет и качество услуг, и средний чек.
— Повышение уровня доверия
Добавление чата с врачом позволит клиентам получить дополнительную информацию о продукте и услугах. Общение с реальным человеком повысит уровень доверия.
✅ Выберите основные метрики продукта
После определения бизнес-целей необходимо выбрать основные метрики, которые будут использоваться для оценки результатов тестирования. Например, если вашей бизнес-целью является увеличение конверсии, то основной метрикой будет количество выполненных действий (например, количество покупок или подписок на рассылку).
Какие метрики можно выделить для нашего примера с телемедицинскими консультациями:
— Конверсия: покажет, сколько пользователей, посетивших сайт, проходят регистрацию и начинают пользоваться сервисом.
— Количество консультаций: покажет, насколько успешными стали изменения в продукте.
— Количество повторных консультаций: покажет, насколько успешно мы сохраняем пользователей после первой консультации.
— Уровень удовлетворенности пользователей: позволит измерить, насколько пользователи довольны услугами компании. Мы можем провести опросы или использовать систему обратной связи для получения данных
✅ Учитывайте контекст
При выборе метрик необходимо учитывать контекст
Например, если вы изменяете цвет кнопки "Купить", то не стоит ожидать значительного увеличения количества продаж. Однако изменение текста на странице может значительно повлиять на конверсию.
✅ Определите вспомогательные метрики
Вспомогательные метрики помогают глубже понять результаты тестирования и выявить причины изменений. Например, если вы изменили текст на странице, то вспомогательная метрика — количество просмотров страницы или количество кликов по кнопке "Купить". Эти метрики помогут понять, почему произошли изменения в основной метрике и какие именно изменения привели к улучшению результатов.
Пример с телемедицинскими консультациями:
— Среднее время нахождения на странице продукта
Если пользователи проводят мало времени на странице, значит чего-то не хватает: неудачный дизайн или недостаточно информации о продукте.
— Среднее время ответа в чате
Если среднее время ответа слишком высокое, вероятно есть проблемы в организации работы врачей.
— Количество пациентов, которые использовали чат
Если количество пользователей слишком низкое, следует поработать над позиционированием или доступностью услуги.
— Количество вопросов на консультацию
Если клиенты задают слишком много вопросов, значит есть какие-то проблемы с информационными материалами: либо они некачественные, либо непонятно, как ими пользоваться.
— Соотношение позитивных и негативных отзывов
Если отрицательных отзывов значительно больше, нужно разбираться, чем именно людям не нравится новая функция.
✅ Избегайте избыточности
Не собирайте в кучу все метрики, которые приходят вам в голову, — в итоге будет сложно анализировать результаты. Выбирайте только те метрики, которые напрямую отражают изменения, внесенные в тест.
✅ Учитывайте временные ограничения
Некоторые метрики могут требовать длительного времени для оценки результатов тестирования. Например, если вы проводите тест на увеличение количества повторных консультаций, то результаты будут значимыми только через несколько недель. Поэтому необходимо выбирать метрики, которые можно оценить в течение разумного времени.
✅ Оценивайте статистическую значимость
Для оценки статистической значимости можно использовать специальные онлайн-инструменты. Если результаты тестирования не достигают статистической значимости, то выбранные метрики могут быть недостаточно чувствительными для оценки результатов тестирования.
✅ Измеряйте воздействие на пользователя
Некоторые метрики могут быть сильно зависимы от поведения пользователей и не отражать реальную эффективность тестируемой стратегии. Например, количество просмотров страницы выросло после запуска рекламной кампании, а не из-за изменений на странице.
— Рекламные кампании могут привлекать новых пользователей и повышать количество консультаций.
— Некоторые продукты зависят от сезонности. Например, в зимний период спрос на консультации выше, чем в летний.
— Глобальные изменения тоже влияют на результаты. Например, если происходит эпидемия, спрос на консультации будет расти без вашего вмешательства.
— Если у конкурента появится более привлекательное предложение, какая-то часть клиентов вероятно уйдет туда.