7 ошибок A/B-тестирования, которых следует избегать

A/B-тесты — лучший инструмент для повышения коэффициента конверсии любого сайта (продажи, подписки или любые другие действия, которые могут вас заинтересовать). После создания двух или более версий любой страницы или публикации на вашем веб-сайте вы можете узнать на основе данных, а не предположений, какая из них работает лучше всего.

Но пока теория хороша, следите за практикой. Прежде чем приступить к A/B-тестированию своих страниц, убедитесь, что вы не совершаете ошибок, которые могут привести к иллюзорным результатам. Это может оказаться пустой тратой денег и времени, которых следует избегать любой ценой.

Давайте посмотрим, каких ошибок следует избегать при создании A/B-тестов…

# 1 Сравнение разных периодов времени

Может возникнуть соблазн подробно проанализировать поведение и конверсию ваших посетителей на любой из ваших страниц за определенный период времени. Затем внесите изменения в сеть и повторно проанализируйте детали поведения на своем сайте.

В этом контексте кажется довольно простым сделать вывод, что если вы получили лучшие результаты в течение первого или второго периода времени, это потому, что версия, протестированная в этот период, лучше, чем другая.

Что ж, мне жаль говорить вам, что это не очень хорошая идея. Начнем с того, что количество и качество трафика, поступающего на ваш сайт, может варьироваться от нескольких дней до недель. Одна и та же страница может конвертировать в один день или неделю на 15%, а на следующий день или неделю — на 12%.

Это изменение может быть связано с факторами, совершенно не связанными с вашим сайтом (экономический климат, настроение ваших посетителей и т. д.). Например, благодаря вирусному твиту вы увеличиваете посещаемость своего сайта. Но тип трафика менее качественный, и после попадания на ваш сайт он меньше конвертируется. Другой пример: вы запускаете новую рекламу в Google с предложением, и процент посетителей, которые приходят на ваш сайт через рекламу, а затем конвертируются, очень высок.

Поэтому единственный способ учесть все эти факторы — провести A/B-тестирование, при котором каждый вариант показывается пропорциональному количеству посетителей за один и тот же период. При случайном показе двух (или более) версий посетителям в течение одной недели гораздо выше вероятность того, что результаты будут статистически значимыми.

Так что забудьте о тестировании до и после, так как вы не будете знать наверняка, насколько релевантны результаты, чтобы решить, какая версия лучше.

# 2 Завершение теста досрочно

Теперь, когда вы знаете, что вам нужно проводить A/B-тестирование, вы только что установили Nelio A/B Testing и с нетерпением ждете запуска своего первого теста страницы.

Вы начинаете собирать результаты, и быстро вариант начинает приносить больше конверсий, чем исходная страница. Зачем тратить время? Почему бы не внести быстрое изменение и не сделать новый вариант постоянным? Это позволит увеличить конверсию быстрее…

Объем

A/B-тесты основаны на статистике, поэтому важно помнить, что размер выборки имеет значение — он должен быть репрезентативным. Другими словами, мы должны убедиться, что мы получили достаточно результатов нашего теста, чтобы тест адекватно отражал реальность.

Если вы используете специализированный инструмент для проведения A/B-тестирования, например Nelio A/B Testing, этот инструмент сам сообщит вам, являются ли результаты вашего теста статистически значимыми.

Тогда вы можете подумать, что, поскольку у вас есть веб-сайт с большим трафиком, вы быстро получите результаты от того, что работает лучше всего.

Продолжительность

Осторожно! Есть еще один фактор, который следует учитывать при создании A/B-тестов. Дело не только в объеме, но и в том, чтобы ваши тесты длились достаточно долго, чтобы охватить цикл вашего бизнеса. То есть, если, например, тип трафика, который вы получаете, отличается в будние и выходные дни, убедитесь, что тест длится минимальный период времени для всех представленных типов трафика.

Я рекомендую вам калькулятор CXL, чтобы вы немного больше изучили продолжительность и размер, которые должен иметь A/B-тест, чтобы его результаты были статистически значимыми.

Помните: делать выводы заранее — это то же самое, что принимать решения интуитивно.

# 3 Завершение теста слишком поздно

Теперь мы впадаем в другую крайность: вы только что запустили тест и получаете другие результаты. Поскольку вы знаете, что не можете делать выводы слишком рано, вы решаете подождать, пока не получите убедительных данных, верно? Проходят дни, и ни один вариант не кажется явно лучше другого, так что, возможно, вам придется подождать…

Что ж, мы уже говорили не торопиться, но если у вас уже три месяца нет убедительных результатов, вы, вероятно, напрасно тратите время. И вы тратите их впустую по той простой причине, что упускаете другие типы тестов, которые, вероятно, могли бы дать вам гораздо более важную информацию о том, как оптимизировать конверсию.

# 4 Полагаться на тесты других

Мы можем и должны учиться у других, но я боюсь, что статистические данные других не обязательно применимы к вашему сайту. То есть вы, наверное, читали какую-то статью, в которой говорилось, что цвет кнопки призыва к действию, который работает лучше всего, — красный.

Теория очень хороша, но реальность такова, что вы не решите, будет ли этот результат полезен, не протестировав его сначала на своем веб-сайте. Кейсы других людей бесполезны для принятия решений по вашему конкретному делу. Они будут полезны для вас, чтобы иметь новые идеи о том, что вы могли бы протестировать.

# 5 Изменение запущенного теста

Возможно, одна из худших ошибок, которую вы можете совершить после запуска AB-теста на своем веб-сайте, — это остановить его, внести определенные изменения и возобновить. В лучшем случае исправьте обнаруженную небольшую опечатку, но не создавайте новые варианты и не меняйте уже запущенные. Эти изменения могут полностью свести на нет полученные результаты.

Если вы окажетесь в ситуации, когда захотите внести изменения в запущенный A/B-тест, полностью остановите его и запустите новый тест. Два теста по отдельности дадут вам достоверные результаты. Если хотите, попробуйте интерпретировать результаты обоих вместе, но имейте в виду, что вы не сможете получить надежные результаты, если внесете изменения в любой запущенный A/B-тест.

6. Одновременный запуск множества тестов

Упростите свою жизнь с помощью A/B-тестов. Если вы попытаетесь проанализировать слишком много изменений одновременно, вам будет особенно трудно интерпретировать результаты каждого теста. Вы можете создать два или более вариантов страницы, которые будут отображать совершенно разные ее версии. Это нормально, и на самом деле было изучено, что серьезные изменения могут иметь большее влияние на конверсию.

Однако не пытайтесь выполнять много тестов одновременно. Для каждого нового теста, который вы создаете, будет создано новое разделение трафика на различные возможные комбинации вариантов вместе с ранее созданными. И именно чем больше у вас будет вариантов, тем больше будет делиться ваш трафик и тем дороже вам будет стоить получение статистически значимых результатов.

# 7 Не зная цели вашего теста

И это должно быть самой важной ошибкой, которую вы должны избегать.

Цель A/B-тестирования — оптимизировать конверсию. Хорошо. Отсюда применяйте здравый смысл. Все страницы и сообщения на вашем веб-сайте имеют цель: информировать о продуктах и ​​услугах, которые вы предлагаете, заявить о себе, объяснить подробности о том, как работает продукт или услуга, убедиться, что вы соблюдаете закон о защите данных и т. д. Хотя все они важны, некоторые из них гораздо важнее в воронке конверсии.

Например, если у вас есть электронная коммерция, наиболее релевантными будут те страницы, на которых показаны все продукты, те, которые показывают детали продукта, и страница, на которой совершается платежная покупка. Итак, для начала не запутайтесь в анализе других страниц и сосредоточьтесь на оптимизации этих.

Также хорошо подумайте о наиболее важных целях в каждой из них:

• Пусть посетитель купит этот продукт.
• Позвольте посетителю добавить этот товар в список пожеланий или в корзину.
• Попросите их посмотреть на другие сопутствующие товары.
• Рекомендовать покупку этих продуктов третьим лицам.
• Чтобы связаться с вами для получения дополнительной информации.

Хорошо определите свои цели и подумайте, какие улучшения могут помочь вам в их достижении. Оттуда тесты, которые, по вашему мнению, будут иметь смысл и помогут улучшить ваш сайт.

Избранное изображение Сары Килиан на Unsplash.