Может возникнуть соблазн запустить тестирование всех четырех вариаций одновременно и определить одного победителя. Однако в этом случае результаты теста могут оказаться недостоверными. На итоги эксперимента может повлиять множество факторов в каждой вариации.
В таком случае маркетолог вручную выбирает варианты, которые хочет протестировать. Обычно вносятся самые значимые изменения, и вариантов гораздо меньше, чем при MVT. Как бы странно это ни звучало, но этот пример — набор самых выигрышных комбинаций мультивариантного тестирования. Вы рискуете получить те варианты, которые привлекают внимание посетителей, способствуют увеличению конверсии, но вместе они создают какую-то какофонию, как кеды для бега в сочетании с классическим костюмом. Многовариантный тест — это проверка нескольких вариантов и нескольких переменных на лендинге или сайте.
Когда выгоднее обычные сплит-тесты, а когда – многовариантное тестирование?
Выявив проблему или задачу, маркетолог формулирует гипотезу — обоснованное предположение, которое либо подтвердится, либо опровергнется в результате эксперимента. Третьим ключевым различием является время, требуемое для получения видимых результатов для каждого тестирования. Бессмысленные комбинации, которые будут вредить бизнесу, должны быть откинуты, а результаты интерпретированы профессиональным аналитиком. Невнимательная оценка результатов может привести к созданию ложных позитивных прогнозов.
Когда есть гипотеза и чёткое представление, какие элементы надо протестировать, создают варианты с различными комбинациями. Измените фоновый цвет кнопок, сделайте текст лаконичным, добавьте изображения — ориентируйтесь на гипотезу. Не стоит тестировать все возможные элементы. Сосредоточьтесь на тех, которые с большей вероятностью подтолкнут пользователей к целевому действию.
Планирование сплит-тестирований с помощью дорожной карты
Другое преимущество — дробный тест требует меньше трафика. Он подходит для сайтов, на которые заходит мало пользователей. Статистическая значимость в данном случае важна, т.к. Только при ее достижении можно оставаться уверенным, что результаты теста «не подкачают» в будущем, а выбранный вариант окажется лучшим по всем объективным показателям и позволит увеличить конверсию. Кроме того, статистическая значимость измеряется количеством успешных (т.е. завершенных) операций/заказов/сделок. Например, компания MXToolbox предлагает бесплатные инструменты для менеджеров и многое другое.
В примере с кнопками CTA на баннере проверяем, как работают красная, голубая, жёлтая и зелёная. Есть случаи, когда использования многих переменных не избежать, и тогда лучше обратиться к этому методу. Сам принцип мультивариантного тестирования заставляет взглянуть на лендинг или страницу сайта как на систему, в которой все элементы связаны. После этого 50 % посетителей сайта направляются на оригинальную версию страницы (А), оставшиеся 50 % — на измененную .
Что мне нужно, чтобы начать A/B тестирование на своем сайте?
Если вас заинтересовала профессия тестировщика, то в обучении ей помогут курсы от DevEducation. МВТ-тест позволяет увидеть, как работают различные сочетания компонентов на веб-странице. Трудно сказать — мнения профессиональных и широко известных маркетологов разделились.
- Проектированием тестов — этап, на котором создаются тестовые сценарии (тест кейсы), в соответствии с определёнными ранее критериями.
- Исчерпывающее тестирование (Exhaustive Testing — ET) — подразумевается проверка всех возможные комбинации входных значений.
- Главная страница обычно получает переменное количество разносортного трафика, на нее заходят как случайные посетители, так и потенциальные клиенты.
- Тестирование серого ящика — метод тестирования ПО, который предполагает комбинацию White Box и Black Box подходов.
- A/B/n-тестирование позволяет сравнить не два, а сразу несколько вариантов рекламного контента.
- Тестирование белого ящика — метод тестирования ПО, который предполагает полный доступ к коду проекта.
Используйте A/B-тесты, чтобы определить лучшую структуру. Используйте МВТ, чтобы довести ее до совершенства, убедиться, что элементы взаимодействуют лучшим образом. В полном тесте трафик делится между всеми вариациями, что увеличивает необходимое количество трафика для получения показательной статистики. Чтобы оценить трафик, необходимый для значимого результата, используйте калькулятор.
← Предыдущий инструмент
Если проводить мультивариантное тестирование с множеством переменных на сайте с низким трафиком, есть риск получить недостаточно значимые результаты, по которым не получится сделать никакие весомые выводы. Для такого вида тестирования нужно как минимум несколько тысяч посещений в месяц. Итак, если mvt тестирование у вас достаточно трафика, вы можете использовать и мультивариантное тестирование, и классические бинарные сплит-тесты – так они будут дополнять друг друга. Например, используйте А/В тесты, чтобы выявить лучшие элементы страниц, а потом с помощью MVT полируйте окончательные варианты страницы.
Однако для них потребуется более глубокое изучение инструмента. Самое главное — в A/B тестировании больше плюсов, чем минусов. Процесс предполагает изменение одного элемента. Если результат негативный, вы сможете быстро отменить изменения. А все позитивные изменения можно просто сохранять и использовать как стартовую точку для следующего тестирования.
Как улучшить MVT-тестирование
Ожидаемый результат — что по факту должны получить. Предусловия — список действий, которые приводят систему к состоянию пригодному для проведения основной проверки. Либо список условий, выполнение которых говорит о том, что система находится в пригодном для проведения основного теста состояния. Тестовый сценарий — это артефакт, описывающий совокупность шагов, конкретных условий и параметров, необходимых для проверки реализации тестируемой функции или её части.
Введите в свою практику тестирование юзабилити
Это может быть другой шрифт, другое главное изображение, другое расположение кнопки с призывом к действию . Конечно, есть определенные правила создания сайта. Но чтобы он давал хорошую конверсию, нужно постоянно исследовать новые подходы. Модульное тестирование может быть сложным или довольно простым, в зависимости от тестируемого приложения и используемых стратегий, инструментов и принципов тестирования. Помните, что модульное тестирование всегда становится необходимом на каком-то из уровней разработки продукта. В случае каких-либо улучшений или изменений в требованиях, тестовые случаи не должны меняться.