Назад
A/B тестирование в стартапах

Как быстро и эффективно провести A/B-тестирование в стартапах

Бизнес, как и любая другая сфера современного мира, не стоит на месте. Всё, абсолютно всё находится в перманентном развитии — именно поэтому работа над продуктом никогда не заканчивается. Чтобы оставаться на плаву, нужно постоянно что-то менять: улучшать дизайн приложения, докручивать функции или повышать конверсию.

А есть ли какой-нибудь способ заранее понять, что и, главное, когда менять, и узнать, как эти новшества повлияют на конечный результат? Наша команда по MVP разработке знает ответ на эти вопрос. Рассказываем в статье!

Про A/B тестирование в двух словах

Помочь определить слабые точки в вашем продукте может один из инструментов совершенствования веб-продуктов — A/B-тестирование. С помощью A/B тестирования можно проверить ряд гипотез, понять предпочтения пользователей и принять обоснованное решение (помните, что в первую очередь нужно собрать обратную связь и только потом приступать к масштабным изменениям). Грамотное распределение ресурсов и верно расставленные приоритеты при выборе гипотез дадут вам результат, который окупит все ваши вложения.

A/B-тестирование или сплит-тестирование — это маркетинговый подход, используемый для оценки эффективности изменений веб-продукта. Другими словами, A/B-тестирование в стартапах— это метод, основанный на статистических данных, который помогает определить, приносит ли конкретное изменение продукта измеримую пользу. Как правило, простой A/B-тест состоит из следующих шагов:

  1. Анализируем текущую версию продукта (это версия A) и предлагаем изменения (это версия B);
  2. Распределяем трафик пользователей случайным образом, но при этом не забываем, что 50% клиентов должны видеть версию А, остальные 50% — версию B;
  3. Через некоторое время (это будет зависеть от трафика) собираем метрики двух версий и сравниваем их друг с другом. Полученные данные помогут оценить эффективность изменений и выбрать наиболее подходящий вариант.
READ MORE  SCRUM, щеночки и 5 000+ скачиваний в Google Play: как мы делали немецкое приложение для владельцев домашних животных

Что обычно проверяют с помощью A/B-тестирования в стартапах?

Благодаря этому подходу можно тестировать различные переменные вашего MVP:

Как подготовиться к A/B-тестированию в стартапах?

  • Один параметр — один тест

Анализируя MVP, вы скорее всего найдёте несколько переменных, требующих корректировки. Однако, проверять все одновременно — неэффективно. Например, если проводить тестирование нового заголовка и иконки в одно и то же время, будет невозможно определить, изменение чего принесло положительный результат.

  • Определитесь с главной целью

Еще перед началом тестирования выберите основной индикатор, на который будете ориентироваться в процессе. Опишите гипотезу и пофантазируйте, что может произойти после изменения некоторых элементов. Проведите тест, а затем проанализируйте результат в соответствии с выбранным индикатором.

  • Разделите трафик случайным образом

На самом деле трафик можно разделить как случайным образом, так и поровну. Это будет зависеть от вашей цели и инструментов тестирования.

READ MORE  Давай упрощай: как с помощью дизайна привлечь новичков в сложный мир инвестиций. Кейс Purrweb
  • Заранее определите размер выборки

Помните — продолжительность теста влияет на размер выборки. Не заканчивайте процесс тестирования до тех пор, пока не соберете достаточное количество просмотров для проведения анализа.

  • Четко определите метрику успеха

Этот важная часть сплит-тестирования. Чем выше показатель успешности тестирования, тем увереннее вы будете в полученных результатах. Обычно разработчики устанавливают эту метрику на уровне 95-98%.

Перед проведением A/B-тестирования используйте короткий чек-лист, который поможет проверить себя: 

  1. Что собираетесь тестировать?
  2. Вы уже определили свою целевую аудиторию? Кто это?
  3. Ваши следующие шаги, если гипотеза будет доказана? А если опровергнута?
Решить, что тестировать — сложно. Описание существующей проблемы поможет определить, что нужно протестировать в первую очередь.

С подготовкой все ясно, но как провести A/B-тестирование, чтобы был результат?

Вот несколько советов, которые пригодятся при тестировании приложения:

  • Сосредоточьтесь на потребностях целевой аудитории

Проанализируйте вопросы пользователей, посмотрите отзывы о приложениях конкурентов. Таким образом вы соберете информацию для описания гипотезы и запуска сплит-теста.

  • Не следуйте слепо за другими

Перестаньте гадать. Начинайте A/B-тестирование без каких-либо предубеждений или предположений. То, что большая красная кнопка посередине страницы сработала для какого-то стартапа, не говорит о том, что она точно также сработает для вашего MVP.

  • Не используйте все «ТОПы лучших гипотез для проверки», которые найдете в Google

Существует множество сайтов с готовыми предложениями для тестирования. Будьте изобретательны, не тратьте время на проверку всех гипотез из этих списков. Вам нужен результат, и причем быстро! Сократите список и оставьте только то, что применимо для вашего приложения и сможет повысить уровень значимых показателей.

  • Используйте только актуальные статистические данные

Не полагайтесь на простые показатели сравнения «один к одному», чтобы определить, что работает, а что нет. Допустим, ваша версия A обеспечивает коэффициент конверсии 45%, а версия B — 46%, но это не значит, что надо немедленно перейти на версию B. Используйте для оценки только доверительные интервалы и статистически значимые данные.

READ MORE  Как мы готовили захват рынка фриланс поваров России. Кейс Purrweb
  • Запомните правило: чем дольше, тем лучше

Другими словами — чем дольше вы проводите тест, тем более точные данные получите. Установите период времени для тестирования еще перед запуском.

  • Неудачи — это нормально, но помните, что неудачи стоят дорого

Если вы до сих пор выпускаете версии приложения, которые не приносят ощутимых результатов, как это в итоге повлияет на ваши показатели? Если большинство экспериментов терпят неудачу, не приносите ли вы больше вреда, чем пользы? Сколько времени и ресурсов вы тратите на разработку и реализацию экспериментов по A/B-тестированию? Если что-то не работает, возможно, это не потому, что ваша кнопка не красного цвета, а потому, что улучшений требуют основные функции.

  • Ведите записи ваших тестов и результатов

Во-первых, это позволит не повторять тесты, которые вы уже проводили. Во-вторых, собранные данные помогут в обучении вашей команды и новых сотрудников, а также будут ценным ресурсом для идей будущего редизайна приложения.

Есть ли какие-то специальные инструменты для A/B-тестирования в стартапах?

Конечно, можно запустить тест самостоятельно, вносить изменения вручную и постоянно мониторить процесс. Или выбрать более простой способ и сэкономить время — использовать специальные инструменты для сплит-тестирования. Давайте рассмотрим некоторые из них подробнее:

  • Apptimize — сервис для тестирования приложений. 

Включает в себя визуальный редактор, блоки кода и динамические переменные. Можно использовать бесплатно с ограниченным функционалом или приобрести подписку.

A/B тестирование в стартапахКроме того, сервис отлично работает в связке с другими инструментами для тестирования — Google Analytics или Mixpanel

Он предлагает использовать макрос MPTweakValue для изменения переменных. Однако, у сервиса нет бесплатной версии.

Запустить тест в этом сервисе достаточно просто: необходимо лишь загрузить графические элементы и текст, после чего можно начинать. Данные будут собраны и представлены в удобном формате. С помощью этого инструмента можно проверять как отдельные переменные продукта, так и всю страницу приложения. Еще один плюс — есть бесплатная демо-версия.

Этот инструмент помогает отслеживать время событий и работать с блоками кода. Недостаток сервиса — отсутствие визуального редактора и агрегации данных. Из минусов также отсутствие бесплатной версии.

READ MORE  Как упростить жизнь организаторам мероприятий. Кейс Purrweb

И напоследок

A/B тестирование в стартапах — это маркетинговый подход, позволяющий внести необходимые изменения в приложение без больших трудозатрат и сложных инструментов. Наши нехитрые советы помогут эффективно провести тестирование еще до релиза и собрать данные для дальнейших улучшений. Если ваш текущий продукт не окупается, и вы думаете, что изменение заголовков или цвета конверсионных кнопок сможет это изменить — A/B-тестирование — идеальный способ избавления от сомнений и проверки ваших гипотез.