Бизнес, как и любая другая сфера современного мира, не стоит на месте. Всё, абсолютно всё находится в перманентном развитии — именно поэтому работа над продуктом никогда не заканчивается. Чтобы оставаться на плаву, нужно постоянно что-то менять: улучшать дизайн приложения, докручивать функции или повышать конверсию.
А есть ли какой-нибудь способ заранее понять, что и, главное, когда менять, и узнать, как эти новшества повлияют на конечный результат? Наша команда по MVP разработке знает ответ на эти вопрос. Рассказываем в статье!
Про A/B тестирование в двух словах
Помочь определить слабые точки в вашем продукте может один из инструментов совершенствования веб-продуктов — A/B-тестирование. С помощью A/B тестирования можно проверить ряд гипотез, понять предпочтения пользователей и принять обоснованное решение (помните, что в первую очередь нужно собрать обратную связь и только потом приступать к масштабным изменениям). Грамотное распределение ресурсов и верно расставленные приоритеты при выборе гипотез дадут вам результат, который окупит все ваши вложения.
A/B-тестирование или сплит-тестирование — это маркетинговый подход, используемый для оценки эффективности изменений веб-продукта. Другими словами, A/B-тестирование в стартапах— это метод, основанный на статистических данных, который помогает определить, приносит ли конкретное изменение продукта измеримую пользу. Как правило, простой A/B-тест состоит из следующих шагов:
- Анализируем текущую версию продукта (это версия A) и предлагаем изменения (это версия B);
- Распределяем трафик пользователей случайным образом, но при этом не забываем, что 50% клиентов должны видеть версию А, остальные 50% — версию B;
- Через некоторое время (это будет зависеть от трафика) собираем метрики двух версий и сравниваем их друг с другом. Полученные данные помогут оценить эффективность изменений и выбрать наиболее подходящий вариант.
Что обычно проверяют с помощью A/B-тестирования в стартапах?
Благодаря этому подходу можно тестировать различные переменные вашего MVP:
Как подготовиться к A/B-тестированию в стартапах?
- Один параметр — один тест
Анализируя MVP, вы скорее всего найдёте несколько переменных, требующих корректировки. Однако, проверять все одновременно — неэффективно. Например, если проводить тестирование нового заголовка и иконки в одно и то же время, будет невозможно определить, изменение чего принесло положительный результат.
- Определитесь с главной целью
Еще перед началом тестирования выберите основной индикатор, на который будете ориентироваться в процессе. Опишите гипотезу и пофантазируйте, что может произойти после изменения некоторых элементов. Проведите тест, а затем проанализируйте результат в соответствии с выбранным индикатором.
- Разделите трафик случайным образом
На самом деле трафик можно разделить как случайным образом, так и поровну. Это будет зависеть от вашей цели и инструментов тестирования.
- Заранее определите размер выборки
Помните — продолжительность теста влияет на размер выборки. Не заканчивайте процесс тестирования до тех пор, пока не соберете достаточное количество просмотров для проведения анализа.
- Четко определите метрику успеха
Этот важная часть сплит-тестирования. Чем выше показатель успешности тестирования, тем увереннее вы будете в полученных результатах. Обычно разработчики устанавливают эту метрику на уровне 95-98%.
Перед проведением A/B-тестирования используйте короткий чек-лист, который поможет проверить себя:
- Что собираетесь тестировать?
- Вы уже определили свою целевую аудиторию? Кто это?
- Ваши следующие шаги, если гипотеза будет доказана? А если опровергнута?
Решить, что тестировать — сложно. Описание существующей проблемы поможет определить, что нужно протестировать в первую очередь.
С подготовкой все ясно, но как провести A/B-тестирование, чтобы был результат?
Вот несколько советов, которые пригодятся при тестировании приложения:
- Сосредоточьтесь на потребностях целевой аудитории
Проанализируйте вопросы пользователей, посмотрите отзывы о приложениях конкурентов. Таким образом вы соберете информацию для описания гипотезы и запуска сплит-теста.
- Не следуйте слепо за другими
Перестаньте гадать. Начинайте A/B-тестирование без каких-либо предубеждений или предположений. То, что большая красная кнопка посередине страницы сработала для какого-то стартапа, не говорит о том, что она точно также сработает для вашего MVP.
- Не используйте все «ТОПы лучших гипотез для проверки», которые найдете в Google
Существует множество сайтов с готовыми предложениями для тестирования. Будьте изобретательны, не тратьте время на проверку всех гипотез из этих списков. Вам нужен результат, и причем быстро! Сократите список и оставьте только то, что применимо для вашего приложения и сможет повысить уровень значимых показателей.
- Используйте только актуальные статистические данные
Не полагайтесь на простые показатели сравнения «один к одному», чтобы определить, что работает, а что нет. Допустим, ваша версия A обеспечивает коэффициент конверсии 45%, а версия B — 46%, но это не значит, что надо немедленно перейти на версию B. Используйте для оценки только доверительные интервалы и статистически значимые данные.
- Запомните правило: чем дольше, тем лучше
Другими словами — чем дольше вы проводите тест, тем более точные данные получите. Установите период времени для тестирования еще перед запуском.
- Неудачи — это нормально, но помните, что неудачи стоят дорого
Если вы до сих пор выпускаете версии приложения, которые не приносят ощутимых результатов, как это в итоге повлияет на ваши показатели? Если большинство экспериментов терпят неудачу, не приносите ли вы больше вреда, чем пользы? Сколько времени и ресурсов вы тратите на разработку и реализацию экспериментов по A/B-тестированию? Если что-то не работает, возможно, это не потому, что ваша кнопка не красного цвета, а потому, что улучшений требуют основные функции.
- Ведите записи ваших тестов и результатов
Во-первых, это позволит не повторять тесты, которые вы уже проводили. Во-вторых, собранные данные помогут в обучении вашей команды и новых сотрудников, а также будут ценным ресурсом для идей будущего редизайна приложения.
Есть ли какие-то специальные инструменты для A/B-тестирования в стартапах?
Конечно, можно запустить тест самостоятельно, вносить изменения вручную и постоянно мониторить процесс. Или выбрать более простой способ и сэкономить время — использовать специальные инструменты для сплит-тестирования. Давайте рассмотрим некоторые из них подробнее:
- Apptimize — сервис для тестирования приложений.
Включает в себя визуальный редактор, блоки кода и динамические переменные. Можно использовать бесплатно с ограниченным функционалом или приобрести подписку.
Кроме того, сервис отлично работает в связке с другими инструментами для тестирования — Google Analytics или Mixpanel
Он предлагает использовать макрос MPTweakValue для изменения переменных. Однако, у сервиса нет бесплатной версии.
Запустить тест в этом сервисе достаточно просто: необходимо лишь загрузить графические элементы и текст, после чего можно начинать. Данные будут собраны и представлены в удобном формате. С помощью этого инструмента можно проверять как отдельные переменные продукта, так и всю страницу приложения. Еще один плюс — есть бесплатная демо-версия.
Этот инструмент помогает отслеживать время событий и работать с блоками кода. Недостаток сервиса — отсутствие визуального редактора и агрегации данных. Из минусов также отсутствие бесплатной версии.
И напоследок
A/B тестирование в стартапах — это маркетинговый подход, позволяющий внести необходимые изменения в приложение без больших трудозатрат и сложных инструментов. Наши нехитрые советы помогут эффективно провести тестирование еще до релиза и собрать данные для дальнейших улучшений. Если ваш текущий продукт не окупается, и вы думаете, что изменение заголовков или цвета конверсионных кнопок сможет это изменить — A/B-тестирование — идеальный способ избавления от сомнений и проверки ваших гипотез.
