Пять почему: как мы улучшили конверсию на Audio Guides

В книге Тайити Оно рекомендуется задавать пять «почему», чтобы добраться до сути проблемы. Этот принцип Toyota давно вышел за пределы автопрома и стал частью современного product management: ставим грубую аппроксимацию и спрашиваем — этого достаточно?

Первое «почему» стоит задавать самому продукту: открыть, скачать, пройти путь пользователя, изучить конверсию, LTV, CAC, ARPU. Душевный маркетинг без хорошего продукта невозможен — он должен вдохновлять в первую очередь вас, а уже потом передавать это чувство через маркетинг.

Audio Guides — продукт, с которого начали

Так мы подошли к Audio Guides — B2C-продукту с городскими аудиоэкскурсиями 24/7, маршрутом, навигацией и историями в приложении.

Почему №1 — почему платная воронка так сильно не окупается?

ДРР доходил примерно до 300%. Реклама была совсем неокупаемой.

Первая гипотеза была очевидной: проблема в рекламе. Начали чистить ключевые слова, играть со ставками, смотреть поисковые запросы и регулярно минусовать всё, что казалось нецелевым. Существенного результата это не дало — значит, нужно спрашивать дальше.

Почему №2 — почему пользователи из рекламы не покупают?

Смотрим на воронку. Триал особо не проседает. А вот из корзины в оплату конверсия падает примерно в пять раз: человек уже заинтересовался продуктом, попробовал его, выбрал экскурсию и дошёл практически до самого конца — и тут не покупает.

Почему №3 — почему человек не оплачивает?

Тут без пользователя уже никак. Мы провели customer development, нашли способ связаться с людьми и попросили описать свой путь: откуда пришли, что хотели сделать, где остановились и в чём был затык.

Выяснилась довольно простая вещь: обновление SSL-сертификата было выполнено неправильно. После перехода российских банков и платёжных сервисов, включая Т-Банк и Сбер, на новые сертификаты и инфраструктуру TLS у части пользователей возникли проблемы с прохождением оплаты. Она затрагивала не всех, а только отдельные сочетания браузеров, устройств и платёжных сценариев — поэтому долго оставалась незаметной в общей статистике.

То есть мы в это время довольно бодро оптимизировали рекламу, хотя часть пользователей элементарно не могла нормально завершить покупку. Мы нашли проблему через customer development, воспроизвели пользовательский сценарий оплаты, исправили техническую ошибку и платёжную интеграцию.

Результат: это дало основной скачок в конверсии и улучшении ДРР; остальные оптимизации уже дали дополнительный, но существенно меньший эффект.

Почему №4 — почему мы не заметили это раньше?

Потому что начали с максимизации объёмов, а не с пользовательского опыта. Это нормальное желание — никто не хочет тратить время на десятки тестов, прежде чем начать масштабировать. Но какой-то минимум таких проверок обязателен.

И только потом начинать масштабировать то, что уже работает. Как результат этого шага — составили полноценную карту QA-тестов и обновили релиз-процесс важных фич, чтобы подобная ситуация не повторялась в будущем.

После исправления — обычная продуктовая работа

После снятия основного блокера мы продолжили оптимизировать то, что можно было оптимизировать. Посмотрели на возраст и обнаружили связь с платежами: аудитория 35+ показывала другую экономику, поэтому для неё сделали отдельную корректировку ставок. Продолжили регулярно чистить семантику и минусовать слова — это дало ещё около 0,6 процентных пунктов улучшения ДРР.

Параллельно запустили A/B-тест автоматизации Яндекса. Раньше автотаргетинг работал хуже ручного управления, но новая оптимизация Яндекса, в том числе кампании с 360-оптимизацией, уже показала результат примерно на уровне ручного подхода.

Различия по сравнительным показателям проверили статистически: использовали Z-тест для пропорций и критерий хи-квадрат, порог значимости — 95%. Конверсия в покупку пока не набрала статистической значимости, поэтому делать по ней окончательные выводы рано; конверсия в корзину осталась примерно на том же уровне, что и для кампании с многочасовой ручной оптимизацией — это позволяет ожидать позитивную перспективу от нового инструмента Яндекса. A/B-тестам алгоритмов оптимизации посвятим отдельный пост.

А пятое «почему» оставим читателю: какие ещё инструменты мы можем использовать, чтобы не просто решить текущую проблему, а не отстать от рынка завтра?