Слово редактора Здравствуйте, уважаемые читатели. Интернет-маркетинг — это динамичный процесс. Нужно всегда что-то менять и пробовать. Чтобы не палить из пушки по воробьям, важно точно знать, что работает, а что нет. В этом выпуске рассылки мы рассказываем о методике проведения А/В-тестирования, которой на конференции «eTarget. E-commerce» поделился Ярослав Бондарчук, руководитель отдела Growth Hacking компании Retail Rocket. | | | Поиск гипотезы Чтобы эксперимент имел смысл, нужна четкая формулировка проблемы и вероятный вариант ее решения. Где брать идеи для эксперимента? Первый источник гипотез — наш опыт. Например, мы выяснили, что для электроники лучше работают рекомендации с похожими товарами: примерно 60—90% пользователей интересуют аналоги выбранной техники. А для аптек удачным вариантом будет размещение сопутствующих товаров, потому что 75% людей, покупающих лекарства, заинтересуют пластыри, шприцы и другие препараты для домашней аптечки. Второй источник идей — это обратная связь от клиентов. Мы анализируем прямые вопросы в техподдержку и фидбек от аккаунт-менеджеров, собираем запросы пользователей и выявляем появление каких-то потребностей. Когда у нас есть какие-то данные, продакт-менеджеры напрямую общаются с клиентами в ходе интервью. Так мы понимаем, какой функционал интересен нашим пользователям и что мы можем улучшить. Наконец, исследования рынка. Мы регулярно анализируем кейсы конкурентов, выясняем, что они делают и какие товары хорошо продаются. Эту информацию несложно искать, но ее нужно фильтровать: иногда функционал, который работает у конкурентов, для нас неэффективен. | | | Предварительное исследование Чтобы проверить как можно больше гипотез в единицу времени и сразу откинуть очевидно неэффективные, перед запуском А/В-теста мы обязательно проводим предварительное исследование. Это позволяет определить конфигурацию А/В-теста и существенно сэкономить ресурсы. На этом этапе мы оцениваем, сколько денег может принести гипотеза, на какой доле клиентов она будет работать, сколько будет стоить ее разработка и внедрение. Например, мы хотим увеличить выручку интернет-магазина с помощью категорийного мерчендайзинга. Мы предполагаем, что формирование выдачи товаров разных категорий по различным математическим алгоритмам повысит эффективность. Чтобы это проверить, мы исследовали 20 прошедших ранее А/В-тестов на страницах категорий и карточек товаров, сегменты которых отличались версиями показанных рекомендаций. Затем в каждом из сегментов сделали срез по результатам в каждой категории. | | |  Результаты теста в целом по магазину | | |  Результаты теста по одной из категорий | | | | На основе этих данных мы сформировали конфигурацию А/В-тестов: - подобрали 9 магазинов и выбрали категории для эксперимента;
- выбрали базовую механику для всех магазинов на основе предыдущих А/В-тестов;
- выбрали алгоритмы для категорий, в которых результаты отличались от результатов по всему магазину (не больше 4 для каждого магазина).
| | | А/А-тесты На следующем этапе мы рекомендуем обязательно проводить А/А-тесты. Это поможет в трафике интернет-магазина найти аномальные группы пользователей, которые могут исказить конечные результаты. Глобально аномалии можно разделить на группы: - Пользователи, которые перемещались между сегментами. Обычно их доля небольшая, но их заказы могут повлиять на результаты теста, поэтому мы рекомендуем их убирать.
- Боты. Обычно с поисковыми ботами проблем нет: они генерируют одного-двух пользователей, посещают страницы, но не осуществляют заказов. Но иногда в некоторых сегментах их может быть много, поэтому их нужно исключать.
- Всплески активности. Во время акций уровень конверсии обычно выше среднего по сайту, что искажает результаты тестов. Иногда такие всплески можно не учитывать, но если магазин проводит регулярные рассылки и распродажи, всплески тоже регулярны. Поэтому мы рекомендуем наряду с обычными днями анализировали дни всплесков активности. В этом случае вы получите два знания сразу: как ведут себя покупатели в среднем, и как они ведут себя в необычные дни.
- Заказы call-центра. Некоторым пользователям удобнее оформить заказ по телефону, но в этом случае все заказы оформляются с ID оператора, что создает недостоверную картину.
| | | А/В-тесты По нашему опыту, оптимальный период проведения тестов — от 2 до 4 недель. Меньше этого срока проводить эксперименты нельзя из-за сильных колебаний трафика интернет-магазина, при большем времени на результаты влияют акции, распродажи, сезонность и т.д. Во время тестирования мы снимаем 4 основные метрики: - конверсия в заказы;
- конверсия в пользователей с хотя бы одним заказом;
- средний чек;
- прибыль от посещения (revenue per visit, RPV) — это показатель, который показывает, сколько денег приносит каждый привлеченный пользователь. Мы рассчитываем его для каждого канала отдельно.
Чтобы увеличить скорость экспериментов, мы рекомендуем проводить параллельно несколько тестов на разных страницах. Мы обычно на одном магазине проводим одновременно около 5 тестов: на главной странице, в категории, в поиске и на карточке товара. Почему это важно? Если вы проводите один эксперимент в месяц, то в год будет всего 12 тестов. Один успешный тест даст прирост выручки в среднем на 3%. При обороте 200 млн. и марже 20% вы получите прибыли всего 1,2 млн в год. Допустим, что над тестами работают 1—2 человека с зарплатой в 100 тыс. Исследование не окупается. Для запуска пяти тестов нужно всего в полтора раза больше ресурсов, но при этом можно достичь прироста в 15%. ROE (Return on Equity) при этом будет положительным. | | | | Но при таком количестве тестов важно контролировать их созависимость. Если мы изменим поведение людей в категории товара, и вслед за этим оно изменится в корзине или карточке, то результаты будут недостаточно точными. Поэтому на одной странице можно проводить только один тест. Это позволит отследить, что привело к изменениям. Если у вас тесты независимы, тут все просто — по каждому можно принимать решение отдельно. С зависимыми тестами иначе — их нужно проводить параллельно, а не по одному. Но результаты зависимых тестов не всегда просто интерпретировать, особенно, если вы проверяете гипотезы внешнего вида или математические механики. Небольшие изменения на страницах интернет-магазина влияют на конверсию, но довольно мало — прирост обычно около 1—2%. Если вы хотите добиться роста на 7—10%, то можно сравнивать целые конфигурации, содержащие несколько страниц. Основная проблема таких тестов — эффект новизны. Когда вы значительно меняете логику интерфейса, лояльным пользователям будет непривычно использовать новые функции, поэтому сначала показатели сильно снизятся. Чтобы получить статистически достоверные результаты, потребуются более долгие тесты — обычно среднее время привыкания клиента 5—10 заходов на сайт. | | | Структура интернет-магазина с точки зрения SEO Планировать структуру сайта необходимо заранее, иначе это приведет к проблемам, которые будет сложно устранить. Дмитрий Мрачковский рассказал о том, как сделать структуру интернет-магазина, привлекательную как для пользователей, так и для поисковиков. | | | Как с нуля выйти в топ: кейс Oodji Иногда выбранная механика работы сайта приводит к полному отсутствию его в поисковой выдаче. Рассказываем о том, как с нуля вывести сайт в ТОП и каких результатов можно добиться, если довериться экспертам. | | | Поисковый аудит интернет-магазина В июне мы анонсировали сбор заявок на комплексный поисковый аудит. Из 60 компаний наши специалисты выбрали цветочный интернет-магазин Studio Floristic. Поделились на Seonews результатами анализа текстовой составляющей страниц и коммерческих факторов ранжирования. | | | YouTube стал поддерживать вертикальные видео В новой веб-версии видеоплеера YouTube адаптировал формат под вертикальные видео, добавив поддержку видео с разными пропорциями. Теперь сервис автоматически меняет размер окна просмотра без вреда для качества ролика. | | | Вконтакте тестирует новые алгоритмы ленты новостей ВКонтакте вводит новые критерии ранжирования постов в новостной ленте. Теперь приоритет получают публикации с большим количеством комментариев. Алгоритмы уже стали доступны для части пользователей | | | Google Chrome маркирует HTTP-сайты как небезопасные Вышла новая версия браузера Google — Chrome 68 для Windows, Mac и Linux. В обновлении добавлены новые API Page Lifecycle и Payment Handler, а также появилась предупреждение о небезопасности сайтов, использующих HTTP-протокол. | | | Аудит утечки данных от «Ашманов и партнеры» Утечка конфиденциальных данных с сайта — одна из самых опасных угроз в киберпространстве. Вручную определить риск утечки сложно, потому что коммерческие сайты содержат десятки или сотни тысяч страниц. Наши специалисты помогут найти страницы сайта, которые не должны индексироваться, но находятся в поиске Яндекса, Google и других систем. Подробнее об услуге читайте на нашем сайте. | | | | |
