A/B тест SMS-рассылок покупателям обувной сети

18

Click here to load reader

Transcript of A/B тест SMS-рассылок покупателям обувной сети

Page 1: A/B тест SMS-рассылок покупателям обувной сети

А/Б тест SMS-рассылок для обувной сетиИЮЛЬ 2015

www.mindbox.ru

Page 2: A/B тест SMS-рассылок покупателям обувной сети

• Обувная сеть собрала много мобильных телефонов покупателей

• Единственное использование – эпизодический спам обобщенными предложениями

• Главный критерий выбора рассылки - «поменьше бы денег потратить»

Результат?

Дорого, неэффективно, масса жалоб = не работает

Что болит?

Page 3: A/B тест SMS-рассылок покупателям обувной сети

• Сделать SMS-рассылку, которая принесет прибыль

• Показать маркетингу сети пользу от тестов и работы над деталями

• В случае успеха - получить контракт :)

Что хотим?

Page 4: A/B тест SMS-рассылок покупателям обувной сети

А/Б тест разных сообщений - как это работает?

Группа 1: 100 человек

Группа 2: 100 человек

Группа 3: 100 человек

Берем группы из похожих покупателей*

Шлем сообщение №1

Шлем сообщение №2

Ничего не шлем (контроль)

Совершили 5 покупок

Совершили 20 покупок

Совершили 6 покупок

Шлем сообщенияСравниваем количество покупок и думаем

(только участники программы лояльности, чтобы можно было отследить количество покупок)

1 2 3

Page 5: A/B тест SMS-рассылок покупателям обувной сети

16 000 покупателей, выбранных случайно

разделили на 4 однородные группы

Тестовая группа 1

Отправим сообщение:

Тестовая группа 2

Тестовая группа 3

Контрольная группа

Ничего не отправляем

Эта группа будет отражать естественное поведение покупателей - тех, которые не получили никаких рассылок.

«Скидки до 50% на летнюю коллекцию в салонах [****]! Приятных покупок!»

Отправим сообщение:

«Светлана, для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****] Адрес ближайшего магазина выбирайте на сайте [****]»

«Светлана, весь месяц для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****]. Порадуйте себя и близких приятными покупками! Адрес ближайшего магазина выбирайте на сайте [****]»

Отправим сообщение:

Page 6: A/B тест SMS-рассылок покупателям обувной сети

надо убедиться, что во всех группах люди «одинаковые» (группы однородны)

иначе результатам нельзя будет верить

Важно:

Page 7: A/B тест SMS-рассылок покупателям обувной сети

Группы схожи по полу и возрасту

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

83 %84 %82 %83 %

17 %16 %17 %16 %

мужчины женщины неизвестно

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

13 %11 %13 %11 %

34 %36 %35 %34 %

40 %39 %39 %41 %

13 %14 %14 %14 %

до 25 от 26 до 35 от 36 до 50 больше 50

Смотрим раз:

Page 8: A/B тест SMS-рассылок покупателям обувной сети

… и по покупательскому поведению до рассылки

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

66 %67 %65 %67 %

21 %20 %22 %22 %

13 %12 %13 %12 %

до 6 месяцев от 7 до 15 месяцев больше 15 месяцев

Давность последней покупкиСредний

чекСреднее

количество Контрольная 6900 2

Тестовая 1 7100 2

Тестовая 2 7300 2

Тестовая3 7100 2

Смотрим два:

Page 9: A/B тест SMS-рассылок покупателям обувной сети

Группы для тестов – однородны. Значит результаты

можно сравнивать

- Окей, все в порядке, делаем рассылку!

Page 10: A/B тест SMS-рассылок покупателям обувной сети

Процент покупателей, которые после рассылки совершили покупку в тестовых группах

0,5% 0,6%

1,1%

0,6%

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

Выглядитмногообещающе!

Page 11: A/B тест SMS-рассылок покупателям обувной сети

Если разослать такие сообщения по всей БД, то результаты будут отличаться: надо рассчитать доверительные интервалы

Сравниваем интервалы. Если сильно пересекаются - то отличий нет

0,8%0,9%

1,5%

0,9%

0,3%0,4%

0,8%

0,4%0,5% 0,6%

1,1%

0,6%

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

Page 12: A/B тест SMS-рассылок покупателям обувной сети

Вторая рассылка принесла значимо больше покупателей, чем пришло самостоятельно в контрольной группе . Она принесла деньги.

Первая и третья рассылки принесли столько же покупателей, сколько пришло в контрольной группе самостоятельно. Они убыточны: не принесли дополнительных продаж

0,8%0,9%

1,5%

0,9%

0,3%0,4%

0,8%

0,4%0,5% 0,6%

1,1%

0,6%

Контрольная Тестовая 1 Тестовая 2 Тестовая 3

Page 13: A/B тест SMS-рассылок покупателям обувной сети

?«Светлана, для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****]. Адрес ближайшего магазина выбирайте на сайте [****]»

Почему похожие рассылки привели к разным результатам?

«Светлана, весь месяц для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****]. Порадуйте себя и близких приятными покупками! Адрес ближайшего магазина выбирайте на сайте [****]»

vs

Page 14: A/B тест SMS-рассылок покупателям обувной сети

Но можно предположить, что покупатели восприняли фразу «весь

месяц», как повод не очень торопиться с покупкой

Из-за этой неосторожности мы получили некорректные данные по этой рассылке и придется исключить ее из дальнейшего рассмотрения.

Покупателям не понравилось длинное сообщение?

Может быть, фраза «Порадуйте себя и близких приятными покупками!» кажется потребителям неискренней?

Фаза луны?

НЕ ЗНАЕМ (хорошая идея - сделать опрос)

Page 15: A/B тест SMS-рассылок покупателям обувной сети

«Скидки до 50% на летнюю коллекцию в салонах [****]! Приятных покупок!»

«Светлана, для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****]. Адрес ближайшего магазина выбирайте на сайте [****]»

Если отправить сообщение, посчитать чистую прибыль, то итог будет лежать в диапазоне

Из процента купивших вычесть процент контрольной группы,

у оставшихся посчитать суммарную маржу покупок,

вычесть затраты на рассылку

Рассчитаем денежный эффект для базы в 100 000 потребителей

-430 тыс. руб. +360 тыс. руб.

+33 тыс. руб. +1 010 тыс. руб.

Наиболее ожидаемое значение

-35 тыс. руб.

Наиболее ожидаемое значение

+ 490 тыс. руб.

Page 16: A/B тест SMS-рассылок покупателям обувной сети

«Скидки до 50% на летнюю коллекцию в салонах [****]! Приятных покупок!»

«Светлана, для Вас действуют скидки до 50% на летнюю коллекцию в салонах обуви [****]. Адрес ближайшего магазина выбирайте на сайте [****]»

-430 тыс. руб. +360 тыс. руб.

Наиболее ожидаемое значение

-35 тыс. руб.

+33 тыс. руб. +1 010 тыс. руб.

Наиболее ожидаемое значение

+ 490 тыс. руб.

Рассылка не окупит затраты

Рассылка окупится и принесет прибыль

Длинное дорогое сообщение прибыльно, а короткое дешевое - убыточноСЮРПРИИИЗ:

Page 17: A/B тест SMS-рассылок покупателям обувной сети

Резюмируя

• SMS-рассылки могут приносить деньги. Размер прибыли можно

увеличивать, но для этого нужны тесты и внимание к деталям

• Короткое дешевое сообщение может быть убыточно, а длинное и дорогое – прибыльно

Page 18: A/B тест SMS-рассылок покупателям обувной сети

www.mindbox.ru

Иван Боровиков+7 903 724 08 88 [email protected]

Кейсы c деталями, презентации и доклады - на нашем канале в Slideshare или по почте.

Обращайтесь к нам, если хотите, чтобы ваш маркетинг работал

СПАСИБО!