7 золотых правил A/B-тестирования в iGaming

Вам знакомо это чувство, когда вы что-то меняете на сайте своего казино и не уверены, что оно действительно работает лучше? Возможно, вы изменили сообщение о приветственных бонусах, изменили цвет кнопки пополнения счета или изменили структуру электронных писем по программе лояльности. А теперь вы просто... надеетесь, что всё сработало?

Вот где A/B-тестирование входит. А в онлайн-гемблинге, где продолжительность жизни игроков может сильно колебаться в зависимости от мельчайших точек трения, делать все правильно уже не обязательно.

A/B-тестирование в iGaming — это принятие решений на основе данных, а не интуиции. Разница заключается в том, чтобы знать, что ваша новая структура VIP-уровней позволяет повысить коэффициент конверсии на 23%, и просто считать, что все в порядке. Но вот в чем дело: большинство онлайн-казино работают неправильно. Они тестируют случайные вещи без какой-либо стратегии, изучают показатели тщеславия или, что еще хуже, вообще не тестируют.

Давайте это исправим. Вот семь золотых правил, которые помогут вам проводить A/B-тесты, которые действительно помогут вам решить проблему.

Правило 1. Проверяйте по одной переменной за раз (иначе вы ничему не научитесь)

Это A/B-тестирование 101, но вы удивитесь, сколько операторов iGaming нарушают это правило.

Представьте, что вы решили протестировать новое приветственное письмо. Вы меняете тему письма, переписываете основной текст, меняете цвет кнопки CTA и настраиваете время отправки. Тест показывает, что количество переходов по ссылкам выросло на 15%. Отлично, верно?

Неверно. Вы понятия не имеете, что стало причиной этого лифта.

Это была более яркая тема? Красная кнопка вместо синей? Дело в том, что вы отправили его в 7 часов вечера вместо полудня? Вы только что провели четыре теста одновременно и не узнали ничего полезного, что можно было бы применить в другом месте.

Исправление простое: изолируйте переменные. Сначала проверьте тему письма. Как только вы определите победителя, проверьте цвет CTA. Затем проверьте время. Да, это займет больше времени. Но на самом деле вы поймете, что работает и почему.

Это относится ко всему, что касается автоматизации CRM. Если вы тестируете новую функцию геймификации, не меняйте одновременно структуру вознаграждения и пользовательский интерфейс. Одна переменная на тест. Всегда.

Правило 2: Статистическая значимость не является факультативной

Допустим, вы провели тест двух разных бонусных предложений. Вариант А дает 47 конверсий. Вариант B получает 52 конверсии. Вы объявляете вариант B победителем и предлагаете его всем.

Проблема с таким небольшим размером выборки заключается в том, что разница может быть просто случайным шумом. Возможно, если вы проведете тест дольше, вариант А наверстал бы упущенное или даже победил бы.

Статистическая значимость показывает, являются ли ваши результаты реальными или просто совпадениями. В онлайн-гемблинге, где поведение игроков может быть изменчивым (кто-то выигрывает крупную сумму и вдруг вносит гораздо больше, чем обычно), вам нужно достаточно данных, чтобы сгладить эти случайные всплески.

{{cta-баннер}}

Большинство инструментов A/B-тестирования позволяют рассчитать значимость для вас, но, как правило, вы должны быть уверены не менее чем на 95%, прежде чем назвать победителя. Кроме того, вам нужен приличный размер выборки — как правило, не менее нескольких сотен конверсий на вариант.

Согласно Исследование Harvard Business Review, посвященное A/B-тестированию, — единственный эксперимент Microsoft Bing, в ходе которого проверялись изменения заголовков рекламных объявлений, — в результате чего доход вырос на 12% и составил более 100 миллионов долларов в год. Исследование показало, что ведущие компании, проводящие тысячи строгих тестов, добиваются значительно лучших результатов, чем компании, полагающиеся только на интуицию.

Не торопитесь. Дождитесь сдачи анализов до тех пор, пока они не станут значимыми, даже если на это уйдут недели. Неверный вывод хуже медленного.

Правило 3. Знайте, что вы на самом деле измеряете

Показатель кликабельности. Коэффициент конверсии. Коэффициент вовлеченности. Доход на пользователя. Коэффициент удержания. Коэффициент оттока клиентов.

Существуют десятки метрикКак вы можете отслеживать в A/B-тесте. Но вот вопрос: какие из них действительно важны для ваших бизнес-целей?

Слишком многие операторы хотят улучшить метрику, которая на самом деле не влияет на их прибыль. Конечно, ваш новый шаблон электронной почты открывается на 30% больше. Но если эти дополнительные вакантные письма не приводят к депозитам, разве это важно?

Вам необходимо определить метрику North Star — единственную цифру, которая действительно указывает на успех. Для большинства операций в сфере онлайн-гемблинга это, вероятно, что-то вроде стоимости жизни игрока или чистой прибыли. Все остальное — всего лишь средство для достижения этой цели.

Вот как об этом думать:

Основные метрики (что вы пытаетесь улучшить):

• Коэффициент конвертации депозитов
• Средняя сумма депозита
• Пожизненная стоимость игрока
• Долгосрочное хранение (30 дней, 90 дней)
• Чистый доход на игрока

Вторичные метрики (вспомогательные показатели):

• Показатели открытия электронных писем
• Показатели кликабельности
• Частота сеанса
• Время на сайте
• Ставки погашения бонусов

Показатели ограждения (убедитесь, что вы что-то не сломаете):

• Объем заявок в службу поддержки
• Количество жалоб
• Тарифы отказа от подписки
• Показатели закрытия счетов

Прежде чем приступить к тестированию, запишите, какой показатель вы пытаетесь улучшить и почему это важно для вашего бизнеса. Если вы не можете это сформулировать, значит, вы еще не готовы к тестированию.

Правило 4. Разделите игроков на сегменты (потому что не все одинаковы)

Вот вам и реальность: ваш хайроллер, который вносит 5000 долларов в месяц, и обычный игрок, который забрасывает 20 долларов в пятницу вечером, — это разные люди. Они не отвечают на одни и те же сообщения, их не интересуют одинаковые награды, и им определенно не стоит проходить один и тот же A/B-тест.

Когда вы проводите тестирование со всей своей базой игроков, вы получаете усредненные результаты, которые могут скрыть то, что происходит на самом деле. Возможно, ваша новая программа лояльности не понравится игрокам среднего уровня, а VIP-персонам — совсем не по душе. Если посмотреть только на агрегированные показатели, то можно заметить, что они улучшились лишь на 5%, и это можно назвать выигрышем, упустив из виду тот факт, что вы просто оттолкнули свою самую ценную аудиторию.

Интеллектуальное A/B-тестирование в iGaming означает тестирование внутри сегментов:

• Новые игроки против вернувшихся игроков
• Игроки с низким и высоким уровнем дохода
• Различные игровые предпочтения (слоты, настольные игры или ставки на спорт)
• Географические регионы (если вы работаете на нескольких рынках)
• Уровни вовлеченности (активный, подверженный риску или бездействующий)

Возможно, вы обнаружите, что персонализация, основанная на этих сегментах, дает гораздо лучшие результаты, чем любой другой «выигрышный» вариант. И в этом, собственно, и весь смысл современного CRM для онлайн-игр — различное отношение к разным игрокам в зависимости от того, что на самом деле их мотивирует.

Правило 5: Дайте тестам достаточно времени, чтобы дышать

Трафик iGaming в понедельник выглядит иначе, чем пятничный. Первая неделя месяца ведёт себя иначе, чем в прошлую неделю (привет, паттерны выплат). А поведение игроков сразу после большого спортивного события совсем не похоже на случайный вторник.

Если вы проводите A/B-тест в течение трех дней и завершаете его, скорее всего, вы просто измеряете уровень шума.

Ваши тесты должны длиться достаточно долго, чтобы учесть эти закономерности. Тесты следует проводить как минимум в течение одной полной недели, чтобы зафиксировать еженедельные циклы. А еще лучше, если вы тестируете что-то, что может иметь долгосрочные последствия, например изменения в программе лояльности, — две недели или даже целый месяц.

Это особенно важно для тестов автоматизации CRM. Если вы тестируете серию писем о повторном сотрудничестве, которая длится 14 дней, вы не сможете оценить ее через 3 дня. Вам нужно увидеть весь путь.

Также следует учитывать эффект новизны. Иногда игроки положительно реагируют на что-то новое просто потому, что все по-другому, а не потому, что так лучше. Этот первоначальный всплеск может исчезнуть через несколько дней, как только новинка закончится. Проведя более продолжительные тесты, вы сможете определить, есть ли у вас устойчивое улучшение или просто временное улучшение.

Правило 6: Не игнорируйте проигравших (они не менее ценны)

Давайте поговорим о том, чему не уделяется должного внимания: о неудачных тестах.

Вы протестировали новую структуру приветственных бонусов. Она проиграла на 8%. Вы протестировали другой подход к теме письма. Оно потеряло 12%. Вы протестировали функцию геймификации. Она едва пошевелила иглу.

Большинство команд просто пожимают плечами, архивируют результаты и переходят к следующему тесту. Это огромная ошибка.

Проигрышные тесты говорят вам кое-что важное о ваших игроках. Они показывают вам, что не работает, и это так же важно, как и знание того, что работает. Что еще более важно, они помогают вам создать ментальную модель того, что на самом деле мотивирует вашу аудиторию.

Если тест не удался, выясните, почему:

• Она потерпела неудачу во всех сегментах или только в отдельных сегментах?
• Был ли какой-то элемент, который игроки отвергли?
• Коллидировало ли это с чем-то другим в этом опыте?
• Какие предположения, которые вы сделали, оказались ошибочными?

Документируйте свои проигранные тесты так же тщательно, как и победителей. Со временем вы начнете замечать закономерности. Возможно, ваши игроки постоянно отказываются от элементов геймификации, которые кажутся слишком «игровыми», но хорошо реагируют на отслеживание прогресса. Возможно, им нравится персонализированные бонусы но ненавижу обычные рекламные письма.

Эти знания дополняют друг друга. Каждый тест — выигрыш или проигрыш — делает следующий тест умнее.

Правило 7. Выработайте гипотезу, прежде чем нажать «Старт»

Случайное тестирование — это просто дорогостоящее угадывание.

Прежде чем запускать любой A/B-тест, вы должны иметь возможность заполнить следующее предложение: «Я верю, что [изменение] приведет к [результату], потому что [причина, основанная на данных или поведении игроков]».

Например:

• «Я считаю, что добавление индикатора прогресса в электронные письма по нашей программе лояльности повысит рейтинг кликов на 15%, поскольку игроки хорошо реагируют на визуальные показатели достижений, полученные в ходе наших предыдущих тестов на геймификацию».
• «Я считаю, что отправка писем о повторном помолвке в 18:00 вместо 10 утра повысит уровень открываемости на 20%, поскольку наши аналитика показывает пиковую активность игроков происходит вечером».

Обратите внимание, что общего у этих гипотез? Они конкретны, поддаются измерению и основаны на существующих знаниях о поведении игроков.

Хорошая гипотеза делает три вещи:

1. Это сфокусировано на вашем тесте - Вы точно знаете, что пытаетесь доказать или опровергнуть
2. Он устанавливает критерии успеха - Прежде чем начать, вы знаете, как выглядит «лучше»
3. Это способствует накоплению институциональных знаний - Даже если вы ошибаетесь, вы кое-что узнаете о своих предположениях

Без гипотез вы просто бросаете спагетти в стену. С помощью одной из них вы систематически изучаете, что движет вашими игроками.

Как Smartico.ai способствует более эффективному A/B-тестированию

Итак, вы понимаете правила. Теперь реальность такова: следовать им вручную — настоящий кошмар.

Вот где единое целое Геймификация CRM, например Smartico.ai, имеет решающее значение. Основанная в 2019 году, программа Smartico.ai стала первым и ведущим решением, сочетающим механику геймификации в реальном времени с Автоматизация CRM специально создан для операций в сфере онлайн-гемблинга.

Программное обеспечение берет на себя тяжелую работу по A/B-тестированию на протяжении всего игрового процесса. Вы можете протестировать различные механики геймификации, структуры программ лояльности, персонализированные бонусные предложения, и коммуникационные стратегии — все это в одной центральной системе. Механизм обработки данных в реальном времени отслеживает поведение игроков в каждой точке соприкосновения, поэтому вы не догадываетесь, что работает.

Что делает его особенно мощным для A/B-тестирования, так это механизм персонализации. Вы можете автоматически проводить сегментированные тесты, сравнивая реакцию разных групп игроков на разные подходы. Хайроллеры получают один вариант теста, обычные игроки — другой, а система отслеживает, какие комбинации принесут наибольшую пользу за всю жизнь.

Инструменты автоматизации CRM также позволяют тестировать сложные мультисенсорные кампании без ручного управления десятками вариантов и триггеров электронной почты. Вы можете протестировать всю последовательность повторных контактов с контрольной группой, оценить результаты на каждом этапе и оптимизировать, основываясь на том, что действительно привлекает игроков, а не на то, что открывается.

А поскольку приложение специально разработано для онлайн-гемблинга, вы не пытаетесь заставить обычный инструмент автоматизации маркетинга понять нюансы удержания игроков, принципы ответственной игры и нормативные требования. Он работает именно так, как это необходимо операциям в сфере онлайн-гемблинга.

Хотите узнать, как Smartico может помочь вашему бизнесу удержать и повысить лояльность, чего вы раньше не пробовали? Закажите бесплатную подробную демонстрационную версию ниже.

{{cta-баннер}}

Распространенные ошибки A/B-тестирования, которых следует избегать в iGaming

Даже если вы знаете правила, легко споткнуться. Вот самые распространенные ошибки, которые мы видим:

1. Тестирование слишком большого количества вещей одновременно
Вы хотите оптимизировать все. Мы всё поняли. Но одновременное проведение 15 тестов снижает трафик и затрудняет достижение статистической значимости. Сосредоточьтесь в первую очередь на наиболее эффективных возможностях.

2. Слишком ранняя остановка тестов
Через два дня вы видите многообещающие результаты и нажимаете на курок. Затем эффект исчезнет, когда вы предоставите его всем. При A/B-тестировании терпение окупается.

3. Игнорирование различий между мобильными и настольными
Возможно, вы отлично проведете время на настольном компьютере, но если 70% ваших игроков используют мобильные устройства, а вы не сегментировали трафик, вы упускаете из виду полную картину.

4. Без учета сезонности
Проведение теста во время крупного спортивного мероприятия или праздничного сезона может исказить ваши результаты. Поведение игроков в эти периоды не является репрезентативным для обычных дней.

5. Тестирование косметических изменений без учета фундаментальных факторов трения
Настроить цвета кнопок очень просто. Исправить неуклюжий процесс регистрации сложно. Не используйте A/B-тестирование в качестве предлога, чтобы избежать решения реальных проблем UX.

6. Забывание опыта игрока
Тот факт, что тестовый вариант B показал лучшие результаты на 5%, не означает, что это положительно скажется на долгосрочной удовлетворенности игроков. Всегда учитывайте общую картину, выходящую за рамки мгновенных показателей конверсии.

Создание дорожной карты A/B-тестирования

Теперь, когда вы определили правила, вам нужна система. Вот как создать программу A/B-тестирования, которая действительно приносит результаты:

Начните с самых больших болевых точек. Куда вылетают игроки? Где уровень вовлеченности самый низкий? В чем ваша самая большая проблема с удержанием персонала?? Это ваши приоритеты в тестировании.

Создайте список гипотез. Не просто тестируйте случайные идеи. Составьте список приоритетов, основанный на потенциальном влиянии и простоте реализации. Протестируйте высокоэффективные и простые тесты, выигрывайте первыми, чтобы набрать обороты.

Составьте календарь тестирования. Планируйте тесты таким образом, чтобы они не накладывались друг на друга и не влияли на результаты. Оставьте достаточно времени между тестами, чтобы выявить победителей и оценить их долгосрочное влияние.

Создайте базу знаний. Документируйте каждый тест — гипотезу, методологию, результаты, идеи и решения. Сделайте эту информацию доступной для всей команды, чтобы каждый мог извлечь уроки из прошлых тестов.

Регулярно просматривайте и повторяйте. Выделяйте время ежемесячно или ежеквартально для анализа закономерностей во всех ваших тестах. Что работает? Что не так? Как вы можете усовершенствовать свой подход?

Операторы, которые выигрывают в A/B-тестировании, не те, кто проводит больше всего тестов. Именно они проводят самые умные тесты и учатся на их опыте.

ЧАСТО ЗАДАВАЕМЫЕ ВОПРОСЫ

Как долго мне следует проводить A/B-тест в iGaming?

Как минимум, проводите тесты в течение одной полной недели, чтобы учесть ежедневные модели поведения. Для более значительных изменений, таких как реструктуризация программ лояльности или масштабные процессы автоматизации CRM, постарайтесь провести 2—4 недели. Всегда дожидайтесь достижения статистической достоверности (95% достоверности), прежде чем объявлять победителя, даже если на это уйдет больше времени, чем планировалось.

Каков минимальный размер выборки, необходимый для получения достоверных результатов A/B-тестов?

Обычно вам нужно не менее 100-200 конверсий на вариант, чтобы увидеть надежные паттерны, хотя чем больше, тем лучше. Точное число зависит от базового коэффициента конверсии и размера эффекта, который вы пытаетесь обнаружить. Большинство инструментов A/B-тестирования включают калькуляторы размера выборки, которые помогут вам определить это заранее.

Могу ли я проводить несколько A/B-тестов одновременно?

Да, но отнеситесь к этому стратегически. Убедитесь, что тесты не мешают друг другу (например, не проверяйте темы писем и время отправки одновременно). Также убедитесь, что у вас достаточно трафика для правильной работы каждого теста. Запуск слишком большого количества параллельных тестов может снизить трафик и увеличить время, необходимое для достижения значимости.

Должен ли я тестировать всех игроков или только на определенных сегментах?

Оба подхода работают в зависимости от ваших целей. Если вы тестируете что-то универсальное, например изменение навигации по всему сайту, протестируйте всех игроков. Для целевых инициатив, таких как обновления VIP-программ или специальные рекламные акции для игр, тестируйте их в соответствующем сегменте. Сегментированное тестирование часто позволяет получить более действенную информацию, поскольку разные группы игроков ведут себя по-разному.

Что если мой A/B-тест не покажет существенной разницы между вариантами?

На самом деле это ценная информация: она говорит о том, что изменения не важны для игроков, поэтому вы можете перейти к тестированию чего-то другого. Это также может означать, что ваша гипотеза неверна или что вам нужно внести более радикальные изменения, чтобы изменить ситуацию. Задокументируйте нулевой результат и используйте его для будущих тестов.

Как узнать, каким метрикам следует отдавать приоритет в моих A/B-тестах?

Сосредоточьтесь на показателях, которые напрямую влияют на ваши бизнес-цели, например на стоимость жизни игроков, коэффициенты удержания или чистую прибыль. Не отвлекайтесь на такие тщетные показатели, как количество просмотров страниц или количество открытых электронных писем, если только они четко не связаны с доходом. Ваш показатель North Star должен ответить на вопрос: «Если это число вырастет, действительно ли наш бизнес улучшится?»

Ваш следующий шаг

A/B-тестирование в онлайн-гемблинге — это систематическое изучение того, что мотивирует ваших игроков, что снижает трудности и что на самом деле приносит прибыль в долгосрочной перспективе.

Следуйте этим семи правилам, и вы перестанете принимать решения, основанные на догадках. Вы поймете — и действительно поймете — что работает для ваших игроков. А в индустрии, где разница между удержанными и ушедшими игроками может быть лишь разочаровывающим опытом, эти знания решают все.

Эта статья оказалась для вас полезной? Если да, подумайте о том, чтобы поделиться ею с другими профессионалами отрасли, такими как вы.