Что такое А/А-тест?
А/А-ТЕСТЫ
А/А-тест — это проверка последней мили, всего того, что вы сделали для теста: генератора случайных чисел, схемы сбора данных и выбранного статистического критерия для метрики. Сам тест запускается с реальным делением аудитории на две части, но в контрольной и тестовой группах используется одна и та же версия продукта, в финале вы должны получить сходящийся тест без опровержения нулевой гипотезы, так как версия продукта одна и та же.
Первое, что нужно проверить, — насколько хорошо работает генератор случайных чисел, по значениям которого будет происходить разделение на группы в тесте. Само назначение на группы можно делать двумя способами: через назначение случайного числа и через хеширование информации об объекте. Когда пользователь посещает сайт, обычно ему в куки пишут его идентификационный номер. Этот номер используется для того, чтобы узнать пользователя при повторном посещении. Для А/В-тестов этот номер хешируется, то есть его превращают из текста в число, далее берут две или три последние цифры для распределения по группам: 00-49 контрольная группа, 50-99 тестовая. В А/А-тесте вы должны получить то же самое распределение, что и в тесте! Если распределение задано пополам, 50/50, то вы его и должны получить на выходе. Даже небольшие расхождения в 3 % в данных теста могут поставить под угрозу весь тест. Если в тесте есть 100 000 пользователей, вы хотите разделить их пополам, а в итоге получается в одной группе 48 000, а в другой 52 000 — это говорит о проблемах в «случайности» разбиения по группам. Эти распределения можно проверить и на симуляциях, когда вам точно известен алгоритм. Но моя практика показывает, что мелкие нюансы разработки, о которых мы не знаем, могут приводить к «сдвигам» распределений.
Второе, на что важно обратить внимание, — пользователи должны попадать в группы равномерно, не должно быть смещений по разным срезам пользователей. Например, в тесте участвуют две группы пользователей: юридические и физические лица, первых всего 10 %, а вторых 90 %. После разбиения на группы это соотношение изменилось — в контрольной группе 7 и 93 % соответственно, в тестовой — 12 и 88 %. у этого явления могут быть две причины. Первая — есть закономерность в назначении идентификаторов клиентов, и эти данные используются в назначении групп. Вторая — юридических лиц слишком мало в абсолютных цифрах, и выборка нужна больше. Последнюю причину проще отсечь — нужно попытаться собрать больше данных, если наблюдаемая разница исчезнет, то все в порядке. Если нет — нужно разбираться с процедурой назначения, обратите внимание на то, что «срезы» лучше сходятся, когда используется разбиение 50/50, а не какое-нибудь экзотическое 90/10. в меньшую группу попадает всего 10 % пользователей.
И третье, что нужно иметь в виду, — на выбранной метрике ваш статистический критерий должен показывать отсутствие статистической значимости, ведь мы показываем пользователю одно и то же. Из опыта скажу — любые бинарные (биномиальные) тесты сходятся намного лучше и быстрее, чем тесты с непрерывной шкалой. Конверсия сайта (процент посетителей, сделавших покупку) сойдется лучше, чем средняя стоимость покупки (средний чек). Причин, с моей точки зрения, две. Первая — низкая вариабельность конверсии (только два значения — купил или нет), вторая — «выбросы» в метриках с непрерывной шкалой. Выброс в тестах — это редкое событие, например, очень дорогая покупка, в какую группу она попадет, там и будет сразу «улучшение» метрики. Согласитесь, такой результат никого не устроит. Поэтому есть определенная практика — срезать небольшой процент данных «сверху» (удаляем самые дорогие заказы), пока А/А-тест не сойдется.
А/А-тест — это проверка последней мили, всего того, что вы сделали для теста: генератора случайных чисел, схемы сбора данных и выбранного статистического критерия для метрики. Сам тест запускается с реальным делением аудитории на две части, но в контрольной и тестовой группах используется одна и та же версия продукта, в финале вы должны получить сходящийся тест без опровержения нулевой гипотезы, так как версия продукта одна и та же.
Первое, что нужно проверить, — насколько хорошо работает генератор случайных чисел, по значениям которого будет происходить разделение на группы в тесте. Само назначение на группы можно делать двумя способами: через назначение случайного числа и через хеширование информации об объекте. Когда пользователь посещает сайт, обычно ему в куки пишут его идентификационный номер. Этот номер используется для того, чтобы узнать пользователя при повторном посещении. Для А/В-тестов этот номер хешируется, то есть его превращают из текста в число, далее берут две или три последние цифры для распределения по группам: 00-49 контрольная группа, 50-99 тестовая. В А/А-тесте вы должны получить то же самое распределение, что и в тесте! Если распределение задано пополам, 50/50, то вы его и должны получить на выходе. Даже небольшие расхождения в 3 % в данных теста могут поставить под угрозу весь тест. Если в тесте есть 100 000 пользователей, вы хотите разделить их пополам, а в итоге получается в одной группе 48 000, а в другой 52 000 — это говорит о проблемах в «случайности» разбиения по группам. Эти распределения можно проверить и на симуляциях, когда вам точно известен алгоритм. Но моя практика показывает, что мелкие нюансы разработки, о которых мы не знаем, могут приводить к «сдвигам» распределений.
Второе, на что важно обратить внимание, — пользователи должны попадать в группы равномерно, не должно быть смещений по разным срезам пользователей. Например, в тесте участвуют две группы пользователей: юридические и физические лица, первых всего 10 %, а вторых 90 %. После разбиения на группы это соотношение изменилось — в контрольной группе 7 и 93 % соответственно, в тестовой — 12 и 88 %. у этого явления могут быть две причины. Первая — есть закономерность в назначении идентификаторов клиентов, и эти данные используются в назначении групп. Вторая — юридических лиц слишком мало в абсолютных цифрах, и выборка нужна больше. Последнюю причину проще отсечь — нужно попытаться собрать больше данных, если наблюдаемая разница исчезнет, то все в порядке. Если нет — нужно разбираться с процедурой назначения, обратите внимание на то, что «срезы» лучше сходятся, когда используется разбиение 50/50, а не какое-нибудь экзотическое 90/10. в меньшую группу попадает всего 10 % пользователей.
И третье, что нужно иметь в виду, — на выбранной метрике ваш статистический критерий должен показывать отсутствие статистической значимости, ведь мы показываем пользователю одно и то же. Из опыта скажу — любые бинарные (биномиальные) тесты сходятся намного лучше и быстрее, чем тесты с непрерывной шкалой. Конверсия сайта (процент посетителей, сделавших покупку) сойдется лучше, чем средняя стоимость покупки (средний чек). Причин, с моей точки зрения, две. Первая — низкая вариабельность конверсии (только два значения — купил или нет), вторая — «выбросы» в метриках с непрерывной шкалой. Выброс в тестах — это редкое событие, например, очень дорогая покупка, в какую группу она попадет, там и будет сразу «улучшение» метрики. Согласитесь, такой результат никого не устроит. Поэтому есть определенная практика — срезать небольшой процент данных «сверху» (удаляем самые дорогие заказы), пока А/А-тест не сойдется.
Оставить свой ответ:
