Meta · Опубликовано 2026-07-28 · 1 мин чтения
АБ-тесты креативов в Metа
На стриме “META: запуск и scaling” было несколько вопросов про АБ-тестирование креативов. В Meta я креативы АБ-тестами не сравниваю. Почему так:
🧪 Что такое АБ-тест Пользователей случайно делят на контрольную и тестовую группу, между группами отличается один элемент. Дальше проверяют нулевую гипотезу «разницы нет»: считают, на сколько варианты отличаются и какова вероятность получить такое расхождение случайно при условии что нулевая гипотеза верна.
Это плюс-минус корректное определение если упрощать то: “отвечают на вопрос насколько отличаются группы” или в данном случае креативы.
📱 Где это нужно Новый онбординг/цены/пейвол/новая фича в приложении. Внутри приложения нет алгоритма, который сам решит, какая версия отрабатывает лучше, и сам раздаст её подходящим пользователям. Решение принимает человек, значит нужны корректно посчитанные цифры и статистические методы разной степени сложности/чувствительности/точности. Другого способа корректно оценить перформанс фичи нет.
🤖 Чем отличается Meta У Meta такой алгоритм есть: подбор креатива под пользователя - core-функционал рекламной сетки. Уже на этапе показа объявления Meta видит вовлечённость: кто остановился в ленте, кто досмотрел, кто кликнул.
💡 Мой комментарий
Задачи две
- измерить количественную разницу между вариантами и
- выбрать креатив, в который уйдёт бюджет
АБ-тест решает первую, у меня стоит вторая.
Meta делает этот выбор на данных, которых у меня нет, и быстрее, чем я наберет выборку. Причин ей не доверять в этой задаче я не вижу.
Поэтому я заливаю в адсет креативы и просто смотрю что выберет META.
🙌 Ставьте плюсик в комментариях, чтобы я выслал ссылку на запись стрима - там еще много интересного обсуждали.