Модуль 11 · Урок 38
Experiment design, primary metric і guardrails
До запуску зафіксуйте eligibility, randomization unit, control, treatment, exposure, метрики, minimum detectable effect, sample-size assumptions, тривалість, QA, stop rule і правила рішення. Інакше експеримент легко «підлаштувати» під бажаний висновок.
Design contract
| Рішення | Ризик без нього |
|---|---|
| Randomization unit: user, account, session, geo | Contamination, repeated exposure або dependency |
| Control і одна treatment-зміна | Неможливо визначити механізм |
| Eligibility та exposure event | У denominator потрапляють люди, які не могли побачити зміну |
| Allocation і duration | Sample-ratio mismatch або неповні цикли |
| Owner і rollback | Немає відповідального за рішення та шкоду |
Для кампаній Google Ads офіційна рекомендація — ясна гіпотеза, одна змінна, 1–2 success metrics до старту та відсутність паралельних змін у base campaign.
Одна primary metric, кілька ролей
Вибір найкращої метрики після перегляду результатів створює упереджений readout. Success criteria фіксують до запуску.
Sample size — не магічне число
Потрібний обсяг залежить від baseline, мінімального ефекту, який має практичний сенс (MDE), рівня помилки першого роду α, бажаної power, allocation і методу аналізу. Менший MDE потребує більшої вибірки. Тривалість також має охопити необхідний sample та повні бізнес-цикли.
Документуйте assumptions
Збережіть baseline period, MDE absolute/relative, α, power, formula/calculator і version. Немає універсального правила «100 конверсій» або «тест сім днів».
Pre-launch QA
- Перевірте assignment, стабільність variant і exposure лише після фактичного показу.
- Звірте event schema, numerator/denominator, deduplication, timezone та late data.
- Перевірте sample-ratio mismatch; за потреби проведіть A/A.
- Оцініть cross-device contamination, network effects і concurrent changes.
- Пройдіть accessibility, privacy/consent, performance і legal review.
- Зафіксуйте duration, stop criteria та дії при incident до першого результату.
Не підглядайте до «зеленого»
Щоденне багаторазове читання звичайного fixed-horizon тесту та зупинка в перший позитивний момент збільшують ризик хибного висновку. Дотримуйтеся pre-registered horizon/методу. Зупиняйте раніше лише за заздалегідь визначеною безпековою межею або методом, який підтримує sequential decision.
Практика
- Заповніть experiment design для гіпотези з уроку 37.
- Визначте randomization unit, eligibility, exposure і contamination risks.
- Створіть primary, два guardrail і два diagnostic metric contracts.
- Задокументуйте baseline, MDE, α, power, sample і duration assumptions.
- Проведіть pre-launch QA та підпишіть stop/decision rules.
Офіційні джерела
Закріпіть матеріал уроку
Три сценарні питання. Для зарахування уроку потрібно дати щонайменше дві правильні відповіді.