Модуль 6 · Урок 22
Experiments, scale, guardrails і rollback
Experiment відповідає на одне рішення: чи treatment кращий за control за визначеною primary metric без порушення guardrails. Apply роблять після lag-complete review; scale — окремим контрольованим кроком.
Hypothesis, яку можна спростувати
«Покращити кампанію» — не hypothesis. Один experiment не має одночасно тестувати strategy, goal, budget, landing і creative: тоді результат не пояснює, що спрацювало.
Control і treatment
Google Ads custom experiment ділить traffic і budget між original campaign та experiment. Для Search доступні cookie-based і search-based splits; Google рекомендує 50% для найкращого порівняння. Cookie-based split утримує користувача в одному arm, search-based випадково призначає кожний пошук.
| Елемент | Фіксуємо до старту |
|---|---|
| Single change | Різниця treatment від control |
| Primary metric | Одна метрика для рішення |
| Guardrails | Quality, margin, volume, policy, tracking |
| Split і dates | Метод, частка, start, minimum end, lag buffer |
| Exclusions/events | Promo, outage, stock, consent або site changes |
Не зупиняйте, коли графік сподобався
- Не peeking: decision date і minimum end задані до старту.
- Не оцінюйте incomplete conversions до завершення lag buffer.
- Не називайте correlation причинністю поза randomized split.
- Зберігайте control незмінним, крім emergency safety fixes.
- Document external events і порушення design.
Platform indicator допомагає, але business decision також перевіряє qualified outcomes, margin та operational capacity.
Apply, hold, reject
Коли experiment кращий, Google Ads дозволяє apply його до original або замінити original. Перед apply збережіть exact settings і rollback state.
Scale — новий change, не нагорода
- Застосуйте validated treatment без додаткових edits.
- Збільшуйте budget/coverage контрольованою партією з economics guardrail.
- Моніторте не лише CPA/ROAS, а quality, margin, tracking і capacity.
- Якщо guardrail порушено — виконайте записаний rollback, не імпровізуйте.
- Після стабілізації сформулюйте наступну незалежну hypothesis.
Практика
Заповніть `experiment-brief.csv`, `experiment-results.csv` і `scale-rollback.csv`. У brief має бути одна змінна; у results — lag completeness й external events; у scale — exact rollback trigger/action.
Офіційні джерела
Закріпіть матеріал уроку
Три сценарні питання. Для зарахування уроку потрібно дати щонайменше дві правильні відповіді.