Модуль 11 · Урок 39
Readout, uncertainty, decision і experiment backlog
Readout — це decision record, а не скриншот «перемоги». Покажіть дизайн, counts, якість даних, абсолютний і відносний ефект, невизначеність, guardrails, обмеження та заздалегідь визначене рішення: ship, iterate, stop або обґрунтовано rerun.
Спочатку валідність, потім результат
- Звірте design version, dates, allocation, counts і фактичну exposure.
- Перевірте sample-ratio mismatch, missing/late data, duplicate events та incidents.
- Зафіксуйте concurrent campaigns, seasonality, inventory і technical changes.
- Лише після цього аналізуйте primary metric, guardrails і pre-specified diagnostics.
Якщо randomization або measurement зламані, «статистично значущий» графік не рятує причинний висновок.
Покажіть ефект і невизначеність
| Поле | Навіщо |
|---|---|
| Control / treatment counts | Видимий denominator і allocation |
| Absolute effect | Різниця в percentage points або одиницях |
| Relative effect | Масштаб щодо baseline, але не замість absolute |
| Uncertainty interval | Діапазон ефектів, сумісних із даними й методом |
| Guardrails | Перевірка, що виграш не куплений прихованою шкодою |
| Data limitations | Межі того, що дозволено стверджувати |
Statistical significance не гарантує практичної цінності. Відсутність significance не доводить «ефекту немає»: interval може бути надто широким і включати як корисний, так і шкідливий результат.
Чотири чесні рішення
Типові помилки readout
- Обрати після тесту сегмент або metric, де випадково «зелено».
- Змішати absolute percentage points і relative percent.
- Ігнорувати multiple comparisons, novelty, contamination та concurrent changes.
- Оголосити причинність для observational comparison без randomization.
- Масштабувати одразу на 100% без staged rollout, monitoring і rollback.
- Сховати негативний або невизначений результат і повторити ту саму ідею.
Experiment backlog як пам’ять команди
Зберігайте problem/evidence refs, hypothesis, design, результат, decision і наступну дату review. Пріоритезуйте не лише expected impact, а й evidence strength, confidence, effort, risk та learning value. Негативний результат — корисний актив, якщо він відтворюваний і доступний команді.
Audience percentage · owner · primary/guardrail monitor · alert threshold · rollback action · review time · final decision record.
Практика
- Заповніть synthetic readout для двох arms і додайте uncertainty.
- Зробіть SRM, event-quality і guardrail checks перед висновком.
- Напишіть, що результат підтримує і чого не доводить.
- Оберіть одне рішення та створіть rollout/rollback contract.
- Додайте experiment у backlog разом із негативним learning.
Офіційні джерела
Закріпіть матеріал уроку
Три сценарні питання. Для зарахування уроку потрібно дати щонайменше дві правильні відповіді.