Модуль 4 · Урок 12
Як працює пошук: crawl, index, serve
SEO починається з правильної моделі системи. URL має бути знайдений, доступний для crawling, придатний до rendering та indexing, а потім — релевантним і корисним для конкретного запиту. Жоден етап не гарантує наступного.
Три етапи — різні питання
Google прямо зазначає: навіть дотримання Search Essentials не гарантує crawling, indexing або показ. Тому професійний діагноз називає етап і доказ, а не робить висновок «Google не любить сайт».
Як URL стає відомим
Discovery відбувається через посилання з уже відомих сторінок, sitemap та інші сигнали. Sitemap допомагає повідомити про бажані canonical URL, але не є наказом про індексацію. Сторінка без внутрішнього посилання може залишатися orphan URL навіть тоді, коли існує в CMS.
| Сигнал | Що перевіряємо | Типова помилка |
|---|---|---|
| Internal link | Справжній <a href>, доступний шлях від hub | Навігація лише через JS handler без crawlable href |
| Sitemap | 200 OK, canonical indexable URLs, актуальний lastmod | 404, redirects, noindex або випадкові parameter URLs |
| Server response | 200 для контенту, стабільність, відсутність auth wall | Soft 404, 5xx, login або нескінченний redirect |
Rendering — частина crawling pipeline
Googlebot використовує сучасний Chromium і запускає JavaScript, але rendering потребує ресурсів і часу. Критичний текст, посилання та metadata мають бути доступні у фінальному rendered HTML; заблокований JS/CSS, помилка API або контент лише після user action можуть змінити те, що бачить crawler.
View source недостатньо — screenshot теж недостатньо
Порівнюйте raw response, rendered DOM, HTTP status і URL Inspection. Людина може бачити сторінку, яку робот не отримує, або навпаки — красивий shell без основного змісту.
Indexing і canonical cluster
Після crawling Google аналізує текст, зображення, ключові теги й атрибути та групує схожі сторінки. Canonical — репрезентативний URL кластера; rel=canonical є сильним сигналом, але не абсолютною директивою. Якщо canonical, redirect, sitemap та internal links суперечать одне одному, система може обрати інший URL.
Serving: релевантність не купується
Проіндексована сторінка не зобов’язана з’являтися за кожним бажаним запитом. Serving враховує значення запиту, релевантність і якість контенту, usability та контекст користувача. Платіж Google не підвищує органічну позицію, а Ads не є shortcut до crawling чи ranking.
URL known? → fetch allowed? → HTTP/render correct? → indexable? → canonical consistent? → indexed? → relevant to query? → useful and competitive? → measured with correct limits?
Практика уроку
- Виберіть один власний або дозволений публічний URL.
- Зафіксуйте шлях discovery, HTTP status, robots, rendered content, canonical і sitemap presence.
- У Search Console, якщо маєте доступ, порівняйте declared та Google-selected canonical.
- Позначте кожен факт як crawl, render, index або serve evidence.
- Запишіть найменшу наступну перевірку, не змінюючи production без бекапу.
Офіційні джерела
Закріпіть матеріал уроку
Три сценарні питання. Для зарахування уроку потрібно дати щонайменше дві правильні відповіді.