Аналіз лог-файлів: що це і чому важливо

Access log сервера — файл, де кожен рядок = один HTTP-запит. Googlebot залишає там сліди кожного візиту: URL, час відповіді, статус-код.

Що шукати в логах

П’ять речей, що варто перевірити в першу чергу:

• 404 і 500 — Googlebot натикається на помилки;
• Повільні URL — час відповіді >2с = прогін бюджету;
• Параметризовані URL — якщо бот кроулить фільтри, пагінацію, сортування;
• Ігнорування важливих сторінок — категорії, картки не відвідуються тижнями;
• Частота візитів — що бот вважає важливим, а що обходить стороною.

Інструменти аналізу

Базовий набір:

• Google Search Console — статистика краулінгу (без деталей);
• GoAccess або Screaming Frog Log Analyzer — для розбору access.log;
• Python (pandas) — для великих логів і кастомних зрізів;
• grep/awk у bash — швидкий фільтр по IP Googlebot.

Типові паттерни проблем

Що ми знаходимо в логах найчастіше:

• бот витрачає 70%+ бюджету на URL з параметрами (`?sort=`, `?page=`);
• важливі категорії кроуляться раз на 2+ тижні — через низький PageRank;
• 404-шторм після міграції або видалення товарів;
• повільні API-відповіді на сторінках товарів гальмують індексацію.

Зв’язок з краулінговим бюджетом

Аналіз логів — основа оптимізації краулінгового бюджету. Без логів ви не знаєте, куди Google витрачає свої візити на вашому сайті. Детальніше про бюджет — у майбутньому матеріалі про краулінговий бюджет.

Наш підхід на практиці

Ми аналізуємо логи сервера, виявляємо паттерни нераціонального краулінгу і даємо конкретний план фіксів.

Часті питання