Перевірка robots.txt

Завантаження та аналіз robots.txt: правила індексації, sitemap, попередження синтаксису й перевірка шляхів.

URL сайтуТестовий шлях (опційно)

← Назад до інструментів

Що перевіряє robots.txt checker

Перевірки

доступність robots.txt і наявність sitemap directive
правила Allow/Disallow для Googlebot, Bingbot та wildcard User-agent
чи не блокується конкретний шлях через неправильне групування user-agent

Приклад результату

Для /tools/favicon/ інструмент може показати, що Googlebot дозволений, YandexBot заблокований, а sitemap знайдено в robots.txt.

Типові помилки

Disallow: / випадково застосовується до User-agent: *
закрито /api або /_next без Allow для потрібних статичних файлів
robots.txt блокує важливу сторінку, яка є в sitemap

Кому корисно

SEO-спеціалістам
розробникам після зміни robots.txt
власникам сайтів після міграції

FAQ по robots.txt

Чи robots.txt гарантує деіндексацію?

Ні. Robots.txt керує скануванням. Для деіндексації сторінки краще використовувати noindex на доступній сторінці.

Чому різні боти бачать різні правила?

Robots.txt має групи User-agent. Правило для Yandex не повинно автоматично застосовуватись до Googlebot.

Пов'язані інструменти

Пов'язані послуги BAZTER PRO

Інструмент «перевірка robots.txt» часто використовують разом із розробкою, підтримкою або інтеграціями сайту. Перейдіть на профільну сторінку послуги:

Пов'язана експертиза BAZTER PRO

Інструмент «перевірка robots.txt» доповнює напрями експертизи з веброзробки, SEO, безпеки та інфраструктури:

Сторінка експертизи →Усі інструменти →