Проверка robots.txt онлайн

Результаты проверки

Это проверка только robots.txt. Чтобы проверить страницу по всем параметрам — воспользуйтесь полной проверкой страницы.

Вы также можете проверить весь сайт. Дубли title и description, orphan-страницы, битые ссылки между разделами и другие системные проблемы можно найти только при проверке всего сайта.

Если у вас нет SEO-специалиста — мы поможем исправить найденные ошибки.

Полная проверка страницы Проверить весь сайт Исправить ошибки

Что такое robots.txt и зачем он нужен

Файл robots.txt — это текстовый файл в корне сайта, который указывает поисковым роботам, какие страницы можно сканировать, а какие нельзя. Яндекс и Google обращаются к этому файлу перед тем, как начать обход сайта.

Что проверяет этот инструмент

Наличие файла — доступен ли robots.txt по адресу /robots.txt
Блокировка сайта — не закрывает ли файл весь сайт от индексации (Disallow: /)
Ссылка на sitemap — содержит ли файл директиву Sitemap с адресом карты сайта

Как должен выглядеть robots.txt

Минимальный корректный файл robots.txt:

User-agent: *
Disallow:
Sitemap: https://example.com/sitemap.xml

Пустое значение Disallow означает, что сканирование разрешено для всех страниц. Директива Sitemap помогает поисковикам быстрее найти карту сайта.

Частые ошибки в robots.txt

Файл отсутствует — поисковик не получает инструкций
Disallow: / — весь сайт закрыт от индексации
Нет ссылки на sitemap — поисковику сложнее обнаружить все страницы
Закрыты важные разделы (CSS, JS, изображения) — поисковик не может корректно отобразить страницу

Частые вопросы

Обязателен ли robots.txt? ▶

Формально нет — сайт будет работать и без него. Но Яндекс.Вебмастер рекомендует его наличие. Без robots.txt поисковый робот будет сканировать все доступные страницы, включая служебные.

Robots.txt запрещает индексацию? ▶

Нет. Robots.txt запрещает только сканирование (краулинг). Страница, закрытая в robots.txt, всё равно может попасть в индекс, если на неё ссылаются другие сайты. Для запрета индексации используйте мета-тег noindex.

Как быстро Яндекс увидит изменения в robots.txt? ▶