Полный аудит сайта
Полный аудит сайта

Проверка запрета индексирования

Проверьте, не закрыта ли страница от индексации через мета-теги robots или заголовок X-Robots-Tag

Бесплатно, быстро и без регистрации
Результаты проверки

Это проверка только индексирования. Чтобы проверить страницу по всем параметрам — воспользуйтесь полной проверкой страницы.

Вы также можете проверить весь сайт. Дубли title и description, orphan-страницы, битые ссылки между разделами и другие системные проблемы можно найти только при проверке всего сайта.

Если у вас нет SEO-специалиста — мы поможем исправить найденные ошибки.

Полная проверка страницы Проверить весь сайт Исправить ошибки

Зачем проверять индексирование

Мета-тег robots и HTTP-заголовок X-Robots-Tag управляют тем, как поисковые системы обрабатывают страницу. Неправильная настройка может полностью исключить страницу из поисковой выдачи.

Что проверяет этот инструмент

  • Мета-тег robots — наличие директив noindex, nofollow, none, noarchive
  • Мета-тег googlebot — отдельные правила для Google
  • Мета-тег yandex — отдельные правила для Яндекса
  • HTTP-заголовок X-Robots-Tag — серверный аналог мета-тега robots

Основные директивы

  • noindex — запрет индексации страницы
  • nofollow — запрет на переход по ссылкам со страницы
  • none — комбинация noindex и nofollow
  • noarchive — запрет сохранения кэшированной копии

Частые ошибки

  • noindex остался после тестирования — страница не попадает в поиск
  • CMS автоматически добавила noindex на важные страницы
  • X-Robots-Tag на сервере перекрывает мета-теги в HTML
  • Разные правила для Googlebot и Yandex без необходимости

Частые вопросы

Чем отличается robots.txt от мета-тега robots?
robots.txt управляет доступом поискового робота ко всему сайту или его разделам. Мета-тег robots управляет индексацией конкретной страницы. Страница может быть доступна для робота (не заблокирована в robots.txt), но при этом закрыта от индексации через noindex.
Что приоритетнее — мета-тег или X-Robots-Tag?
Если оба указаны и противоречат друг другу, поисковик обычно применяет более строгое правило. Например, если мета-тег разрешает индексацию, а X-Robots-Tag запрещает — страница не будет проиндексирована.
Как быстро noindex подействует?
После добавления noindex страница будет исключена из выдачи при следующем обходе роботом. Это может занять от нескольких дней до нескольких недель в зависимости от частоты обхода вашего сайта.

Другие проверки