Поисковая индексация обычно нужна сайту: робот посещает страницы, анализирует их содержимое, после чего URL может попасть в поисковую базу и показываться пользователям. Но часть страниц, файлов и технических элементов не должна участвовать в поиске. Более того, на этапе разработки иногда требуется временно закрыть весь ресурс. Для этого используют robots.txt, метатег robots, HTTP-заголовок X-Robots-Tag, авторизацию и настройки CMS. При этом важно различать запрет обхода и запрет индексации: это разные задачи.
Что значит закрыть сайт от индексации
Закрытие от индексации означает, что поисковой системе дают инструкцию не включать определенный контент в поисковую базу. Ограничение можно настроить для всего сайта, отдельного раздела, страницы, файла или части содержимого.
Здесь есть важный нюанс. Директива Disallow в robots.txt ограничивает обход URL роботом. Она не является универсальным способом удалить страницу из поисковой выдачи. Яндекс прямо указывает, что страницы, ограниченные в robots.txt, могут участвовать в поиске. Если задача состоит именно в запрете попадания страницы в поиск, используют noindex в HTML или X-Robots-Tag, причем робот должен иметь возможность получить страницу и увидеть эту директиву. Google придерживается того же принципа: если URL закрыт в robots.txt, Googlebot не увидит noindex.
Поэтому перед настройкой нужно определить цель. Нужно ли прекратить обход служебного раздела, исключить страницу из поиска, скрыть файл или сделать ресурс недоступным для посторонних? От ответа зависит способ.
Зачем закрывать сайт или отдельные страницы
Полностью закрытый от поисковиков сайт нужен в основном временно. Например, ресурс находится в разработке, переносится на новый домен или проходит масштабную переработку. Открытый тестовый сайт может быть найден роботами и попасть в индекс раньше, чем будет готова финальная версия.
Для постоянно работающего сайта чаще закрывают отдельные URL и технические области. Это могут быть страницы авторизации, корзины и оформления заказа, внутренний поиск, пользовательские кабинеты, служебные разделы, технические копии и дубли. Их появление в выдаче редко помогает посетителю найти нужную информацию.
Есть и более чувствительные случаи. Страницы с персональными данными, внутренними материалами и информацией для ограниченного круга пользователей вообще не стоит защищать только SEO-директивами. Для них нужен контроль доступа на уровне приложения или сервера.
Как закрыть весь сайт через robots.txt
Самый простой способ ограничить обход всего сайта – добавить в robots.txt правило для всех роботов:
User-agent: * Disallow: /
Файл robots.txt размещают в корне сайта и проверяют по адресу https://site.ru/robots.txt. В нем задают правила для роботов, а директива User-agent определяет, кому они предназначены. Символ «*» означает, что правило применяется ко всем роботам, для которых нет более специфичного правила.
Такой вариант подходит, когда нужно ограничить именно обход всего ресурса. Например, это может быть временная мера на этапе разработки. После запуска сайта правило необходимо удалить или изменить, иначе страницы будут недоступны для нормального поискового обхода.
Robots.txt не следует воспринимать как механизм защиты информации. Файл общедоступен, а директивы являются инструкциями для роботов. Если материал должен быть недоступен посетителям без авторизации, используйте пароль, проверку прав или серверные ограничения.
Как закрыть отдельный раздел или страницу через robots.txt
Чтобы ограничить обход раздела, в robots.txt указывают путь:
User-agent: * Disallow: /catalog/
Для отдельной страницы или группы страниц (включая конкретные форматы файлов) принцип тот же:
User-agent: * Disallow: /catalog/tovar.html Disallow: /bitrix/*.pdf
Правило распространяется на URL, соответствующие указанному пути. Поэтому перед публикацией robots.txt нужно проверить, какие адреса реально попадают под маску.
Через этот файл можно ограничивать обход отдельных каталогов и URL с параметрами. Однако сложные правила лучше тестировать в инструментах для вебмастеров: ошибка в синтаксисе или слишком широкая маска способна закрыть от робота полезные страницы.
Как закрыть страницу с помощью noindex
Если страница доступна роботу, но ее не нужно включать в поисковую выдачу, используют метатег robots:
<meta name="robots" content="noindex">
Его размещают внутри <head> страницы. Директива noindex сообщает поисковой системе, что текст страницы не следует включать в поисковую базу.
При необходимости запрет можно дополнить nofollow:
<meta name="robots" content="noindex, nofollow">
Здесь задачи разные: noindex касается индексирования страницы, а nofollow сообщает роботу, что по ссылкам на ней не нужно переходить при обходе. Если нужно сохранить переход по ссылкам, можно использовать «noindex, follow».
Яндекс поддерживает эти директивы и позволяет задавать их как через метатег robots, так и через HTTP-заголовок. Для конкретного робота можно использовать отдельное обращение, например, «googlebot», если такая настройка действительно нужна.
Как закрыть через HTTP-заголовок
Для HTML-страницы метатег подходит не всегда. Например, нужно исключить из поиска PDF, изображение или другой файл, который не содержит HTML-кода с блоком <head>. В такой ситуации можно применить HTTP-заголовок:
X-Robots-Tag: noindex
Заголовок отправляется сервером вместе с ответом. Google рекомендует этот вариант именно для ресурсов, где нельзя разместить HTML-метатег, включая PDF, изображения и видео.
Это удобный способ для массовой настройки. Например, сервер может отправлять «X-Robots-Tag: noindex» для файлов определенного типа или каталога. Конкретная конфигурация зависит от веб-сервера и архитектуры сайта, поэтому серверные правила лучше вносить специалисту, который отвечает за инфраструктуру.
Как закрыть часть страницы от индексации
Иногда страницу целиком исключать из поиска не нужно. Например, полезный материал соседствует с техническим фрагментом, который не должен участвовать в индексации и показываться в поисковой выдаче. Для Яндекса в этом случае можно использовать поддерживаемый элемент «noindex»:
<noindex>Текст, который не должен индексироваться.</noindex>
Для Google задача может решаться и иначе: например, атрибут «data-nosnippet» позволяет ограничить показ конкретного содержимого в сниппете. Это отличается от noindex: сама страница при этом может оставаться в поиске.
Как закрыть сайт на уровне сервера
Если ресурс должен быть недоступен для поисковых роботов и обычных пользователей, SEO-директив недостаточно. Для тестовых и закрытых проектов используют авторизацию или серверные ограничения. Робот не получит содержимое без прохождения проверки доступа.
На Apache ограничения можно настраивать в конфигурации сервера или `.htaccess`, а на Nginx – в конфигурации Nginx. Универсальный код здесь приводить рискованно: правила зависят от веб-сервера и его настроек. Для приватных данных такой способ надежнее robots.txt, который сам по себе не является средством защиты информации.
крутые проекты вместе
Укажите в заявке ваше имя и номер телефона.
Наши менеджеры свяжутся с вами, ответят на все вопросы и подготовят коммерческое
предложение!
Как проверить, что сайт закрыт от индексации
После настройки недостаточно открыть robots.txt и убедиться, что в нем есть Disallow. Нужно проверить результат с точки зрения поискового робота.
Для Яндекса можно использовать инструмент «Анализ индексации страницы» в Вебмастере. Он показывает, какие ограничения обнаружены на URL, включая правила robots.txt и метатег noindex.
В Google Search Console для этого используют проверку URL и отчет об индексировании страниц. Если noindex установлен недавно, поисковой системе потребуется повторно обойти URL, чтобы увидеть изменение.
Проверить наличие уже проиндексированных страниц можно и через поисковый запрос с оператором «site:»:
site:site.ru
Для конкретного URL можно дополнительно искать точный адрес или часть адреса. Такой способ полезен для быстрой проверки, но окончательные выводы лучше делать по данным инструментов вебмастера.
Что делать, если закрытая страница все равно попадает в поиск
Первая причина – перепутаны robots.txt и noindex. Если URL закрыт директивой Disallow, робот может не получить страницу и не увидеть установленный на ней noindex. Поэтому для удаления URL из поисковой базы нельзя механически ставить оба запрета одновременно.
Вторая причина – поисковик еще не успел повторно обойти страницу после изменения. В этом случае проверяют URL в панели вебмастера и при необходимости отправляют его на переобход.
Что выбрать: robots.txt, noindex или закрытие доступа
Выбор зависит от задачи:
| Задача | Подход |
|---|---|
| Ограничить обход раздела или группы URL | robots.txt |
| Исключить доступную HTML-страницу из поиска | noindex |
| Исключить PDF или другой не-HTML-файл | robots.txt, X-Robots-Tag: noindex |
| Сделать тестовый сайт недоступным для посторонних | Авторизация или серверное ограничение |
| Скрыть отдельный фрагмент от индексации | noindex в поддерживаемой разметке |
| Ограничить переход по отдельной ссылке | nofollow |
Главное правило здесь простое: сначала определить, что именно требуется получить. Запрет обхода, запрет индексации и ограничение доступа решают разные задачи.
Какие ошибки чаще всего допускают при закрытии сайта
Перед публикацией изменений проверьте несколько вещей:
- robots.txt действительно находится в корне нужного домена;
- запрет «Disallow: /» не остался после запуска сайта;
- полезные страницы не попали под слишком широкое правило;
- noindex размещен на странице, которую робот может получить;
- для PDF и других файлов используется подходящий HTTP-заголовок;
- служебные и пользовательские данные дополнительно защищены контролем доступа;
- после изменений статус URL проверен в Яндекс Вебмастере и Google Search Console.
Отдельно стоит проверить sitemap.xml. В карту сайта обычно включают URL, которые должны находиться в поиске. Служебные страницы и исключаемые адреса туда добавлять нет смысла.
Закрытие от индексации – технический инструмент, который нужно применять адресно. Для разработки и тестирования чаще подходит ограничение доступа, для управления обходом – robots.txt, для исключения доступной страницы или файла из поисковой базы – noindex или X-Robots-Tag. После любой настройки важно проверить результат: именно фактическое состояние URL, а не наличие одной строки в файле, показывает, сработало ли правило.
Понравилась статья?
Поделиться
Комментарии