По-умолчанию, если поисковые роботы обнаружили ваш сайт в интернете, то они будут проверять всё содержимое. Со временем, может возникнуть ситуация, когда нужно запретить индексацию для определенной части текста или ссылки. Для скрытия сайта или его частей от индексации существует несколько способов...
Запрет индексации через мета-тег
Если требуется ограничить доступ для поисковых роботов к определенной странице, то применяют meta name="robots". Полная запись выглядит следующим образом:
<meta name=“robots” content=“noindex,nofollow”>
Этот мета-тег указывается между тегами <head> </head> и обозначает, что страница не индексируется и не регистрируется поисковыми системами. Кроме значений noindex и nofollow, есть и другие:
- index - разрешение индексации страницы
- follow - страница может регистрироваться поисковиками
- none - альтернатива запись noindex, nofollow
- all - альтернатива записи index, follow
Указанные значения не должны повторяться и противоречить друг другу.
Запрет индексации файлов и каталогов через файл robots.txt
Файл robots.txt находится в корне вашего сайта, описанные в нем команды влияют на поведение поисковых роботов при проверке вашего интернет-реурса. Чтобы запретить индексацию определенного каталога применяют следующую команду:
Disallow: /images/
Подробнее об этом методе читайте здесь.
Запрет индексации текста с помощью специальных тегов
В случае, когда нужно запретить просмотр роботами текста, его части или одной ссылки, применяют тег <noindex>. Запись заключенная в теги имеет следующий вид:
<noindex>Текст, который не нужно индексировать </noindex>
Однако тег noindex запрещает индексацию только для роботов Яндекса и Рамблера, поэтому для скрытия от других роботов применяют атрибут rel="nofollow". Этот атрибут указывается, как правило для тега a, запись имеет вид:
<a rel=“nofollow” href=“http://mysite/new.html”>Новая страница</a>
Подобная запись запрещает поисковым роботам Google, Yahoo и Bing индексировать указанную ссылку.
