Как запретить роботу индексировать определенную страницу?

Чтобы запретить роботу поисковых систем индексировать определенную вебстраничку, то нужно между тегами head добавить следующий метатег:

<meta name=”robots” content=”noindex, nofollow” />

Мета тег robots используется для управления доступностью веб страницы для поисковых сервисов. Вы можете разрешить или запретить индексирование страницы, следование по ссылкам и архивацию.
Данная конструкция это простой способ предотвратить индексацию дублирующего содержания, например, печатной версии страницы. Так же мета тег может быть полезен на незавершенных страницах или для скрытия конфиденциальной информации от поисковых сервисов.