[Инструкция] Как попросить Google не индексировать страницу? | Блог ЛБК
открыть доступ

[Инструкция] Как попросить
Google не индексировать страницу?

24.08.2016 | Оптимизация сайта

Индексация как можно большего количества страниц – заманчивая перспектива для маркетологов, которые хотят вывести свой сайт в топ поиска.

Хотя публикация качественных, оригинальных статей, соответствующих поисковым запросам вашей ниши действительно положительно влияет на ранжирование сайта в списке поисковика, иногда бывает полезно, чтобы некоторые страницы вообще не считывались поисковым роботом.

… С чего это?!

Если вам интересно, потратьте несколько минут и почитайте нашу статью о том, зачем и как сделать определенные страницы сайта невидимыми для поискового робота и, соответственно, исключить их попадание на страницу результатов поиска.

Почему бывает полезно не индексировать определенные страницы

Есть ряд причин, по которым это может быть полезно. Причем существует возможность исключения не только всей страницы целиком, но и ее отдельной части.

Для маркетологов основной причиной становится желание не допустить к поиску дублированный контент (тот случай, когда поисковиком индексируются две и более страницы с одинаковым наполнением). Есть несколько видов дублированного контента, одним из которых являются копии страниц. Простой пример – кому — то понравилась ваша статья, и он скопировал ее на свой сайт, оставив ссылку на источник.  Получился дублированный, неоригинальный контент.

Другой вид дублированного контента —  “страницы благодарности” (те самые страницы, на которые попадают конвертированные посетители с лендинга). На этих страницах люди получают доступ к ресурсам, которые обещал предоставить лендинг взамен на совершение целевого действия. Это может быть бесплатная электронная книга в формате PDF, запись на вебинар и тому подобное.

Вот так выглядит страница благодарности сайта Hubspot, предоставляющая доступ к электронной книге по SEO:

1

Так вот, пользователи должны попадать на страницы благодарности после того, как они заполнили контактные формы на лендинге (оставили свое имя и email), а не потому, что обнаружили ее в результате поиска и перешли по ссылке.

Почему так? Ответ очевиден: найдя в поиске не скрытую от робота страницу благодарности, на которой предоставляются бесплатные материалы, пользователи получают к ним прямой доступ, при этом им не придется оставлять свои контактные данные в специальной форме на лендинге. То есть вся эта конструкция, направленная на сбор информации о потенциальных клиентах, не будет работать.

Вывод: Если ваши страницы благодарности можно легко найти при помощи поисковой системы, вы рискуете упустить определенный процент потенциальных покупателей, которые будут скачивать ваши бесплатные материалы минуя лендинг, на котором они, по идее, должны оставить свои контактные данные.

Еще хуже обнаружить, что страницы вашего сайта, ранжирующиеся роботом лучше всего – это и есть страницы благодарности. Никому такого не пожелаем, ведь это значит, что вы упускаете огромное количество потенциальных покупателей. А всего-то нужно было исключить эти страницы из поиска.

Итак, как же деиндексировать нужные нам страницы? Существует два способа.

2 способа скрыть страницы сайта от поисковых систем

Способ #1: Добавление файла Robots.txt на сайт

[Когда использовать?]

Этот способ дает больше контроля над страницей, которую вы убираете из поиска, но для него необходимы некоторые технические ресурсы, а так же знания и навыки.

Один из вариантов исключения контента из ПС (поисковой системы) – добавление файла robots.txt. Преимущество этого метода в лучшем контроле над страницей, которую вы желаете скрыть от поисковика.  Что в итоге? Вы можете эффективно деиндексировать различный контент.

При помощи файла robots.txt можно скрыть от поиска сайт целиком, отдельную страницу и даже конкретный файл или изображение. При этом данный метод позволяет оставить на странице рекламу Google AdSense, если она имеется.

Проблема в том, что для применения этого способа вам нужны соответствующие знания и навыки. Вы можете научиться созданию файла robots.txt, прочитав статью от Google Webmaster Tools.

Если вам ни к чему все вышеперечисленные преимущества использования файла robots.txt, попробуйте второй способ.

Способ #2: Использование мета — тегов «noindex» и «nofollow»

[Когда использовать?]

Данный способ проще, но позволяет скрыть от поиска веб-страницу целиком и/или ссылку на целую веб-страницу.

Использование мета-тегов – более простой, и эффективный способ. На деле вам просто нужно нажать ctrl-c/ctrl-v в нужных местах.

Теги, которые позволяют вам это сделать называются «noindex» и «nofollow». До того, как мы перейдем к сути дела, давайте сначала разберемся, в чем разница двух данных тегов. На самом деле это две разные команды, но они могут использоваться как отдельно, так и вместе друг с другом.

Что представляет из себя тег «noindex»?

При добавлении на страницу мета-тега  «noindex» , он говорит поисковому роботу, что страница может быть считана, но не может быть занесена в поисковую базу данных.

Поэтому любая страница, на которой применен мета — тег «noindex» не попадает в базы данных поисковых систем и потому не показывается в результатах поисковых запросов.

Что представляет из себя тег «nofollow»?

Когда вы используете мета — тег «nofollow», он запрещает поисковым роботам считывать со страницы ссылки. Это значит, что такая ссылка не передает вес (не способствует ранжированию) с вашего сайта на сайт по ссылке.

Поэтому ссылки на всех страницах с тегом «nofollow» с будут игнорироваться поисковыми системами.

Когда использовать «noindex» и «nofollow» вместе, а когда по отдельности?

Как уже было сказано, вы можете использовать команду «noindex» отдельно, или вместе с командой «nofollow». Тег «nofollow» так же может быть использован отдельно.

Когда вставлять только «noindex» ?

Когда вы не хотите, чтобы поисковик индексировал вашу страницу, но хотите чтобы были проиндексированы ссылки на ней.

Хороший пример – платные лендинги. Страница, за просмотр которой пользователи, по идее, должны платить, точно не должна отображаться в результатах поисковых запросов. Но вы заинтересованы, чтобы роботы считывали ссылки на таких лендингах, тем самым повышая авторитет ранжирования страниц, на которые вы ссылаетесь.

Когда использовать только «nofollow» ?

Когда вам требуется индексация самой страницы, но не нужна индексация ссылок, расположенных на ней.

Примеров существует огромное множество. Чаще возникает ситуация, когда вы, определившись, для каких целей вам нужна конкретная страница, задаетесь вопросом, использовать только тег «noindex», или вместе с «nofollow».

Когда использовать оба тега?

Когда вам не требуется индексация как страницы, так и ссылок на ней.

Помните наши страницы благодарности? В случае с ними вам, по понятным причинам, не требуется индексация самой страницы, плюс нет смысла индексировать какие-либо ссылки на ней.

Как добавлять мета — теги «noindex» и «nofollow»

Шаг 1: Скопируйте один из приведенных ниже тегов.

Для «noindex»:

<META NAME=»robots» CONTENT=»noindex»>

Для «nofollow»:

<META NAME=»robots» CONTENT=»nofollow»>

Для «noindex» и «nofollow» вместе:

<META NAME=»robots» CONTENT=»noindex,nofollow»>

Шаг 2: Вставьте скопированный тег в раздел <head> , иными словами в голову вашей HTML страницы.

Вот подробная инструкция о том, как это сделать:

Сначала откройте код той страницы, которую вы пытаетесь скрыть от поисковиков. Затем, вставьте весь тег целиком в новой строке в приделах  контейнера, который так же называется головой документа. Ориентируйтесь на скриншоты, приведенные ниже.

Тег <head> означает начало головы документа. В голове располагается различная служебная информация которая визуально не отображается на странице:

2

Мета-тег «noindex» и «nofollow» прописан в голове страницы:

3

А тег </head> означает окончание головы документа:

4

 

Вот и все. Поисковые роботы, считав ваш тег, оставят страницу без индексации и перейдут к сканированию других страниц.

Поздравляем!

Легким движением руки вы только что стерли вашу страницу из результатов поиска. Теперь можно не волноваться, что потенциальные покупатели пройдут по нужному пути – от лендинга до страницы благодарности.

Теперь нужно понять, что результат не придет мгновенно. Перемены наступят только тогда, когда поисковая система считает страницу. Обычно это занимает несколько недель, в зависимости от того, как часто на вашем сайте появляются новые страницы. Чем чаще вы публикуете новый контент, тем чаще поисковые системы будут сканировать ваш сайт. Лучшим инструментом по отслеживанию посещений вашего сайта поисковым роботом Google является Google Webmaster Tools.

В качестве вывода.

Если вы заметили, что ваша страница продолжает появляться в результатах поиска даже после того, как вы применили тег «noindex», не волнуйтесь. Так скорее всего происходит потому, что поисковая система еще не пересканировала вашу страницу после добавления тега. Вы можете попросить Google просканировать вашу страницу, используя вот этот инструмент.

Так же имейте в виду, что реакции различных ПС на мета-теги могут отличатся от реакции Google, поэтому все же есть вероятность, что в другом поисковике страница будет отображена. Но для Google все работает на ура.

Надеемся, что теперь вы будете крепко спать по ночам, зная, что в поисковых системах отображаются только те страницы, которые нужны.

По материалам Hubspot.com

  • Скачай 500+ готовых заголовков для блога, лендингов, постов. И авто-конструктор для составления убойных заголовков по методу 4U.

    Скачай 500+ готовых заголовков для блога, лендингов, постов. И авто-конструктор для составления убойных заголовков по методу 4U.

    Введите свой E-mail