Джон Мюллер опубликовал новое видео в рамках инициативы Ask Googlebot, раскрывающей особенности и тонкости работы поисковой системы Google. Новый видеоролик рассказывает об индексации сайтах и способах предотвратить её для тех или иных нужд, чтобы страницы не появлялись в поисковой выдаче и были доступны исключительно по прямой ссылке. По словам Мюллера существует три способа сделать это - при помощи пароля, заблокировав сканирование или запретив индексирование метатегами.
Мюллер отметим, что блокировка контента от бота Google не является нарушением до тех пор, пока это применяется и для пользователей в том числе. Однако если посетители сайта видят контент, который при этом не способен распознать робот, то это может привести за собой санкции и пессимизацию.
Защита паролем является первым и наиболее простым способом защитить сайт от нежелательных пользователей, включая ботов поисковых систем. Полностью блокируя контент от тех, кто не знает пароля, вебмастер защищает страницу от лишних посещений и препятствует её попаданию в поисковую выборку. Чаще всего таким подходом пользуются для защиты сайта, который находится в разработке - так на “строительную площадку” не смогут проникнуть юзеры и злоумышленники, которые могут воспользоваться уязвимостями и недоработками.
Вторым способом блокировки является запрет сканирования, который вводится в файл robots.txt. Он применяется для скрытых страниц, которые должны быть доступны только по прямой ссылке, но не через поисковики, например для акций, конкурсов, игр и прочего. Впрочем Мюллер рассказал, что запрет, прописанный в текстовом файле, не является панацеей - редко, но роботы иногда могут индексировать сайт, даже если у них нет доступа к контенту и подать рекламу в интернете бесплатно не выходит.
Третий способ предусматривает полную блокировку индексации при помощи метатега noindex на конкретные страницы. Пользователи будут её видеть, но поисковые боты, натолкнувшись на индекс, станут избегать конкретных ссылок.
Подводя итог, Мюллер посоветовал воспользоваться первым способом запрета индексации через ввод пароля. Настроить его сможет любой вебмастер, проверить работоспособность также не составляет труда, и защита является абсолютной, пока пароль находится в надежных руках. Остальные способы позволяют блокировать контент, но не весь сайт, и применяются куда реже.
Поделитесь с друзьями:
Просмотров: 521 Новости seo и маркетинга
Автор: Александр Мишустин, Vertex seo
Комментарии