В процессе развития веб-сайта с него периодически приходится удалять страницы. Страницы сайта постоянно удаляются владельцем. Это происходит, когда они становятся неактуальными. Тем не менее, «призрак» удаленной с сайта страницы может остаться в индексе поисковых систем. В результате Гугл и Яндекс накапливают в своем архиве несуществующие страницы, которые не приносят трафик и плохо влияют на поведенческие факторы по сайту: показатель отказов, глубину просмотров, среднее время пользователя на сайте и т. д. Это приводит к понижению позиций сайта в поиске. В статье мы рассмотрим способы удаления страниц из поисковиков и выясним, зачем нужно проделывать эту работу.
Казалось бы, лежит себе и лежит, никого не трогает. На самом деле, есть несколько веских причин почистить сайт и скрыть эти страницы от Гугла и Яндекса:
В интернет-магазинах часто меняется ассортимент товаров: добавляются новые модели и снимаются с продажи старые, что-то и вовсе могут перестать производить. Такие устаревшие страницы рекомендуется удалить и скрыть от поисковых роботов.
Старые статьи далеко не всегда стоит удалять и скрывать от поисковых роботов. Лучшее решение — отредактировать материал, добавить актуальную информацию. Но бывает так, что тема статьи безвозвратно устарела, описываемые в ней продукты уже не существуют, ссылки не работают. Если статью уже никак нельзя исправить, то ее лучше удалить и скрыть от индекса Гугла и Яндекса.
В некоторых отраслях контент напрямую зависит от законодательных требований. Одна из них — медицина. Иногда материал приходится срочно удалять, чтобы не получить штраф за несоблюдение норм. Например, сейчас в любой медицинской статье требуется оставлять напоминание, что лучше не полагаться на опубликованный материал и не заниматься самолечением, а обратиться к специалисту.
Страницы необязательно безвозвратно удалять. Можно скрыть их от Гугла и Яндекса, оставив доступными для посетителей сайта. Полное удаление страниц с сайта и из поисковиков тоже легко осуществимо, если этого требуют ваши цели и задачи.
Этот тег закрывает нужные страницы от поисковых роботов. Тег добавляется в HTML-код страницы и выглядит так: «<meta name="robots" content="noindex">». Если вы захотите вернуть страницу в поисковый индекс, просто уберите этот тег. Будьте готовы, что страница может потерять свои позиции в поисковой выдаче после этой операции.
Процесс закрытия страниц от Яндекса ускоряется с помощью инструмента «Удалить URL» в Яндекс.Вебмастере. Перед этим нужно добавить тег noindex к нужной странице и прописать директиву disallow в файле robots.txt. Далее добавляем устаревшие страницы в строку Яндекс.Вебмастера, и Яндекс удалит их из своего архива. В день возможно удалить до 500 страниц.
У Гугла есть свой инструмент — «Инструмент удаления URL». Работает по тому же принципу, вбейте URL-адрес, и он удалит страницу из своей системы.
Альтернативный вариант удалить устаревшие страницы — поставить перенаправление на другие страницы сайта. Сделайте редиректы на актуальные публикации или отправьте клиента на главную страницу сайта.