Вт. Окт 8th, 2024

Зачем нужно удалять лишние страницы и дубли

Страницы служебных категорий и другие страницы сайта, которые не нужно продвигать содержат информацию, не относящуюся к тематике сайта или вообще, пустые разделы. Это сильно ухудшает процесс индексации и замедляет продвижение сайта. Были примеры, когда после удаления таких директорий и лишних страниц сайт быстро «влетал» в топ. Давайте разбираться — как удалить страницу из поиска.

Яндекс Саппорт предлагает следующие инструкции:

Как удалить страницы из поиска (инструкция от Яндекса)

Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.

Шаг 1. Запретите индексирование страницы или каталога

Сделать это можно несколькими способами:Если страница удалена с сайта

Если страница не должна отображаться в поиске

Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.

Способ удаленияПоведение робота
Запрет в файле robots.txtРобот прекращает обращаться к странице в течение суток.
HTTP-статус с кодом 404, 403 или 410Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить.
Метатег robots с директивой noindex
Особенности способов удаления страниц

Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс.Вебмастера.

Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.

Удаленные из поисковой выдачи страницы могут отображаться в Яндекс.Вебмастере до следующего обхода сайта.

Рекомендуем просмотреть урок Как удалить страницу из поиска.

Шаг 2. Ускорьте удаление страницы

Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.

  • Удалить отдельные страницы сайта
  • Удалить группу страниц
  • Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:
    1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
    2. В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
    3. Нажмите кнопку Удалить.Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
  • Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:
    1. Перейдите на страницу Инструменты → Удаление страниц из поиска.
    2. Установите переключатель в положение По URL.
    3. В поле введите адрес страницы, например http://example.com/page.html.
    4. Нажмите кнопку Удалить.Вы можете указать до 500 адресов одного сайта в сутки.

Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом.

  1. В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
  2. Установите переключатель в положение По префиксу.
  3. Укажите префикс:Что удалитьПримерКаталог сайтаhttp://example.com/catalogue/Все страницы сайтаhttp://example.com/URL с параметрамиhttp://example.com/page?Можно отправить до 20 префиксов для одного сайта в сутки.
  4. Нажмите кнопку Удалить.

Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.

После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице Инструменты → Удаление страниц из поиска:

СтатусОписание
«В очереди на удаление»Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут.
«В процессе»Робот проверил страницу. В течение суток страница будет удалена из результатов поиска.
«Удалена»Страница удалена из результатов поиска.
«Отклонено»Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone.

Как вернуть страницу в результаты поиска

Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Удаление ненужной директории пошагово с картинками

При анализе вебмастера выяснилось, что Яндекс индексирует ненужную дирректорию settings

Индексация ненужной категории в Яндекс вебмастере (раздел Диагностика сайта «Примеры страниц, в которых отсутствует description» )

Переходим на наш сайт в редактирование файла robots.txt (у меня word press плагин yoast seo, у Вас может быть просто файловый менеджер или фтп доступ и редактирование файла)

Редактируем robots.txt
  • Добавляем директиву disallow и закрываем ненужную директорию от индекса, так же можно сделать прописав адрес целой страницы, если она не нужна в индексе и сохраняем изменения в файле robots.txt
  • Переходим в на страницу Яндекс Вебмастера Удаление страниц из поиска и следуем инструкциям сервиса

Массовое удаление url в Яндекс вебмастере

Чтобы удалить сразу и много ссылок нужно перейти сюда https://webmaster.yandex.ru/site/https:bga.center:443/tools/del-url/?tab=urls

Добавляем список url сюда

На этом все! Желаю Вам приятной работы, пишите свои вопросы в комментариях, постараюсь с радостью ответить!

от admin

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *