Содержание
Зачем нужно удалять лишние страницы и дубли
Страницы служебных категорий и другие страницы сайта, которые не нужно продвигать содержат информацию, не относящуюся к тематике сайта или вообще, пустые разделы. Это сильно ухудшает процесс индексации и замедляет продвижение сайта. Были примеры, когда после удаления таких директорий и лишних страниц сайт быстро «влетал» в топ. Давайте разбираться — как удалить страницу из поиска.
Яндекс Саппорт предлагает следующие инструкции:
Как удалить страницы из поиска (инструкция от Яндекса)
Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.
Шаг 1. Запретите индексирование страницы или каталога
Сделать это можно несколькими способами:Если страница удалена с сайта
- Укажите директиву Disallow в файле robots.txt.
- Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone. Для удобства пользователей рекомендуем установить редирект с HTTP-кодом 301.
Если страница не должна отображаться в поиске
- Пропишите директиву Disallow в файле robots.txt.
- Укажите на странице метатег robots с директивой noindex.
Для проверки корректности указаний в файле robots.txt используйте инструмент Анализ robots.txt.Примечание. При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.
| Способ удаления | Поведение робота |
|---|---|
| Запрет в файле robots.txt | Робот прекращает обращаться к странице в течение суток. |
| HTTP-статус с кодом 404, 403 или 410 | Робот продолжает посещать страницу в течение некоторого времени, чтобы убедиться, что ее статус не изменился. Если страница останется недоступной, робот прекратит ее обходить. |
| Метатег robots с директивой noindex |
Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс.Вебмастера.
Удаление из результатов поиска страниц, удаленных с сайта из-за нарушения авторских прав, не является приоритетным для робота. Чтобы убрать страницу из поиска, используйте описанные в данном разделе способы.
Удаленные из поисковой выдачи страницы могут отображаться в Яндекс.Вебмастере до следующего обхода сайта.
Рекомендуем просмотреть урок Как удалить страницу из поиска.
Шаг 2. Ускорьте удаление страницы
Чтобы ускорить удаление страницы из поиска, сообщите Яндексу о необходимости ее убрать, не дожидаясь планового обхода робота.
- Удалить отдельные страницы сайта
- Удалить группу страниц
- Если ваш сайт не добавлен или не подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
- В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
- Нажмите кнопку Удалить.Чтобы убрать из поиска несколько страниц, последовательно удалите данным образом каждую страницу.
- Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом:
- Перейдите на страницу Инструменты → Удаление страниц из поиска.
- Установите переключатель в положение По URL.
- В поле введите адрес страницы, например http://example.com/page.html.
- Нажмите кнопку Удалить.Вы можете указать до 500 адресов одного сайта в сутки.
Вы можете удалить все страницы сайта, отдельные каталоги или страницы с заданными параметрами в URL, если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права на управление сайтом.
- В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
- Установите переключатель в положение По префиксу.
- Укажите префикс:Что удалитьПримерКаталог сайтаhttp://example.com/catalogue/Все страницы сайтаhttp://example.com/URL с параметрамиhttp://example.com/page?Можно отправить до 20 префиксов для одного сайта в сутки.
- Нажмите кнопку Удалить.
Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если для этих страниц прописана директива Disallow в файле robots.txt.
После того, как URL отправлен в Яндекс.Вебмастер, вы можете отслеживать изменение статуса на странице Инструменты → Удаление страниц из поиска:
| Статус | Описание |
|---|---|
| «В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы. Проверка может занимать несколько минут. |
| «В процессе» | Робот проверил страницу. В течение суток страница будет удалена из результатов поиска. |
| «Удалена» | Страница удалена из результатов поиска. |
| «Отклонено» | Отсутствует запрет на индексирование или при обращении робота к адресу страницы ответ сервера отличается от 404 Not Found, 403 Forbidden или 410 Gone. |
Как вернуть страницу в результаты поиска
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
Удаление ненужной директории пошагово с картинками
При анализе вебмастера выяснилось, что Яндекс индексирует ненужную дирректорию settings
Переходим на наш сайт в редактирование файла robots.txt (у меня word press плагин yoast seo, у Вас может быть просто файловый менеджер или фтп доступ и редактирование файла)
- Добавляем директиву disallow и закрываем ненужную директорию от индекса, так же можно сделать прописав адрес целой страницы, если она не нужна в индексе и сохраняем изменения в файле robots.txt
- Переходим в на страницу Яндекс Вебмастера Удаление страниц из поиска и следуем инструкциям сервиса
Массовое удаление url в Яндекс вебмастере
Чтобы удалить сразу и много ссылок нужно перейти сюда https://webmaster.yandex.ru/site/https:bga.center:443/tools/del-url/?tab=urls
На этом все! Желаю Вам приятной работы, пишите свои вопросы в комментариях, постараюсь с радостью ответить!