Эта статья будет полезна сео оптимизаторам, которые ранее не работали с системой Word Press.
Итак, есть задача — установить файл Robots.txt. Зачем он нужен и прочую воду писать тут не буду, т.к. статья не об этом.
Содержание
Создание файла Robots.txt для Word Press
- Скачиваем сео плагин, я использую Yoast Seo. Левое меню — плагины — добавить новый. Вводим в строку поиска название плагина, нажимаем «Установить», затем «Активировать»
![](https://youbigmir.ru/wp-content/uploads/2021/04/image-8-1024x250.png)
2. В левой менюшке находим надпись «SEO», в выпадающем меню выбираем Инструменты — Редактор файлов — Создать robots.txt.
3. Вместо того, что есть в окошке вставляем наш Robots.txt, приведу ниже.
Расширенный robots.txt для Word Press
User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне)
Disallow: *?replytocom
Allow: */uploads
User-agent: GoogleBot # Для Гугла
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
User-agent: Yandex # Для Яндекса
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign
Clean-Param: openstat
Sitemap: https://site.com/sitemap_index.xml # Карта сайта, меняем site.com на нужный адрес.
4. Копируем этот код и вставляем в нужное окошко (вместо того, что там сейчас), меняем site.com на адрес Вашего сайта и нажимаем «Сохранить».
![](https://youbigmir.ru/wp-content/uploads/2021/04/image-9.png)
Итак, мы создали прекрасный вариант файла роботс, который закрывает от индекса все ненужные директории. Теперь нужен файл sitemap.xml.
Файл sitemap.xml для Word Press
Итак, если все сделали правильно, то по адресу https://ВАШ_сайт/sitemap_index.xml будет открываться карта Вашего сайта которая разделена на подразделы:
![](https://youbigmir.ru/wp-content/uploads/2021/04/image-11.png)
[…] Важные файлы для настройки правил для индексации страниц. Как их добавить на сайт на примере вордпресс — расписано тут […]
[…] Sitemep.xml и Robots.txt […]
[…] Укажите директиву Disallow в файле robots.txt. […]