Как создать robots.txt и sitemap.xml для Word Press

Эта статья будет полезна сео оптимизаторам, которые ранее не работали с системой Word Press.

Итак, есть задача — установить файл Robots.txt. Зачем он нужен и прочую воду писать тут не буду, т.к. статья не об этом.

Создание файла Robots.txt для Word Press

1. Скачиваем сео плагин, я использую Yoast Seo. Левое меню — плагины — добавить новый. Вводим в строку поиска название плагина, нажимаем «Установить», затем «Активировать»

2. В левой менюшке находим надпись «SEO», в выпадающем меню выбираем Инструменты — Редактор файлов — Создать robots.txt.

3. Вместо того, что есть в окошке вставляем наш Robots.txt, приведу ниже.

Расширенный robots.txt для Word Press

User-agent: * # Для всех поисковых систем, кроме Яндекса и Гугла   
Disallow: /cgi-bin          
Disallow: /?                
Disallow: /wp-              
Disallow: *?s=              
Disallow: *&s=             
Disallow: /search/  
Disallow: /author/
Disallow: /users/      
Disallow: */trackback                     
Disallow: */feed            
Disallow: */rss             
Disallow: */embed          
Disallow: /xmlrpc.php      
Disallow: *utm=            
Disallow: *openstat=  
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне)
Disallow: *?replytocom
Allow: */uploads   

User-agent: GoogleBot # Для Гугла
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js           
Allow: /*/*.css           
Allow: /wp-*.png          
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex # Для Яндекса
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php
Clean-Param: utm_source&utm_medium&utm_campaign                          
Clean-Param: openstat

Sitemap: https://site.com/sitemap_index.xml # Карта сайта, меняем site.com на нужный адрес.

4. Копируем этот код и вставляем в нужное окошко (вместо того, что там сейчас), меняем site.com на адрес Вашего сайта и нажимаем «Сохранить».

Итак, мы создали прекрасный вариант файла роботс, который закрывает от индекса все ненужные директории. Теперь нужен файл sitemap.xml.

Файл sitemap.xml для Word Press

Итак, если все сделали правильно, то по адресу https://ВАШ_сайт/sitemap_index.xml будет открываться карта Вашего сайта которая разделена на подразделы: