Здравствуйте уважаемые читатели видео портала KladProraba.com. В этой статье (без видео), я на примере своего файла robots.txt покажу вам, каким должен быть идеальный Robots.txt для WordPress сайта с протоколом https.

Идеальный Robots.txt для WordPress сайта с протоколом https

Каждый вебмастер знает о том, что наличие таких файлов, как карта ресурса sitemap.xml и robots.txt, является обязательным условием для правильной индексации любого интернет-магазина, сайта, блога.

При переходе сайта с http на https (как правильно осуществить переход читайте здесь) с файлом sitemap.xml всё в порядке, вмешательства не требуется. Иначе обстоят дела с файлом robots.txt. После осуществления перехода ресурса, необходимо внести небольшие изменения в файл robots.txt. Ниже, я привожу примеры файлов robots.txt до и после перехода моего сайта на защищённый протокол https.

Правильный файл robots.txt для сайта на WordPress с обычным http

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: мойсайт.com
Sitemap: http://мойсайт.com/sitemap.xml.gz
Sitemap: http://мойсайт.com/sitemap.xml

Правильный файл robots.txt для сайта на WordPress с протоколом https

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: https://мойсайт.com
Sitemap: https://мойсайт.com/sitemap.xml.gz
Sitemap: https://мойсайт.com/sitemap.xml

Результат проверки файла robots.txt в гугл вебмастер – ошибок нет.

Результат проверки файла robots.txt в яндекс вебмастер – ошибок нет.

Файл robots.txt без ошибок

Как видно по результатам – проблем нет, ошибок нет. Да, вот ещё один момент: я запретил индексацию тегов на своём сайте, посредством добавления в файл robots.txt запрета – Disallow: /tag. Вы так же можете запретить индексацию тегов, или можете удалить запрет – выбор за вами. Надеюсь, моя статья с примером помогла решить вашу проблему с определением идеального файла robots.txt для вашего ресурса. Всего доброго и удачи 🙂

С уважением Ярослав

Идеальный Robots.txt для WordPress сайта с протоколом https
Ваша оценка?

Добавить комментарий