Close

несуществующий disallow от яндекса


Linblack
216

пришло на почту оповещение, мол из поиска исключена страница:

site.ru/category/portfolio
причина – блокировка в файле robots.txt (хотя он статичен уже 4 года).

собственно само содержимое файла:

User-agent: * 
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/ 
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback 
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: /product-tag
Disallow: /page*
Allow: */uploads

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: /product-tag
Disallow: /page*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: /product-tag
Disallow: /page*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

стандартный вариант, который я использую на всех вордпрессах.
я либо в глаза сношаюсь, либо яндекс чудит. но я не вижу запрета в файле на скан этой страницы или ветки.

из плагинов присутствуют только  All In One SEO Pack  и WP Translitera
на дефолтных настройках.


Vladimir SEO

в вебмастере проверьте урл и все


Linblack

Vladimir SEO #:
в вебмастере проверьте урл и все

эм.. а что именно проверять связанное с урл?
все указано правильно.  https://site.ru
при клике на исключенную ссылку – открывается страница нормально.

может у яндекса свой отдельный роботс тхт есть? или типа того


Vladimir SEO

просто засунь в проверку роботса урл

Добавить комментарий