Close

Нужна помощь, вылетают страницы с пометкой “Неподдерживаемый формат”

Третий Апдейт вылетает все больше страниц, пометка в вебмастере “Неподдерживаемый формат”.

Цитата:

Формат документа не поддерживается индексирующим роботом. Обратите внимание на корректность заголовка Content-Type и на содержимое документа.
Проверить ответ сервера

Писал платонам, ответ на следующий день:

Цитата:

Мы проверили, страница были исключены, так как при обращениях нашего индексирующего робота они периодически отдают контент в формате, который им не поддерживается, из-за чего проиндексировать их не удается. Это может быть связано с тем, что страницы отдают некорректные http-заголовки или не отдают документ в HTML-формате. Для выяснения причин появления проблемы Вы можете обратиться к администратору сервера, на котором расположен сайт, либо Вашему хостинг-провайдеру. Например, страница _http://xxxxx.html была недоступна при обращении робота 2019.02.11 в 15:51:50. Чтобы страницы могли корректно индексироваться роботом, они должны быть доступны, отвечать кодом 200 ОК и отдавать контент в HTML-формате. Тогда они смогут вернуться в поиск по мере их переобхода роботом с обновлениями поисковых баз.

Мы также передали пример Вашего сайта нашим специалистам для более подробного изучения, чтобы проверить ситуацию с обходом сайта. Если у меня появится дополнительная информация по вопросу или потребуются дополнительные действия, я свяжусь с Вами немного позднее.

Мой ответ:

Цитата:
Проверил логи, может поможет в выяснении проблемы, при обращении к странице имела код 200
141.8.142.32 – – [11/Feb/2019:15:51:50 +0300] “GET /xxxxxxx.html HTTP/1.1” 200 15269 “-” “Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots)”

Движок Joomla 3.9.3, оптимизирующие и кеширующие плагины выключены, сайт работает 4 года, ранее таких проблем не было.

Ответ сервера в вебмастере со статусом ОК:

Цитата:

Код статуса HTTP 200 OK
Время ответа сервера 148 мс
IP сайта
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 49,16 КБ
Server: nginx/1.12.2
Date: Sat, 16 Feb 2019 06:47:27 GMT
Content-Type: text/html; charset=utf-8
Transfer-Encoding: chunked
Connection: keep-alive
X-Powered-By: PHP/7.2.15
Content-Encoding: gzip
Expires: Wed, 17 Aug 2005 00:00:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Set-Cookie: e8576082a5b094e168486b9fdaa82b69=eaa346b13c006cec915a65c3fea6ef6b; path=/; secure; HttpOnly
X-Content-Type-Options: nosniff
Last-Modified: Sat, 16 Feb 2019 06:47:27 GMT

Ответы:

1. А чем помочь то вам? Вам на битву Экстрасенсов без Урл адреса.
Попробуйте gzip отключить, может он глючит…

2. Возможно, дело во временной недоступности хостинга (в какой-то момент отвалилась база или при росте нагрузки при прохождении робота сервер начинает выдавать страницу с ошибкой с некорректными заголовками). Еще советую посмотреть в error_log на сервере, поискать там ошибки при обращении к этим страницам. Возможно, это как-то прояснит ситуацию.

3. Кажется разобрался с проблемой, блокировались IP Яндекса, были добавлены по причине прямых заходов с отказами по метрике.
Может кто в курсе, заходам Яндекса с отказами? Зачем Яндексу делать прямые заходы, создавая 100% отказы по метрике?

4. >блокировались IP Яндекса

Ну вы забанили какого нибудь проверочного бота на клоакинг например. Вы серьёзно руками отлавливали? Когда идет целенаправленное уничтожение сайта, в нем будет целая сетка айпи, которые вы никак по метрике не отсечете…

5. >которые вы никак по метрике не отсечете

Брал только самые часто повторяемые, банил сеть, в основном забугорные, спасибо за подсказку, буду осторожней.

Добавить комментарий