URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 61732
[ Назад ]
Исходное сообщение
"mod_security"
Отправлено nece , 12-Ноя-05 02:37 
Проблема следующая.

Не могу проиндексить сайт на поисковиках.
Пишет:

Адрес www.mydomen.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.

Хотя robots.txt имеется, такое ощущение что режет mod_security.

Вопрос как mod_security указать что robots.txt не надо запрешать?

Содержание
Сообщения в этом обсуждении
"mod_security"
Отправлено nio , 12-Ноя-05 09:12 
>Проблема следующая.
>
>Не могу проиндексить сайт на поисковиках.
>Пишет:
>
>Адрес www.mydomen.ru не был внесен в базу Яндекса, так как он запрещен
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.
>
>Хотя robots.txt имеется, такое ощущение что режет mod_security.
>
>Вопрос как mod_security указать что robots.txt не надо запрешать?


А если в браузере написать www.mydomen.ru/robots.txt что происходит?

"mod_security"
Отправлено nece , 12-Ноя-05 19:38 
>А если в браузере написать www.mydomen.ru/robots.txt что происходит?

Вижу содержимое этого файла

http://www.vdovinko.ru/robots.txt

# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php

"mod_security"
Отправлено nece , 12-Ноя-05 19:55 
Но содержимое robots.txt вижу только из внутренней сетки,
с наружи даёт ошибку 500

$links www.vdovinko.ru/robots.txt
                        
     500 Internal Server Error

                            Internal Server Error

   The server encountered an internal error or misconfiguration and was unable to complete your request.

   Please contact the server administrator, support@lancronix.ru and inform them of the time the error occurred, and anything you might have done that may have caused the error.
   More information about this error may be available in the server error log.

"mod_security"
Отправлено nio , 13-Ноя-05 11:28 
>Но содержимое robots.txt вижу только из внутренней сетки,
>с наружи даёт ошибку 500
>
>
>
>$links www.vdovinko.ru/robots.txt
>
>     500 Internal Server Error
>
>            
>          
>     Internal Server Error
>
>   The server encountered an internal error or misconfiguration and
>was unable to complete your request.
>
>   Please contact the server administrator, support@lancronix.ru and inform them
>of the time the error occurred, and anything you might have
>done that may have caused the error.
>   More information about this error may be available in
>the server error log.


Ну дак "More information about this error may be available in the server error log"... что там написано?

"mod_security"
Отправлено nece , 14-Ноя-05 00:37 
>Ну дак "More information about this error may be available in the
>server error log"... что там написано?

В логах апача:

Access.log
213.180.216.253 - - [12/Nov/2005:02:22:20 +0300] "GET /robots.txt HTTP/1.1" 500 540

Error.log
[Sat Nov 12 02:22:20 2005] [error] [client 213.180.216.253]
mod_security: Access denied with code 500. Pattern match
"!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]

"mod_security"
Отправлено nece , 14-Ноя-05 02:22 
Вот полный лог

access_log

213.180.216.253 - - [14/Nov/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540

error_log

[Mon Nov 14 02:13:16 2005] [error] [client 213.180.216.253] mod_security: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER. [hostname "www.vdovinko.ru"] [uri "/robots.txt"]


audit_log

========================================
Request: 213.180.216.253 - - [14/Ноя/2005:02:13:16 +0300] "GET /robots.txt HTTP/1.1" 500 540
Handler: (null)
----------------------------------------
GET /robots.txt HTTP/1.1
Connection: Keep-Alive
From: webadmin@yandex.ru
Host: www.vdovinko.ru
User-Agent: Yandex/1.03.003 (compatible; Win16; D)
mod_security-message: Access denied with code 500. Pattern match "!(mod_security|mozilla)" at HEADER.
mod_security-action: 500

HTTP/1.1 500 Internal Server Error
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=iso-8859-1

"mod_security"
Отправлено nece , 14-Ноя-05 03:04 
Не пойму чт оне так.

В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt

вижу содержимое:

# For all robots
User-agent: *
Disallow: /img/
Disallow: /css/
Disallow: /msg.php


Почему тогда не индексирует и пишет:

Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен к индексации в файле robots.txt, или при обращении к robots.txt сервер вернул ошибку 5xx.

"mod_security"
Отправлено nio , 14-Ноя-05 12:52 
>Не пойму чт оне так.
>
>В логи пишет то что выше, но при запросе через инет http://www.vdovinko.ru/robots.txt
>
>
>вижу содержимое:
>
># For all robots
>User-agent: *
>Disallow: /img/
>Disallow: /css/
>Disallow: /msg.php
>
>
>
>
>Почему тогда не индексирует и пишет:
>
>Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.


Ты совсем меня запутал. Раньше ты вроде говорил что с наружи ошибку выдаёт. Ну да ладно. Сейчас я вижу твой robots.txt, значит и yandex должен увидеть.

>Почему тогда не индексирует и пишет:...

Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди пока yandex повторит попытку. Это примерно недели 2-3. Если будет и дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.

"mod_security"
Отправлено nece , 14-Ноя-05 15:06 
>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди
>пока yandex повторит попытку. Это примерно недели 2-3. Если будет и
>дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.

Так я ручками на http://webmaster.yandex.ru
вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен
сказать что всё ок и ждите результата, а не это:

Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
к индексации в файле robots.txt, или при обращении к robots.txt сервер
вернул ошибку 5xx.

"mod_security"
Отправлено nio , 15-Ноя-05 05:39 
>>Потому что когда он пытался проиндексировать твой сайт, robots.txt был недоступен. Подожди
>>пока yandex повторит попытку. Это примерно недели 2-3. Если будет и
>>дальше повторятся, тогда пиши, а сейчас всё должно быть нормально.
>
>Так я ручками на http://webmaster.yandex.ru
>вписываю этот сайт и получаю сообщение об ошибке, хотя по идее должен
>
>сказать что всё ок и ждите результата, а не это:
>
>Адрес www.vdovinko.ru не был внесен в базу Яндекса, так как он запрещен
>
>к индексации в файле robots.txt, или при обращении к robots.txt сервер
>вернул ошибку 5xx.


То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что он ставится в очередь индексирования, которая занята недели на 3 вперёд. И вплоть до повторного индексирования ты будешь видеть эту ошибку.

"mod_security"
Отправлено nece , 15-Ноя-05 23:02 
>То что ты вписываешь его ручками на webmaster.yandex.ru означает лишь то, что
>он ставится в очередь индексирования, которая занята недели на 3 вперёд.
>И вплоть до повторного индексирования ты будешь видеть эту ошибку.

Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security
я закоментировал и всё стало ок:

# Only allow our own test utility to send requests (or Mozilla)
#SecFilterSelective HTTP_USER_AGENT "!(mod_security|mozilla)"

"mod_security"
Отправлено nio , 18-Ноя-05 06:34 
>Не ты не прав, вот эту строчку в httpd.conf в разделе mod_security
>
>я закоментировал и всё стало ок:
>
># Only allow our own test utility to send requests (or Mozilla)
>
>#SecFilterSelective HTTP_USER_AGENT "!(mod_security|mozilla)"


Всё может быть.

У меня такойпроблемы небыло. Я просто оставил заявку на индексацию, которую ждал недели 3 :)

Если проблема решена, то поздравляю!

P.S. А может просто совпадение?