URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID8
Нить номер: 5833
[ Назад ]

Исходное сообщение
"Получение XML. Нарузка на сервер"
Отправлено Sasha , 24-Июн-08 19:41

Всем привет.
Есть скрипт который получает XML файлы по http протоколу.
Вес одного файла от 100 до 250кб.
Файлов более 30 штук. (в будущем будет еще больше)
Скрипт работает по принципу: Получает файл, парсит, вставляет в mysql данные.
В чем проблема...
Получение файла xml длится около 2 сек. Провайдер убивает скрипт если тот занимает время работы больше 10 секунд и нагрузку на проц более 10%.
Сами понимаете что больше 5 файлов обработать нельзя.
Я вышел из положения разбив код на несколько файлов, которые получают по 4 xml файла каждый. И то во время нагрузки на сервер, скрипт может не успеть за 10 секунд принять 4 файла.
Вопрос:
Можно ли придумать что-то другое, чтобы обойти проблему времени и нагрузки? (кроме установки своего вебсервера :-) )

Содержание

Получение XML. Нарузка на сервер,аноним, 00:13 , 25-Июн-08
- Получение XML. Нарузка на сервер,Sasha, 11:43 , 25-Июн-08
  - Получение XML. Нарузка на сервер,angra, 16:47 , 25-Июн-08
    - Получение XML. Нарузка на сервер,Sasha, 18:12 , 25-Июн-08
      - Получение XML. Нарузка на сервер,angra, 15:15 , 26-Июн-08
        
        Получение XML. Нарузка на сервер,Sasha, 16:45 , 26-Июн-08
        
        Получение XML. Нарузка на сервер,angra, 17:44 , 26-Июн-08
        
        Получение XML. Нарузка на сервер,Sasha, 13:01 , 28-Июн-08

Сообщения в этом обсуждении

"Получение XML. Нарузка на сервер"
Отправлено аноним , 25-Июн-08 00:13

>Получение файла xml длится около 2 сек. Провайдер убивает скрипт если тот
>занимает время работы больше 10 секунд и нагрузку на проц более
>10%.
Может сменить провайдера?

"Получение XML. Нарузка на сервер"
Отправлено Sasha , 25-Июн-08 11:43

>Может сменить провайдера?
Уверен что смена провайдера делу не поможет, т.к. у всех провайдеров есть свои ограничения на работу скриптов

"Получение XML. Нарузка на сервер"
Отправлено angra , 25-Июн-08 16:47

Ага, особенно у vps или collocation :)
Также замечу что некоторые shared предоставляют возможность ставить свои задания в cron

"Получение XML. Нарузка на сервер"
Отправлено Sasha , 25-Июн-08 18:12

>Ага, особенно у vps или collocation :)
>Также замечу что некоторые shared предоставляют возможность ставить свои задания в cron
Да. Вот именно кроном и выкручиваюсь. 8 Файлов с одним и тем же скриптом, каждый из них получает и обрабатывает 4 xml файла.
Думал, может есть решение как обойтись без вот такого экстенсивного метода.
Наверное только свой вебсервер ставить надо.

"Получение XML. Нарузка на сервер"
Отправлено angra , 26-Июн-08 15:15

веб-скрипты должны только получать xml и сохранять его в соответствующие файлы. А демон или запускаемый по крону скрипт(один, не восемь) должен парсить и писать в базу, так как эти операции во много раз более ресурсоемкие. Заодно избавляемся от потенциального race condition.

"Получение XML. Нарузка на сервер"
Отправлено Sasha , 26-Июн-08 16:45

>веб-скрипты должны только получать xml и сохранять его в соответствующие файлы. А
>демон или запускаемый по крону скрипт(один, не восемь) должен парсить и
>писать в базу, так как эти операции во много раз более
>ресурсоемкие. Заодно избавляемся от потенциального race condition.
А вот тут поподробней если можно?
Время получения одного файла - 2 секунды.
Время парсинга одного файла - 0,02сек.
Проблема именно в получении файлов.
Если скрипт (запускаемый по крону) будет ТОЛЬКО получать xml и сохранять в файл, то всеравно,работа такого скрипта будет длиться максимум 10 секунд.

"Получение XML. Нарузка на сервер"
Отправлено angra , 26-Июн-08 17:44

С такой скоростью связи однозначно стоит сменить хостера.

"Получение XML. Нарузка на сервер"
Отправлено Sasha , 28-Июн-08 13:01

>С такой скоростью связи однозначно стоит сменить хостера.
Дык получение файла зависит не только от хостера, а также от сервера статистики.