URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 2985
[ Назад ]

Исходное сообщение
"Тормоза squid при использовании blacklist"

Отправлено Mikle , 04-Мрт-05 19:25 
Приветствую всех!
Использую squid. Машинка достаточно мощная: P4 1800Гц, 256M RAM.
Всё работает быстро. Но когда прикручиваю BlackList размером 1,2М начинаются жуткие тормоза... При этом, судя по выводу top, процессор используется не более чем на 20 процентов...
Почему возникает такая проблема?
Заранее спасибо.


Содержание

Сообщения в этом обсуждении
"Тормоза squid при использовании blacklist"
Отправлено Андрей Слободяник , 05-Мрт-05 12:21 
>Приветствую всех!
>Использую squid. Машинка достаточно мощная: P4 1800Гц, 256M RAM.
>Всё работает быстро. Но когда прикручиваю BlackList размером 1,2М
Каким образом прикручиваешь? url_regex?

>начинаются жуткие тормоза...
Какие именно тормоза? Медленно грузятся страницы? Сильной дисковой активности на сервере нет?

>При этом, судя по выводу top, процессор используется не более чем
>на 20 процентов...
А как со свопом?

>Почему возникает такая проблема?
>Заранее спасибо.

Если не получится разобраться, посмотри в сторону rejik.ru


"Тормоза squid при использовании blacklist"
Отправлено Mikle , 09-Мрт-05 12:12 

>Каким образом прикручиваешь? url_regex?
именно так
>>начинаются жуткие тормоза...
>Какие именно тормоза? Медленно грузятся страницы? Сильной дисковой активности на сервере нет?
Очень медленно грузятся страницы. На счет дисковой активности... А как это проверить?
>
>>При этом, судя по выводу top, процессор используется не более чем
>>на 20 процентов...
>А как со свопом?
А вот со свопом всё плохо... При памяти 256 метров объем свопа у меня 512М. Из них используется более 400М.

>>Почему возникает такая проблема?
>>Заранее спасибо.
>
>Если не получится разобраться, посмотри в сторону rejik.ru



"Тормоза squid при использовании blacklist"
Отправлено Андрей Слободяник , 10-Мрт-05 13:29 
>
>>Каким образом прикручиваешь? url_regex?
>именно так
Имхо, не есть хорошо. Regex-сравнение медленное, вряд ли у тебе мегабайт действительно регулярных выражений, а список доменов лучше dstdomain-ом прикрутить.

>Очень медленно грузятся страницы. На счет дисковой активности... А как это проверить?
Я мониторю через mrtg(snmp), там есть график. А грубо - горит ли hdd-led и слышно ли как работает винт?

>А вот со свопом всё плохо... При памяти 256 метров объем свопа
>у меня 512М. Из них используется более 400М.
Отсюда, по всей видимости и тормоза. Откуда такой расход? Что-то кроме сквида жрёт? Или cache_mem большое? Или кеш чересчур большой?

>>Если не получится разобраться, посмотри в сторону rejik.ru
А режик, кстати, стоит прикрутить в любом случае.


"Тормоза squid при использовании blacklist"
Отправлено Mikle , 10-Мрт-05 15:24 
>>
>>>Каким образом прикручиваешь? url_regex?
>>именно так
>Имхо, не есть хорошо. Regex-сравнение медленное, вряд ли у тебе мегабайт действительно
>регулярных выражений, а список доменов лучше dstdomain-ом прикрутить.
Спасибо, попробую...
>>Очень медленно грузятся страницы. На счет дисковой активности... А как это проверить?
>Я мониторю через mrtg(snmp), там есть график. А грубо - горит ли
>hdd-led и слышно ли как работает винт?
>
>>А вот со свопом всё плохо... При памяти 256 метров объем свопа
>>у меня 512М. Из них используется более 400М.
>Отсюда, по всей видимости и тормоза. Откуда такой расход? Что-то кроме сквида
>жрёт? Или cache_mem большое? Или кеш чересчур большой?
Похоже, что кроме сквида ничего не жрет, т.к. если вырубить сквид, то своп сразу освобождается.
Раньше у меня стояли стандартные значения cache_mem и cache_dir. Были тормоза. А недавно я поменял на такие:
cache_mem 64 MB
cache_dir ufs /usr/local/squid/cache 8192 16 128
но тормоза по-прежнему остались  :(

>>>Если не получится разобраться, посмотри в сторону rejik.ru
>А режик, кстати, стоит прикрутить в любом случае.



"Тормоза squid при использовании blacklist"
Отправлено cimmerman , 09-Мрт-05 22:51 
Сколько размер списка ?
Это не опечатка ?

Извени проверять урл на совпадение со списком более чем 1000 строк  это уже напряг а у тебя явно больше

Таким списком можно больше половины всего нета прикрыть так уж это необходимо ?
Списком в соню сторок можно срубить процентов 90 банеров счетчиков парнухи и прочего контента (причем наверняка зацепиш что-нибудь совершенно безобидное )
Так как всеравно все не запретиш никогда
Желательно список сократить (гдето % на 90 да и 100Кб тоже много)

Если уж это делать ну никак незя тода надо этот список оптимизировать
те правила(regexp) которые дают максимум совпадений переместить в начало списка


"Тормоза squid при использовании blacklist"
Отправлено Mikle , 10-Мрт-05 13:29 
>Сколько размер списка ?
>Это не опечатка ?
Это не опечатка... Такой у меня список.
>Извени проверять урл на совпадение со списком более чем 1000 строк  
>это уже напряг а у тебя явно больше
Но почему проц грузится при этом лишь на 20% максисмум?

>Таким списком можно больше половины всего нета прикрыть так уж это необходимо
>?
>Списком в соню сторок можно срубить процентов 90 банеров счетчиков парнухи и
>прочего контента (причем наверняка зацепиш что-нибудь совершенно безобидное )
>Так как всеравно все не запретиш никогда
>Желательно список сократить (гдето % на 90 да и 100Кб тоже много)
>
>
>Если уж это делать ну никак незя тода надо этот список оптимизировать
>
>те правила(regexp) которые дают максимум совпадений переместить в начало списка

Неужели даже при мощных ресурсах с моим списком работать не получится?


"Тормоза squid при использовании blacklist"
Отправлено Андрей Слободяник , 10-Мрт-05 15:49 
>Но почему проц грузится при этом лишь на 20% максисмум?
Дык не в проце упор получается. Памяти нужно много, да ещё на проверку регексов. Свопится, поэтому и тормозит.

>Неужели даже при мощных ресурсах с моим списком работать не получится?
cache_mem верни на 8 Mb
url_regex поменяй на dstdomain, у тебя что в этом списке - действительно регексы или всё таки домены?