URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 6953
[ Назад ]
Исходное сообщение
"Недозагрузка страниц через SQUID"
Отправлено Алексей , 13-Фев-13 18:08 
SQUID 3.0.STABLE13 + SAMS
Недавно появилась проблемма - при открытии многх сайтов загрузка или не начинается или проходит не до конца :( Не загружаются баннеры. Без SQUID - все грузится.
Перерыл кучу информации по теме. Пересоздавал кэш, проверял доступность ДНС, ставил на отладку - смотрел протоколы (никакого явного криминала). Менял размеры кэша. И ничего.
Может кто сталкивался - даст идею.
Имею:
uname -r
2.6.16.13-4-default
Конфиг:

acl _sams_default src "/usr/local/squid/etc/default.sams"
acl _sams_default_time time MTWHFAS 00:00-23:59
acl _sams_porno url_regex "/usr/local/squid/etc/porno.sams"
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443
acl Safe_ports port 80        # http
acl Safe_ports port 21        # ftp
acl Safe_ports port 443        # https
acl Safe_ports port 70        # gopher
acl Safe_ports port 210        # wais
acl Safe_ports port 1025-65535    # unregistered ports
acl Safe_ports port 280        # http-mgmt
acl Safe_ports port 488        # gss-http
acl Safe_ports port 591        # filemaker
acl Safe_ports port 777        # multiling http
acl Safe_ports port 39410        #  
acl Safe_ports port 8000         #
acl Safe_ports port 9888         #
acl Safe_ports port 23080        #
acl CONNECT method CONNECT
http_access allow _sams_default  !_sams_porno _sams_default_time  
http_access allow manager localhost
http_access deny manager
# Deny requests to unknown ports
http_access deny !Safe_ports
# Deny CONNECT to other than SSL ports
http_access deny CONNECT !SSL_ports
http_access allow localnet
# And finally deny all other access to this proxy
http_access deny all
icp_access allow localnet
icp_access deny all
htcp_access allow localnet
htcp_access deny all
http_port 192.168.x.xxx:3128
hierarchy_stoplist cgi-bin ?
access_log /usr/local/squid/var/logs/access.log squid
debug_options ALL,1
ftp_passive off
refresh_pattern ^ftp:        1440    20%    10080
refresh_pattern ^gopher:    1440    0%    1440
refresh_pattern (cgi-bin|\?)    0    0%    0
refresh_pattern .        0    20%    4320
cache_effective_user squid
cache_effective_group squid
icp_port 3130


Содержание
Сообщения в этом обсуждении
"Недозагрузка страниц через SQUID"
Отправлено ipmanyak , 14-Фев-13 09:27 
В вашем конфиге я не вижу
1 -  акселей размера памяти сквида в озу и на диске.
2 - акселей доступа для вашей локальной сети
3 - icp_access allow localnet  и   http_access allow localnet
акселя localnet не увидел, где он? Зачем вам icp ? у вас есть соседи с кэшами? ТО же самое для акселя htcp?
4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он нужен, тем более, что разрешающего правила для него нет?

покажите строки из access.log для проблемных сайтов
Все сайты так себя видут или некоторые?
у вас есть аксели sams, что в их файлах прописано? Попробуйте временно отключить их. ТО есть поработать без SAMS.
Покажите строки из cache.log после запуска сквида
P.S.
Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.


"Недозагрузка страниц через SQUID"
Отправлено oaealex , 14-Фев-13 10:07 
> В вашем конфиге я не вижу
> 1 -  акселей размера памяти сквида в озу и на диске.

Дефолтная настройка:
cache_dir ufs /usr/local/squid/var/cache 100 16 256

> 2 - акселей доступа для вашей локальной сети

http_access allow _sams_default  !_sams_porno _sams_default_time  
где в _sams_default   перечень разрешенных IP адресов
_sams_porno - vkontakte и т.д.

Если я Вас правильно понял.

> 3 - icp_access allow localnet  и   http_access allow localnet
> акселя localnet не увидел, где он? Зачем вам icp ? у вас
> есть соседи с кэшами? ТО же самое для акселя htcp?

Да, согласен. Однако их удаление не дает эффекта.

> 4 - acl to_localhost dst 127.0.0.0/8 - вообще не понял зачем он
> нужен, тем более, что разрешающего правила для него нет?

Да согласен - правило не нужно.

> покажите строки из access.log для проблемных сайтов

1360759076.383    113 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 2032 GET http://miass.info/1/inc/miass.css - DIRECT/62.148.255.178 text/css
1360759076.600    337 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 24642 GET http://miass.ru/img/t_w_8.jpg - DIRECT/217.19.112.4 image/jpeg
1360759076.650    252 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 6890 GET http://miass.ru/img/t_miass.jpg - DIRECT/217.19.112.4 image/jpeg
1360759076.660    591 192.168.1.228 TCP_MISS/200 33027 GET http://miass.ru/ - DIRECT/217.19.112.4 text/html
1360759076.705    100 192.168.1.228 TCP_MISS/200 371 GET http://miass.ru/img/empty.gif - DIRECT/217.19.112.4 image/gif
1360759076.780    116 192.168.1.228 TCP_CLIENT_REFRESH_MISS/200 1305 GET http://miass.ru/img/mb/g1.gif - DIRECT/217.19.112.4 image/gif
1360759076.927    250 192.168.1.228 TCP_MISS/200 12258 GET http://tmp.miass.ru/banner-show.php? - DIRECT/217.19.112.4 image/*

> Все сайты так себя видут или некоторые?

Толко некоторые. Например - miass.ru log-in.ru

> у вас есть аксели sams, что в их файлах прописано? Попробуйте временно
> отключить их

Отключал porno - эффекта не дало.

> Покажите строки из cache.log после запуска сквида

2013/02/14 11:59:42| Starting Squid Cache version 3.0.STABLE13 for i686-pc-linux-gnu...
2013/02/14 11:59:42| Process ID 29661
2013/02/14 11:59:42| With 1024 file descriptors available
2013/02/14 11:59:42| DNS Socket created at 0.0.0.0, port 33745, FD 9
2013/02/14 11:59:42| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2013/02/14 11:59:42| Adding nameserver 8.8.8.8 from /etc/resolv.conf
2013/02/14 11:59:42| Adding nameserver 195.54.2.1 from /etc/resolv.conf
2013/02/14 11:59:42| Adding domain prominform.ru from /etc/resolv.conf
2013/02/14 11:59:42| Unlinkd pipe opened on FD 14
2013/02/14 11:59:42| Swap maxSize 102400 KB, estimated 7876 objects
2013/02/14 11:59:42| Target number of buckets: 393
2013/02/14 11:59:42| Using 8192 Store buckets
2013/02/14 11:59:42| Max Mem  size: 8192 KB
2013/02/14 11:59:42| Max Swap size: 102400 KB
2013/02/14 11:59:42| Version 1 of swap file with LFS support detected...
2013/02/14 11:59:42| Rebuilding storage in /usr/local/squid/var/cache (CLEAN)
2013/02/14 11:59:42| Using Least Load store dir selection
2013/02/14 11:59:42| Set Current Directory to /usr/local/squid/var/cache
2013/02/14 11:59:42| Loaded Icons.
2013/02/14 11:59:42| Accepting  HTTP connections at 192.168.1.xxx, port 3128, FD 16.
2013/02/14 11:59:42| HTCP Disabled.
2013/02/14 11:59:42| Ready to serve requests.
2013/02/14 11:59:43| Store rebuilding is 78.39% complete
2013/02/14 11:59:43| Done reading /usr/local/squid/var/cache swaplog (5224 entries)
2013/02/14 11:59:43| Finished rebuilding storage from disk.
2013/02/14 11:59:43|      5224 Entries scanned
2013/02/14 11:59:43|         0 Invalid entries.
2013/02/14 11:59:43|         0 With invalid flags.
2013/02/14 11:59:43|      5224 Objects loaded.
2013/02/14 11:59:43|         0 Objects expired.
2013/02/14 11:59:43|         0 Objects cancelled.
2013/02/14 11:59:43|         0 Duplicate URLs purged.
2013/02/14 11:59:43|         0 Swapfile clashes avoided.
2013/02/14 11:59:43|   Took 0.88 seconds (5925.56 objects/sec).
2013/02/14 11:59:43| Beginning Validation Procedure
2013/02/14 11:59:43|   Completed Validation Procedure
2013/02/14 11:59:43|   Validated 10473 Entries
2013/02/14 11:59:43|   store_swap_size = 92156
2013/02/14 11:59:43| storeLateRelease: released 0 objects


> P.S.
> Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.

Да, попробую.


"Недозагрузка страниц через SQUID"
Отправлено oaealex , 14-Фев-13 10:42 
> P.S.
> Я бы посоветовал для начала вам запустить сквид с дефолтовыми настройками.

Попробовал. Эффекта нет. Такое ощущение - что это напрямую со SQUID не связано - возможно ему не хватает каких то ресурсов - например файловых дескрипторов. Однако такую ситуацию (не хватает файловых дескрипторов) мы увидели бы в логе.
iptables - тоже отпадает - если его отключить - ситуация не изменяется.

"Недозагрузка страниц через SQUID"
Отправлено oaealex , 14-Фев-13 16:37 
> iptables - тоже отпадает - если его отключить - ситуация не изменяется.

Вобщем как оказалось "сам дурак".
После долгих мытарств и чтения разных постов где люди успешно побеждали такие глюки чистой кэша, настройкой фаерволлов, ДНС, параметрами сохранения кэша, настройкой параметров TCP - в общем всем чем можно - я наконец то оторвался от своего монитора и спросил присутствующих USerov - "ну а у вас, простые люди, :) - как дела ?"  А дела у всех были прекрасны и зечательны, а мои проблеммные сйты открывались "на ура". Блин :)
Я со злости установил браузер - Opera - и о чудо - у меня тоже пропали глюки.
Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил.
Чудо. И в эксплорере все "поехало".

В общем... Извините что побеспокоил. И спасибо за ответы.


"Недозагрузка страниц через SQUID"
Отправлено ipmanyak , 15-Фев-13 08:44 
>[оверквотинг удален]
> параметров TCP - в общем всем чем можно - я наконец
> то оторвался от своего монитора и спросил присутствующих USerov - "ну
> а у вас, простые люди, :) - как дела ?"  
> А дела у всех были прекрасны и зечательны, а мои проблеммные
> сйты открывались "на ура". Блин :)
> Я со злости установил браузер - Opera - и о чудо -
> у меня тоже пропали глюки.
> Тогда я очистил кэш Explorera, закрыл все его открытые страницы и перезапустил.
> Чудо. И в эксплорере все "поехало".
> В общем... Извините что побеспокоил. И спасибо за ответы.

:)
дисковый кэш в 100 мег маловат, увеличьте хотя бы до полгига. Если у вас безлимитка, то лучше вообще не юзать дисковый кэш, лишний тормоз.