URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 5661
[ Назад ]
Исходное сообщение
"Внезапная проблема со Squid 3.0 Stable 2"
Отправлено Ramaloke , 16-Июл-08 14:19 
Сквид работал нормально, без сбоев.
Вчера вечером произошел какой-то сбой (возможно у провайдера) и служба остановилась. Утром запускаю вручную (/usr/sbin/squid start). Собственно icq всякие запустились, а вот сайты открываются...даже не открываются. Загружаются на 40-50% и висят. На некоторых же машинах запускаются нормально (парадоксально).
Конфиг не менял перед сбоем.
Начал ковырять логи.
И вот тут возникла траббла.
cache.log
.......
2008/07/16 13:00:43| Starting Squid Cache version 3.0.STABLE2 for i386-redhat-linux-gnu...
2008/07/16 13:00:43| Process ID 2573
2008/07/16 13:00:43| With 1024 file descriptors available
2008/07/16 13:00:43| Performing DNS Tests...
2008/07/16 13:00:43| Successful DNS name lookup tests...
2008/07/16 13:00:43| DNS Socket created at 0.0.0.0, port 35648, FD 7
2008/07/16 13:00:43| Adding nameserver **.**.**.** from /etc/resolv.conf
2008/07/16 13:00:43| helperOpenServers: Starting 5 'ncsa_auth' processes
2008/07/16 13:00:43| User-Agent logging is disabled.
2008/07/16 13:00:43| Referer logging is disabled.
2008/07/16 13:00:43| Unlinkd pipe opened on FD 17
2008/07/16 13:00:43| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2008/07/16 13:00:43| Swap maxSize 102400 KB, estimated 7876 objects
2008/07/16 13:00:43| Target number of buckets: 393
2008/07/16 13:00:43| Using 8192 Store buckets
2008/07/16 13:00:43| Max Mem  size: 8192 KB
2008/07/16 13:00:43| Max Swap size: 102400 KB
2008/07/16 13:00:43| Version 1 of swap file with LFS support detected...
2008/07/16 13:00:43| Rebuilding storage in /var/spool/squid (DIRTY)
2008/07/16 13:00:43| Using Least Load store dir selection
2008/07/16 13:00:43| Set Current Directory to /var/spool/squid
2008/07/16 13:00:43| Loaded Icons.
2008/07/16 13:00:43| Accepting  HTTP connections at 0.0.0.0, port 3128, FD 19.
2008/07/16 13:00:43| Accepting ICP messages at 0.0.0.0, port 3130, FD 20.
2008/07/16 13:00:43| HTCP Disabled.
2008/07/16 13:00:43| Accepting SNMP messages on port 3401, FD 21.
2008/07/16 13:00:43| Outgoing SNMP messages on port 3401, FD 22.
2008/07/16 13:00:43| Ready to serve requests.
2008/07/16 13:00:44| Store rebuilding is 0.00% complete
2008/07/16 13:00:44| Reconfiguring Squid Cache (version 3.0.STABLE2)...
2008/07/16 13:00:44| FD 19 Closing HTTP connection
2008/07/16 13:00:44| FD 21 Closing SNMP socket
2008/07/16 13:00:44| FD 20 Closing ICP connection
2008/07/16 13:00:44| FD 22 Closing SNMP socket
2008/07/16 13:00:44| Processing Configuration File: /etc/squid/squid.conf (depth 0)
2008/07/16 13:00:44| Initializing https proxy context
2008/07/16 13:00:45| User-Agent logging is disabled.
2008/07/16 13:00:45| Referer logging is disabled.
2008/07/16 13:00:45| DNS Socket created at 0.0.0.0, port 58714, FD 9
2008/07/16 13:00:45| Adding nameserver **.**.**.** from /etc/resolv.conf
2008/07/16 13:00:45| helperOpenServers: Starting 5 'ncsa_auth' processes
2008/07/16 13:00:45| Accepting  HTTP connections at 0.0.0.0, port 3128, FD 16.
2008/07/16 13:00:45| Accepting ICP messages at 0.0.0.0, port 3130, FD 19.
2008/07/16 13:00:45| HTCP Disabled.
2008/07/16 13:00:45| Accepting SNMP messages on port 3401, FD 20.
2008/07/16 13:00:45| Outgoing SNMP messages on port 3401, FD 21.
2008/07/16 13:00:45| Loaded Icons.
2008/07/16 13:00:45| Ready to serve requests.
2008/07/16 13:00:59| Store rebuilding is 0.16% complete
2008/07/16 13:01:14| Store rebuilding is 0.29% complete
2008/07/16 13:01:29| Store rebuilding is 0.42% complete
2008/07/16 13:01:44| Store rebuilding is 0.54% complete
2008/07/16 13:02:00| Store rebuilding is 0.68% complete
2008/07/16 13:02:16| Store rebuilding is 0.82% complete
2008/07/16 13:02:31| Store rebuilding is 0.96% complete
2008/07/16 13:02:46| Store rebuilding is 1.09% complete
2008/07/16 13:03:01| Store rebuilding is 1.23% complete
2008/07/16 13:03:16| Store rebuilding is 1.35% complete
2008/07/16 13:03:32| Store rebuilding is 1.49% complete
2008/07/16 13:03:47| Store rebuilding is 1.63% complete
2008/07/16 13:04:02| Store rebuilding is 1.76% complete
2008/07/16 13:04:18| Store rebuilding is 1.90% complete
.......
2008/07/16 13:13:02| Store rebuilding is 6.52% complete
2008/07/16 13:13:18| Store rebuilding is 6.66% complete
2008/07/16 13:13:33| Store rebuilding is 6.79% complete
2008/07/16 13:13:49| Store rebuilding is 6.93% complete
2008/07/16 13:14:04| Store rebuilding is 7.07% complete
.......

и вот так висит некий Store Rebuilding (до этого до 3000%+ доходило). Ребутался, реконфигился - не помогает.

store.log (вырастает в размере очень быстро. Только удалил, сразу в 500МБ вырастает, в 2ГБ..... и т.д.)
1216210789.455 RELEASE -1 FFFFFFFF 4C3518E0B1E0AFC525727F0A615A19CB   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF A7C096426E92837122E01BB603EC123C   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 6613F3526B00310A02CCC1A25E65FB2E   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 8589579B01A42421977C0866F5282864   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 3FA8D781761E3B913F07117A04124265   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 770E07A08C2248DF770D4E83715E9F83   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 5BC2913286184C72B591BB0E979D8752   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 4DB114569527F1C1E42C125036CFCC9D   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 20E84AB406DDD4820E4484D648FA324C   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF C88DA284DD51782ADADFF5279C4D5099   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 66541856772645C391290326E44557AD   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF B10D03ABDCF59D82C2A190380D965977   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF A40055C9E2D658B333CF86A1279A9D8F   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF FFC5BC08858C9DBACD3877FF429B0F67   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 3DDD0C160DC76A56F9146EC75945B840   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF C92390478DAC2D4D9286F05A2E344145   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF E517A268CBBAD4B922507026F1214D1C   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 01F05371804074605745195DBA2D19A5   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 8043F89E681C74FEAE102888F9D427A0   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 1C763DAAFA2A4C4B97DA17AB5622354D   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 6C0697CA2738161BD6EA3500B25E06E9   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 5896E457559CDBD3891ACA91853ED2FA   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF A3249822C3D2E6D6251ACF08B3F06F95   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 0E23786F6B115845B9A0955D8F991988   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF B101A9EBF695EB9DCA12816A867A42D6   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF FF411FF0DD89C65D42415C14B4969BD9   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 51B7BFCC5EC9216362FA27C4278E91A1   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 1EECB59E54C2669EC76BF8A685C10A38   ?         ?         ?         ? ?/? ?/? ? ?

До этого были нормальные логи, типа:
1215424675.568 RELEASE -1 FFFFFFFF A5C30144BCCA937F1E38EDA385495518  403 1215424675         0        -1 text/html 1415/1415 CO
NNECT xmpp.yandex.ru:5222
1215424746.380 RELEASE 00 000019C6 06846D2DD2CE3126D7DE95BFA353F443  200 1215413851 1215413851 1215414151 text/xml -1/385 GET
http://export.yandex.ru/weather/
1215424746.382 SWAPOUT 00 000019C8 06846D2DD2CE3126D7DE95BFA353F443  200 1215414091 1215414091 1215414391 text/xml -1/385 GET
http://export.yandex.ru/weather/
1215424806.192 RELEASE -1 FFFFFFFF 44B1F957F7886BEE85C2FB726AE0B540  403 1215424806         0        -1 text/html 1415/1415 CO
NNECT xmpp.yandex.ru:5222
1215424886.080 SWAPOUT 00 000019C9 68942C1C4EDF39FE5A6101946313F5A8  200 1215414231 1215414231 1215414531 text/html -1/11659 G
ET http://www.punto.ru/
1215424886.388 SWAPOUT 00 000019CA 3C6F5E96F100BD8DF56942571F2B84E4  200 1215414231 1215399335 1215457431 text/css 910/910 GET
http://www.punto.ru/punto.css
1215424886.410 SWAPOUT 00 000019CB 34FCBE7A640117CD917AB432E016EDE9  200 1215414231 1215399335 1215457431 image/png 2474/2474
GET http://www.punto.ru/logo.png

+ время от времени повторялось вышеуказанное, но быстро проходило:
1215424886.488 RELEASE 00 00002610 0B7D887933D53ABFAC8327AD9ADE0D1E   ?         ?         ?         ? ?/? ?/? ? ?
1215424886.488 RELEASE 00 00002611 3550CF4045F635E304E4E02BAFB22A68   ?         ?         ?         ? ?/? ?/? ? ?
1215424886.488 RELEASE 00 00002615 D09E49F6356E8CD616949C804E00926A   ?         ?         ?         ? ?/? ?/? ? ?
1215424886.488 RELEASE 00 00002616 A8972253C2B74F83F69799B75A73B18A   ?         ?         ?         ? ?/? ?/? ? ?
1215424887.503 SWAPOUT 00 000019CC E4F0551CA507DC956C7266136C9E2206  200 1215414232 1215399335 1215457432 image/gif 880/880 GET http://www.punto.ru/mailbox.gif
1215424888.508 RELEASE 00 00002617 3E4F81BCE4995B96618DE29A525127BC   ?         ?         ?         ? ?/? ?/? ? ?
1215424920.245 RELEASE 00 00001828 54ABDE9BE84B174A5EE62E72620F1B3C  200 1215392674 1215391065        -1 application/octet-stream 921/921 GET http://u44.eset.com/nod_eval/update.ver
1215424920.245 SWAPOUT 00 000019CD 54ABDE9BE84B174A5EE62E72620F1B3C  200 1215414265 1215414209        -1 application/octet-stream 921/921 GET http://u44.eset.com/nod_eval/update.ver

Заранее премного благодарен за помощь, совет в решении проблемы.

Содержание
Сообщения в этом обсуждении
"Внезапная проблема со Squid 3.0 Stable 2"
Отправлено Golub Mikhail , 16-Июл-08 14:49 
>[оверквотинг удален]
>Вчера вечером произошел какой-то сбой (возможно у провайдера) и служба остановилась. Утром
>запускаю вручную (/usr/sbin/squid start). Собственно icq всякие запустились, а вот сайты
>открываются...даже не открываются. Загружаются на 40-50% и висят. На некоторых же
>машинах запускаются нормально (парадоксально).
>Конфиг не менял перед сбоем.
>Начал ковырять логи.
>И вот тут возникла траббла.
>cache.log
>.......
>Заранее премного благодарен за помощь, совет в решении проблемы.

Застопить сквид. Удалить кеш. Создать кеш. Запустить сквид.

"Внезапная проблема со Squid 3.0 Stable 2"
Отправлено Ramaloke , 16-Июл-08 14:58 
>[оверквотинг удален]
>>открываются...даже не открываются. Загружаются на 40-50% и висят. На некоторых же
>>машинах запускаются нормально (парадоксально).
>>Конфиг не менял перед сбоем.
>>Начал ковырять логи.
>>И вот тут возникла траббла.
>>cache.log
>>.......
>>Заранее премного благодарен за помощь, совет в решении проблемы.
>
>Застопить сквид. Удалить кеш. Создать кеш. Запустить сквид.

- #service squid stop
- /var/spool/squid удалил содержимое папки
- #/usr/sbin/squid -z
- #service squid start

Удалил еще store.log, а то пока мутил до 7ГБ вырос с записями:
store.log
.......
1216210789.455 RELEASE -1 FFFFFFFF E517A268CBBAD4B922507026F1214D1C   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 01F05371804074605745195DBA2D19A5   ?         ?         ?         ? ?/? ?/? ? ?
1216210789.455 RELEASE -1 FFFFFFFF 8043F89E681C74FEAE102888F9D427A0   ?         ?         ?         ? ?/? ?/? ? ?
.......

Теперь смотрю логи:
cache.log
2008/07/16 14:18:51| Starting Squid Cache version 3.0.STABLE2 for i386-redhat-linux-gnu...
2008/07/16 14:18:51| Process ID 3590
2008/07/16 14:18:51| With 1024 file descriptors available
2008/07/16 14:18:51| DNS Socket created at 0.0.0.0, port 46096, FD 7
2008/07/16 14:18:51| Adding nameserver 91.90.15.4 from /etc/resolv.conf
2008/07/16 14:18:51| helperOpenServers: Starting 5 'ncsa_auth' processes
2008/07/16 14:18:51| User-Agent logging is disabled.
2008/07/16 14:18:51| Referer logging is disabled.
2008/07/16 14:18:51| Unlinkd pipe opened on FD 17
2008/07/16 14:18:51| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2008/07/16 14:18:51| Swap maxSize 102400 KB, estimated 7876 objects
2008/07/16 14:18:51| Target number of buckets: 393
2008/07/16 14:18:51| Using 8192 Store buckets
2008/07/16 14:18:51| Max Mem  size: 8192 KB
2008/07/16 14:18:51| Max Swap size: 102400 KB
2008/07/16 14:18:51| Rebuilding storage in /var/spool/squid (DIRTY)
2008/07/16 14:18:51| Using Least Load store dir selection
2008/07/16 14:18:51| Set Current Directory to /var/spool/squid
2008/07/16 14:18:51| Loaded Icons.
2008/07/16 14:18:51| Accepting  HTTP connections at 0.0.0.0, port 3128, FD 18.
2008/07/16 14:18:51| Accepting ICP messages at 0.0.0.0, port 3130, FD 19.
2008/07/16 14:18:51| HTCP Disabled.
2008/07/16 14:18:51| Accepting SNMP messages on port 3401, FD 20.
2008/07/16 14:18:51| Outgoing SNMP messages on port 3401, FD 21.
2008/07/16 14:18:51| Ready to serve requests.
2008/07/16 14:18:52| Done scanning /var/spool/squid swaplog (0 entries)
2008/07/16 14:18:52| Finished rebuilding storage from disk.
2008/07/16 14:18:52|         0 Entries scanned
2008/07/16 14:18:52|         0 Invalid entries.
2008/07/16 14:18:52|         0 With invalid flags.
2008/07/16 14:18:52|         0 Objects loaded.
2008/07/16 14:18:52|         0 Objects expired.
2008/07/16 14:18:52|         0 Objects cancelled.
2008/07/16 14:18:52|         0 Duplicate URLs purged.
2008/07/16 14:18:52|         0 Swapfile clashes avoided.
2008/07/16 14:18:52|   Took 0.81 seconds (  0.00 objects/sec).
2008/07/16 14:18:52| Beginning Validation Procedure
2008/07/16 14:18:52|   Completed Validation Procedure
2008/07/16 14:18:52|   Validated 28 Entries
2008/07/16 14:18:52|   store_swap_size = 4
2008/07/16 14:18:52| storeLateRelease: released 0 objects


Как следствие - инет запахал и запыхтел.
Но отсюда важный вопрос(ы):
- Из-за чего все-таки сбой произошел?
- Как избежать такого сбоя в дальнейшем (не думаю, что раз в месяц надо кеш удалять и пересоздавать)???

Большое спасибо за помощь.

"Внезапная проблема со Squid 3.0 Stable 2"
Отправлено reader , 16-Июл-08 17:38 
>[оверквотинг удален]
>2008/07/16 14:18:52| storeLateRelease: released 0 objects
>
>
>Как следствие - инет запахал и запыхтел.
>Но отсюда важный вопрос(ы):
>- Из-за чего все-таки сбой произошел?
>- Как избежать такого сбоя в дальнейшем (не думаю, что раз в
>месяц надо кеш удалять и пересоздавать)???
>
>Большое спасибо за помощь.

врядли из-за провайдера squid остановился бы, а вот если место на разделе с кешем кончилось, то запросто.

"Внезапная проблема со Squid 3.0 Stable 2"
Отправлено Ramaloke , 16-Июл-08 17:50 
>[оверквотинг удален]
>>Как следствие - инет запахал и запыхтел.
>>Но отсюда важный вопрос(ы):
>>- Из-за чего все-таки сбой произошел?
>>- Как избежать такого сбоя в дальнейшем (не думаю, что раз в
>>месяц надо кеш удалять и пересоздавать)???
>>
>>Большое спасибо за помощь.
>
>врядли из-за провайдера squid остановился бы, а вот если место на разделе
>с кешем кончилось, то запросто.

Воть:
# df -Ha
Filesystem             Size   Used  Avail Use% Mounted on
/dev/mapper/VolGroup00-LogVol00
                        39G   4.3G    32G  12% /
proc                      0      0      0   -  /proc
sysfs                     0      0      0   -  /sys
devpts                    0      0      0   -  /dev/pts
/dev/sda1              200M    17M   173M   9% /boot
tmpfs                  114M      0   114M   0% /dev/shm
none                      0      0      0   -  /proc/sys/fs/binfmt_misc
sunrpc                    0      0      0   -  /var/lib/nfs/rpc_pipefs
fusectl                   0      0      0   -  /sys/fs/fuse/connections
nfsd                      0      0      0   -  /proc/fs/nfsd

Места с головой (32Гб).