URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID12
Нить номер: 6320
[ Назад ]

Исходное сообщение
"Проблема со squid'ом на Ubuntu"

Отправлено Impuls , 22-Фев-10 15:32 
На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available (105)" , или чего хуже соединение просто сбрасывалось. Чем это может быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как 3-х дневное юзание гугла, ничем не помогло.

Содержание

Сообщения в этом обсуждении
"Проблема со squid'ом на Ubuntu"
Отправлено Vlad , 22-Фев-10 17:41 
Проблему решал на своем Celeron 400 128мб 20Gb так: кешь выставил на 15Гб и примерно на третий день или через неделю, (выяснить по загруженности) удалял кешь и создавал заново по крону. Посоветовали как то на форуме, когда такая же проблема была, а т.к. разбираться не особого хотелось че там и как выбрал этот вариант.

"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 22-Фев-10 19:50 
>Проблему решал на своем Celeron 400 128мб 20Gb так: кешь выставил на
>15Гб и примерно на третий день или через неделю, (выяснить по
>загруженности) удалял кешь и создавал заново по крону. Посоветовали как то
>на форуме, когда такая же проблема была, а т.к. разбираться не
>особого хотелось че там и как выбрал этот вариант.

Можно подробней с кодом, а то я линукс использую 1-й месяц и неочень разбираюсь в понятиях.


"Проблема со squid'ом на Ubuntu"
Отправлено reader , 24-Фев-10 13:20 
>>Проблему решал на своем Celeron 400 128мб 20Gb так: кешь выставил на
>>15Гб и примерно на третий день или через неделю, (выяснить по

по моему при таком размере кеша, ОЗУ маловато.

>>загруженности) удалял кешь и создавал заново по крону. Посоветовали как то
>>на форуме, когда такая же проблема была, а т.к. разбираться не
>>особого хотелось че там и как выбрал этот вариант.
>
>Можно подробней с кодом, а то я линукс использую 1-й месяц и
>неочень разбираюсь в понятиях.

http://www.opennet.me/openforum/vsluhforumID12/5808.html


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 24-Фев-10 16:56 
>[оверквотинг удален]
>по моему при таком размере кеша, ОЗУ маловато.
>
>>>загруженности) удалял кешь и создавал заново по крону. Посоветовали как то
>>>на форуме, когда такая же проблема была, а т.к. разбираться не
>>>особого хотелось че там и как выбрал этот вариант.
>>
>>Можно подробней с кодом, а то я линукс использую 1-й месяц и
>>неочень разбираюсь в понятиях.
>
>http://www.opennet.me/openforum/vsluhforumID12/5808.html

одним из первых изучил этот топик, вбил похожие данные не помогло. Если можно то пожалуйста конуретизируйте кодом под мою систему.


"Проблема со squid'ом на Ubuntu"
Отправлено reader , 24-Фев-10 21:04 
>[оверквотинг удален]
>>>>на форуме, когда такая же проблема была, а т.к. разбираться не
>>>>особого хотелось че там и как выбрал этот вариант.
>>>
>>>Можно подробней с кодом, а то я линукс использую 1-й месяц и
>>>неочень разбираюсь в понятиях.
>>
>>http://www.opennet.me/openforum/vsluhforumID12/5808.html
>
>одним из первых изучил этот топик, вбил похожие данные не помогло. Если
>можно то пожалуйста конуретизируйте кодом под мою систему.

так вы бы указали что делали. это может быть много из-за чего например мало памяти выделено для squid, настройки сети в ядре, а может у вас активность в сети такая что сокеты кончились :)

какие еще были сообщения рядом с no buffer space available (105)


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 25-Фев-10 15:41 
>[оверквотинг удален]
>>
>>одним из первых изучил этот топик, вбил похожие данные не помогло. Если
>>можно то пожалуйста конуретизируйте кодом под мою систему.
>
>так вы бы указали что делали. это может быть много из-за чего
>например мало памяти выделено для squid, настройки сети в ядре, а
>может у вас активность в сети такая что сокеты кончились :)
>
>
>какие еще были сообщения рядом с no buffer space available (105)

только это больше никаких сообщений об ошибке не вылетает, ну и иногда без разъясниения причин просто сбрасывается соединение. А как например добавить память и расширить сокеты.


"Проблема со squid'ом на Ubuntu"
Отправлено reader , 25-Фев-10 21:37 
>[оверквотинг удален]
>>так вы бы указали что делали. это может быть много из-за чего
>>например мало памяти выделено для squid, настройки сети в ядре, а
>>может у вас активность в сети такая что сокеты кончились :)
>>
>>
>>какие еще были сообщения рядом с no buffer space available (105)
>
>только это больше никаких сообщений об ошибке не вылетает, ну и иногда
>без разъясниения причин просто сбрасывается соединение. А как например добавить память
>и расширить сокеты.

ну начните с того что давным давно предлогали
http://www.squid-cache.org/mail-archive/squid-users/200309/0...

cache_mem я так понимаю вы меняли. или нет?


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 25-Фев-10 22:23 
>[оверквотинг удален]
>>>какие еще были сообщения рядом с no buffer space available (105)
>>
>>только это больше никаких сообщений об ошибке не вылетает, ну и иногда
>>без разъясниения причин просто сбрасывается соединение. А как например добавить память
>>и расширить сокеты.
>
>ну начните с того что давным давно предлогали
>http://www.squid-cache.org/mail-archive/squid-users/200309/0...
>
>cache_mem я так понимаю вы меняли. или нет?

Нет значения cache_mem стоит по умолчанию, из всего конфига прописана только авторизация, и пару аклов. Остальное все по умолчанию.


"Проблема со squid'ом на Ubuntu"
Отправлено reader , 26-Фев-10 12:10 
>[оверквотинг удален]
>>>без разъясниения причин просто сбрасывается соединение. А как например добавить память
>>>и расширить сокеты.
>>
>>ну начните с того что давным давно предлогали
>>http://www.squid-cache.org/mail-archive/squid-users/200309/0...
>>
>>cache_mem я так понимаю вы меняли. или нет?
>
>Нет значения cache_mem стоит по умолчанию, из всего конфига прописана только авторизация,
>и пару аклов. Остальное все по умолчанию.

укажите 50 и смотрите что изменится


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 26-Фев-10 14:41 
>[оверквотинг удален]
>>>
>>>ну начните с того что давным давно предлогали
>>>http://www.squid-cache.org/mail-archive/squid-users/200309/0...
>>>
>>>cache_mem я так понимаю вы меняли. или нет?
>>
>>Нет значения cache_mem стоит по умолчанию, из всего конфига прописана только авторизация,
>>и пару аклов. Остальное все по умолчанию.
>
>укажите 50 и смотрите что изменится

ничего, не поменялось.


"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 27-Фев-10 17:05 
>На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid
>с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени
>начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available
>(105)" , или чего хуже соединение просто сбрасывалось. Чем это может
>быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено
>только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как
>3-х дневное юзание гугла, ничем не помогло.

Размер кэша на диске сколько отведен в конфиге? И сколько реально на диске он сейчас занимает. Размер раздела swap на винте  какой?
Показал бы что ли конфиг сквида, только без коммментов. Или хотя бы параметры
cache_mem и cache_dir, но лучше весь конфиг.
Жмакни:
grep -v "^#" squid.conf | uniq > squid.conf.txt
содержимое файлика squid.conf.txt сюда
оценить размер кэша на винте, находясь в папке с каталогом cache:
du -s cache


"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 27-Фев-10 17:20 
лучше
du -s -m cache



"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 04-Мрт-10 15:21 
>[оверквотинг удален]
>диске он сейчас занимает. Размер раздела swap на винте  какой?
>
>Показал бы что ли конфиг сквида, только без коммментов. Или хотя бы
>параметры
>cache_mem и cache_dir, но лучше весь конфиг.
>Жмакни:
>grep -v "^#" squid.conf | uniq > squid.conf.txt
>содержимое файлика squid.conf.txt сюда
>оценить размер кэша на винте, находясь в папке с каталогом cache:
>du -s cache

Значения cache_mem и cache_dir не настроены, когда нахожусь в папке var юзаю команду du -s cache, вот результат :

30      cache


"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 05-Мрт-10 08:15 
Попробуй такие параметры
cache_mem 32 MB
cache_dir ufs /usr/local/squid/cache 512 16 256 #полгига кэша на винте,путь исправь на свой
memory_pools off

очисти кэш сквида или пересоздай заново(удали каталог cache и затем squid -z)
размер свопа для системы на диске какой?



"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 05-Мрт-10 11:29 
>Попробуй такие параметры
>cache_mem 32 MB
>cache_dir ufs /usr/local/squid/cache 512 16 256 #полгига кэша на винте,путь исправь на
>свой
>memory_pools off
>
>очисти кэш сквида или пересоздай заново(удали каталог cache и затем squid -z)
>
>размер свопа для системы на диске какой?

Незнаю что такое своп.


"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 05-Мрт-10 12:32 
>[оверквотинг удален]
>>cache_mem 32 MB
>>cache_dir ufs /usr/local/squid/cache 512 16 256 #полгига кэша на винте,путь исправь на
>>свой
>>memory_pools off
>>
>>очисти кэш сквида или пересоздай заново(удали каталог cache и затем squid -z)
>>
>>размер свопа для системы на диске какой?
>
>Незнаю что такое своп.

Своп (англ. swap) — виртуальная оперативная память, которая может быть представлена либо специальным разделом (partition) на жёстком диске, либо отдельным файлом на обычном разделе жёсткого диска.
В UNIX-подобных операционных системах SWAP обычно помещается на отдельный раздел жёсткого диска, что несколько быстрее, чем если SWAP находится в отдельном файле на обычном разделе.
в винде своп это файл подкачки pagefile.sys
жмакни в линуксе
free - m
покажет в мегабайтах типа этого:

             total       used       free     shared    buffers     cached
Mem:           124        121          3         30         36         13
-/+ buffers/cache:         71         53
Swap:          383          2        381


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 05-Мрт-10 16:12 
>[оверквотинг удален]
>       121    
>      3    
>    30      
>  36        
>13
>-/+ buffers/cache:         71  
>       53
>Swap:          383  
>        2  
>     381

free -m вижу:
total       used       free     shared    buffers     cached
Mem:           512        411        100          0          0          0
-/+ buffers/cache:        411        100
Swap:            0          0          0

swapon -s вижу:

Filename                                Type            Size    Used    Priority

Кстати конфиг

cache_mem 32 MB
cache_dir ufs /usr/local/squid/cache 512 16 256 #полгига кэша на винте,путь исправь на свой
memory_pools off

не дает никаких результатов, такие же лаги. Ошибка No buffer space avaliable, или очень долго грузится, или сбрасывается соединение.


"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 05-Мрт-10 12:40 
можно еще так глянуть размер партишина для свопа
swapon -s

Filename                        Type            Size    Used    Priority
/dev/hda2                       partition       393112  2284    -1



"Проблема со squid'ом на Ubuntu"
Отправлено ipmanyak , 05-Мрт-10 12:44 
фак по свопу
https://help.ubuntu.com/community/SwapFaq#Example%20of&...



"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 05-Мрт-10 16:31 
>фак по свопу
>https://help.ubuntu.com/community/SwapFaq#Example%20of&...

Помогите созадть swap директории, так как я понял из выше сказаного ее вообще нету.


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 05-Мрт-10 16:48 
А то юзаю команды по очереди.
# sudo dd if=/dev/zero of=/home/swap-tmp bs=1024 count=1024K

Результат :
1048576+0 records in
1048576+0 records out
1073741824 bytes (1.1 GB) copied, 31.9127 s, 33.6 MB/s
Потом:

# sudo mkswap /home/swap-tmp

Результат:

Setting up swapspace version 1, size = 1048572 KiB
no label, UUID=67d3f242-b6bc-49cd-bd1e-92f3be022a71

Далее:

# sudo swapon /home/swap-tmp

Результат:

swapon: /home/swap-tmp: Operation not permitted

И всё незнаю, что дальше делать.



"Проблема со squid'ом на Ubuntu"
Отправлено reader , 05-Мрт-10 16:58 
>[оверквотинг удален]
>
>Далее:
>
># sudo swapon /home/swap-tmp
>
>Результат:
>
>swapon: /home/swap-tmp: Operation not permitted
>
>И всё незнаю, что дальше делать.

покажите вывод fdisk -l, df и mount


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 05-Мрт-10 17:02 
>[оверквотинг удален]
>>
>># sudo swapon /home/swap-tmp
>>
>>Результат:
>>
>>swapon: /home/swap-tmp: Operation not permitted
>>
>>И всё незнаю, что дальше делать.
>
>покажите вывод fdisk -l, df и mount

fdisk -l :
cannot open /proc/partitions

df :
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/simfs            20480000   3717436  16762564  19% /
tmpfs                   262144         0    262144   0% /lib/init/rw
varrun                  262144       296    261848   1% /var/run
varlock                 262144         0    262144   0% /var/lock
udev                    262144         0    262144   0% /dev
tmpfs                   262144         0    262144   0% /dev/shm

mount :
/dev/simfs on / type reiserfs (rw,usrquota,grpquota)
tmpfs on /lib/init/rw type tmpfs (rw,nosuid)
proc on /proc type proc (rw,nosuid,nodev,noexec)
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec)
varrun on /var/run type tmpfs (rw,nosuid)
varlock on /var/lock type tmpfs (rw,nosuid,nodev,noexec)
udev on /dev type tmpfs (rw)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
devpts on /dev/pts type devpts (rw,nosuid,noexec)



"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 06-Мрт-10 13:45 
Ну что никто незнает, что делать?



"Проблема со squid'ом на Ubuntu"
Отправлено reader , 06-Мрт-10 21:15 
>Ну что никто незнает, что делать?

уменьшите раздел монтированный к / и на освободившемся месте сделайте своп-раздел, потом пропишите его в fstab, потом swapon -a

незнаю можно ли reiserfs уменьшить без потери данных.


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 06-Мрт-10 23:00 
>>Ну что никто незнает, что делать?
>
>уменьшите раздел монтированный к / и на освободившемся месте сделайте своп-раздел, потом
>пропишите его в fstab, потом swapon -a
>
>незнаю можно ли reiserfs уменьшить без потери данных.

А можно попожробней как это реализовать, а то я пока с линуксов (в частности убунту) на вы.


"Проблема со squid'ом на Ubuntu"
Отправлено OffilkOutlisk , 06-Мрт-10 21:27 
Сообщество украинцев, которые обмениваются дарами на сайте. Отдавать вещи даром - принимать в дар то, что отдают.

"Проблема со squid'ом на Ubuntu"
Отправлено Keydaydievifs , 06-Мрт-10 22:14 
Сообщество украинцев, которые обмениваются дарами на сайте. Отдавать вещи даром - принимать в дар то, что отдают.

"Проблема со squid'ом на Ubuntu"
Отправлено Tortuttelpets , 06-Мрт-10 22:21 
Сообщество украинцев, которые обмениваются дарами на сайте. Отдавать вещи даром - принимать в дар то, что отдают.

"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 07-Мрт-10 11:07 
>На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid
>с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени
>начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available
>(105)" , или чего хуже соединение просто сбрасывалось. Чем это может
>быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено
>только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как
>3-х дневное юзание гугла, ничем не помогло.

а тор
рент клиенты работающие, через прокси. немогут глушить прокси?


"Проблема со squid'ом на Ubuntu"
Отправлено Impuls , 07-Мрт-10 11:07 
>На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid
>с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени
>начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available
>(105)" , или чего хуже соединение просто сбрасывалось. Чем это может
>быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено
>только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как
>3-х дневное юзание гугла, ничем не помогло.

"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 14-Дек-10 15:45 
>>На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid
>>с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени
>>начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available
>>(105)" , или чего хуже соединение просто сбрасывалось. Чем это может
>>быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено
>>только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как
>>3-х дневное юзание гугла, ничем не помогло.

чичас мучаю squid в первый раз на debian lenny.  стопорнулся на кеше. в тэге cache_dir ufs тип файловой системы ufs. Это типа чтобы включить кеш надо форматнуть раздел под ufs????


"Проблема со squid'ом на Ubuntu"
Отправлено reader , 14-Дек-10 15:57 
>>>На сервере(800 Mhz, 512 Mb RAM, 20Gb HDD) стоит прокси сервер squid
>>>с авторитизацией по логину/паролю. Используется где-то 40 компами. С недавнего времени
>>>начались проблемы долгие загрузги страниц ,или ошибка "no buffer space available
>>>(105)" , или чего хуже соединение просто сбрасывалось. Чем это может
>>>быть вызвано, сервер практически не нагружается в Webmin'е оперативной памяти загружено
>>>только 190 Mb, процессора вообще по минимуму. Помогите пожалуйста так как
>>>3-х дневное юзание гугла, ничем не помогло.
> чичас мучаю squid в первый раз на debian lenny.  стопорнулся на
> кеше. в тэге cache_dir ufs тип файловой системы ufs. Это типа
> чтобы включить кеш надо форматнуть раздел под ufs????

нет


"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 14-Дек-10 16:24 
толи я тугой или так и есть. если я правильно понял механиз кэширования, то сначала заполняется память затем swap, и после заполнения последнего  начинает скидывать инфу cache_dir.
в мане четко прописано использовать ufs для cache_dir, ну или еще пару вариантов --enable-storeio=ufs,aufs,coss. перефразирую вопрос. Дериктория которая указана для использования кеша должна быть форматнута в один из предложенных вариантов??
меня смущает вобще то что у меня раздел в который оно якобы собирается писать кэш по умолчанию (cache_dir ufs /var/spool/squid/cache 100 16 256) форматирован под ext3fs.не вызовет ли это переполнений? да и ufs в debiane если верить гуглу убрали полноценную поддержку.отсавили только чтение.

"Проблема со squid'ом на Ubuntu"
Отправлено reader , 14-Дек-10 16:38 
> толи я тугой или так и есть. если я правильно понял механиз
> кэширования, то сначала заполняется память затем swap, и после заполнения последнего
>  начинает скидывать инфу cache_dir.

нет, работает с памятью, если объекты не большие и по мере работы сбрасывает в cache_dir

> в мане четко прописано использовать ufs для cache_dir, ну или еще пару
> вариантов --enable-storeio=ufs,aufs,coss. перефразирую вопрос. Дериктория которая
> указана для использования кеша должна быть форматнута в один из предложенных
> вариантов??
>  меня смущает вобще то что у меня раздел в который оно
> якобы собирается писать кэш по умолчанию (cache_dir ufs /var/spool/squid/cache 100 16
> 256) форматирован под ext3fs.не вызовет ли это переполнений? да и ufs
> в debiane если верить гуглу убрали полноценную поддержку.отсавили только чтение.

перед первым запускам формируете структуру , запустив squid(3) -z , потом пробуете запустить и смотрите cache.log как там звезды сложились.


"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 14-Дек-10 21:23 
со звездами вроде разгребся. матчасть учить надо, в частности зачем нам ufs, а в моем случае aufs...объединение нескольких директорий дисков или еще чего в одно целое...отписал для таких же нубов как сам

"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 16-Дек-10 12:05 
по ходу пьессы возник еще вопрос. squid настроил с ntlm авторизацией с разделением прав по группам. вроде все хорошо одно но при изменении членства пользователя в группах или добавления нового пользователя в группу squid не понимает произведенных изменений. надо каждый раз рестатить squid.  я так понимаю , если ошибаюсь поправте плиз, это связано с появлении нового acl.. обойти это как то можно что применение изменений подхватывались на лету

"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 16-Дек-10 12:23 
тихо сам с собой веду беседу:). squid -k reconfigure в cron или есть другие варианты?


"Проблема со squid'ом на Ubuntu"
Отправлено mglushak , 16-Дек-10 14:10 
> тихо сам с собой веду беседу:). squid -k reconfigure в cron или
> есть другие варианты?

===========================================
По ходу нет, squid должен перечитать твои настройки



"Проблема со squid'ом на Ubuntu"
Отправлено sasha , 17-Дек-10 13:10 
нашел вариант без крона.  параметр ttl запихнул в определение  внешнего класса, теперь принимает все изменения членства пользователя в группе домена "на лету".
external_acl_type nt_group ttl=10 negative_ttl=10 %LOGIN /usr/lib/squid/wbinfo_group.pl.