URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 79779
[ Назад ]
Исходное сообщение
"FreeBSD Too many open files"
Отправлено weldpua2008 , 12-Апр-08 01:15 
Вот что увидел:

Ответ от squid:

Socket Failure

The system returned:
    (24) Too many open files

Как продиагностировать какие переменные увеличить?


>cat /etc/sysctl.conf|grep -v #

net.inet.ip.fastforwarding=1
kern.maxfiles=65000
kern.maxfilesperproc=32000
net.inet.ip.intr_queue_maxlen=1000
kern.ipc.maxsockbuf=1048576
kern.polling.idle_poll=1
kern.polling.reg_frac=20
kern.polling.user_frac=90
net.graph.maxdgram=524288
net.graph.recvspace=524288
net.inet.ip.fw.autoinc_step=1
net.inet.ip.random_id=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.drop_redirect=1
net.inet.ip.redirect=0
net.inet6.ip6.redirect=0
security.bsd.see_other_uids=0
security.bsd.see_other_gids=0
net.inet.ip.fw.debug=0
net.inet.ip.fw.one_pass=0
net.inet.icmp.icmplim_output=0
kern.ipc.somaxconn=32768
kern.ipc.somaxconn=1024
net.inet.icmp.icmplim=50
net.inet.tcp.msl=7500
net.inet.ip.ttl=128
kern.ipc.somaxconn=1024
net.link.ether.inet.log_arp_movements=1
net.inet.icmp.bmcastecho=0
security.bsd.conservative_signals=1
security.bsd.unprivileged_proc_debug=0
security.bsd.unprivileged_read_msgbuf=0
security.bsd.unprivileged_get_quota=0
security.bsd.hardlink_check_uid=1
security.bsd.hardlink_check_gid=1
kern.sync_on_panic=1
kern.coredump=0

Содержание
Сообщения в этом обсуждении
"FreeBSD Too many open files"
Отправлено sproot , 12-Апр-08 06:18 
>[оверквотинг удален]
>net.link.ether.inet.log_arp_movements=1
>net.inet.icmp.bmcastecho=0
>security.bsd.conservative_signals=1
>security.bsd.unprivileged_proc_debug=0
>security.bsd.unprivileged_read_msgbuf=0
>security.bsd.unprivileged_get_quota=0
>security.bsd.hardlink_check_uid=1
>security.bsd.hardlink_check_gid=1
>kern.sync_on_panic=1
>kern.coredump=0

kern.maxfiles
kern.maxfilesperproc
kern.openfiles

"FreeBSD Too many open files"
Отправлено weldpua2008 , 12-Апр-08 11:08 
>[оверквотинг удален]
>>security.bsd.unprivileged_read_msgbuf=0
>>security.bsd.unprivileged_get_quota=0
>>security.bsd.hardlink_check_uid=1
>>security.bsd.hardlink_check_gid=1
>>kern.sync_on_panic=1
>>kern.coredump=0
>
>kern.maxfiles
>kern.maxfilesperproc
>kern.openfiles

И kern.ipc.somaxconn=1024 поменял

6.2-RELEASE-p11:server/>sysctl kern.openfiles
kern.openfiles: 5659
6.2-RELEASE-p11:server/>sysctl kern.openfiles=65000
sysctl: oid 'kern.openfiles' is read only
6.2-RELEASE-p11:server/>sysctl kern.maxfiles
kern.maxfiles: 128000
6.2-RELEASE-p11:server/>sysctl kern.maxfilesperproc
kern.maxfilesperproc: 65000
6.2-RELEASE-p11:server/>sysctl kern.ipc.somaxconn
kern.ipc.somaxconn: 32768

ЗЫ:
Нехватка каких ресурсов приводит к тому, что Я с физической консоли немогу залогинится?

"FreeBSD Too many open files"
Отправлено weldpua2008 , 12-Апр-08 11:12 
>ЗЫ:
>Нехватка каких ресурсов приводит к тому, что Я с физической консоли немогу
>залогинится?

Я набираю логин/пароль а в ответ тишина....
Клава работает, перевод строки работает, СкролЛок нажимая / могу посмотреть историю сообщений - и всё. Машина даже на Альт+Контрол+Делл не отвечает.

"FreeBSD Too many open files"
Отправлено heap , 12-Апр-08 22:13 
>>ЗЫ:
>>Нехватка каких ресурсов приводит к тому, что Я с физической консоли немогу
>>залогинится?
>
>Я набираю логин/пароль а в ответ тишина....
>Клава работает, перевод строки работает, СкролЛок нажимая / могу посмотреть историю сообщений
>- и всё. Машина даже на Альт+Контрол+Делл не отвечает.

Это ж как нужно было накалить кальмара, чтобы система так нагнулась? :-O
Может ему не хватает памяти и/или других вещей (пропускная способность дисковой подсистемы, процессора)?

Попробуй понаблюдать до висюка top, systat -v 1, iostat. Может прояснится чего.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 12-Апр-08 22:35 
>[оверквотинг удален]
>>Клава работает, перевод строки работает, СкролЛок нажимая / могу посмотреть историю сообщений
>>- и всё. Машина даже на Альт+Контрол+Делл не отвечает.
>
>Это ж как нужно было накалить кальмара, чтобы система так нагнулась? :-O
>
>Может ему не хватает памяти и/или других вещей (пропускная способность дисковой подсистемы,
>процессора)?
>
>Попробуй понаблюдать до висюка top, systat -v 1, iostat. Может прояснится чего.
>

Проблема в том, что это началось внезапно - после нескольких внезапных перезагрузок. При этом всём настройки не менялись и всё работало в течении 6мес.

"FreeBSD Too many open files"
Отправлено heap , 12-Апр-08 22:56 
>
>Проблема в том, что это началось внезапно - после нескольких внезапных перезагрузок.
>При этом всём настройки не менялись и всё работало в течении
>6мес.

Несколько внезапных перезагрузок по причине задела уборщица/рубанули свет/...., или сам по себе?
Если сам по себе - напоминает панику ведра. Тогда стоит попробовать словить дамп и отдебажить.
Если же не сам по себе - то могла где-то файловая система повредиться, или еще что нехорошее произошло. Я бы все-таки промониторил в реальном времени что происходит в системе и кто начинает кушать ресурсы. Возможно у сквида в кеше какие-то проблемы. Может снести его к предкам, squid -z и собирать заново?

"FreeBSD Too many open files"
Отправлено weldpua2008 , 13-Апр-08 01:35 
>>
>>Проблема в том, что это началось внезапно - после нескольких внезапных перезагрузок.
>>При этом всём настройки не менялись и всё работало в течении
>>6мес.
>
>Несколько внезапных перезагрузок по причине задела уборщица/рубанули свет/...., или сам по себе?

Отключение света ночью. Когда УПС сдыхает - внезапная переагрузка.

>Если сам по себе - напоминает панику ведра. Тогда стоит попробовать словить
>дамп и отдебажить.
>Если же не сам по себе - то могла где-то файловая система
>повредиться, или еще что нехорошее произошло. Я бы все-таки промониторил в
>реальном времени что происходит в системе и кто начинает кушать ресурсы.

Я наблюдал перед полным зависанием. Я запустил top. Увидел что загрузка системы небольшая, попытался запустить что-то и всё, система зависла. LA было 0,2-0,4.

>Возможно у сквида в кеше какие-то проблемы. Может снести его к
>предкам, squid -z и собирать заново?

При загрузке полностью удаляется кеш и пересобирается squid -z

В системе только: squid + mysql + apache + nginx + mpd4 + freeradius

"FreeBSD Too many open files"
Отправлено weldpua2008 , 13-Апр-08 02:25 
Было kern.ipc.somaxconn=1024

поменял на
6.2-RELEASE-p11:server/>sysctl kern.ipc.somaxconn
kern.ipc.somaxconn: 32768

Пока не вис компьютер, проверка дисков дала 0.

"FreeBSD Too many open files"
Отправлено heap , 13-Апр-08 14:48 
>Было kern.ipc.somaxconn=1024
>
>поменял на
>6.2-RELEASE-p11:server/>sysctl kern.ipc.somaxconn
>kern.ipc.somaxconn: 32768
>
>Пока не вис компьютер, проверка дисков дала 0.

Интересно, что компьютер не вис при расширении somaxconn. А что было в top по памяти перед висюком?

"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 14:42 
>>Было kern.ipc.somaxconn=1024
>>
>>поменял на
>>6.2-RELEASE-p11:server/>sysctl kern.ipc.somaxconn
>>kern.ipc.somaxconn: 32768
>>
>>Пока не вис компьютер, проверка дисков дала 0.
>
>Интересно, что компьютер не вис при расширении somaxconn. А что было в
>top по памяти перед висюком?

Память была как обычно...

"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 16:58 
>[оверквотинг удален]
>>>поменял на
>>>6.2-RELEASE-p11:server/>sysctl kern.ipc.somaxconn
>>>kern.ipc.somaxconn: 32768
>>>
>>>Пока не вис компьютер, проверка дисков дала 0.
>>
>>Интересно, что компьютер не вис при расширении somaxconn. А что было в
>>top по памяти перед висюком?
>
>Память была как обычно...

Хм...
Поставил перед сервером роутер, на котором поднял Вланы
# uname -a
FreeBSD 7.0-RC1

На каждый Влан назначил отдельно подсеть. Включил DHCP.
он уже 2-а раза зависал и без видимых причин. Зато сабж, обсуждаемый выше не зависает нынче.
Кто может подсказать чего сделать можно?

До этого этот роутер работал как прозрачный бридж с фильтрованием и ограничением полосы - он не зависал, зависал сервак.

PS:
Это всё началось после открытия портов: 123,135-139,901,445,7550,7551,7777,8167...


это с роутера:

# ipfw show
00001    57     4446 deny ip from 10.0.0.0/8 to 192.168.254.0/24 src-port 123,135-139,445,7551,7777,7550,8167
00002    57     2736 deny ip from 10.0.0.0/8 to 192.168.254.0/24 dst-port 123,135-139,445,7551,7777,7550,8167
00003     0        0 deny ip from any to 192.168.28.3 dst-port 123,135-139,445,7551,7777,7550,8167
00004     0        0 deny ip from any to 192.168.28.3 src-port 123,135-139,445,7551,7777,7550,8167
00008 80464 32290244 allow gre from any to any
00009     0        0 allow udp from any to any dst-port 500
00010   278    18592 allow tcp from any to any dst-port 1023,1723
00011     0        0 allow esp from any to any
00020     0        0 pipe 1 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via rl1
00022     0        0 pipe 1 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via rl1
00024     0        0 allow udp from 0.0.0.0 2054 to 0.0.0.0
00025     0        0 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00026     0        0 deny tcp from any to me in tcpflags syn,fin,!ack
00028     0        0 deny tcp from any to me in tcpflags fin,!ack,psh,urg
00029 47171  1933135 allow ip from any to me dst-port 22
00030 90011 20601371 allow ip from me 22 to any
00031     0        0 allow ip from any to any via lo0
00033     0        0 deny ip from any to any dst-port 67-68 via rl1
00034     0        0 deny tcp from any to any dst-port 67-68 via rl1
00035     0        0 deny udp from any to any dst-port 67-68 via rl1
00201  1078    89172 pipe 11 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan1
00202   171     8208 pipe 11 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan1
00203   252    39931 pipe 12 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan1
00204   186    11187 pipe 12 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan1
00205     0        0 pipe 13 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan1
00206   112    14201 pipe 14 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan2
00207     0        0 pipe 14 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan2
00208    49     8736 pipe 15 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan2
00209    37     2324 pipe 15 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan2
00210     0        0 pipe 16 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan2
00211   115    14490 pipe 17 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan3
00212     6      288 pipe 17 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan3
00213   207    30299 pipe 18 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan3
00214   167     9108 pipe 18 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan3
00215     0        0 pipe 19 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan3
00216   246    23787 pipe 20 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan4
00217     0        0 pipe 20 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan4
00218    61     9759 pipe 21 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan4
00219    38     2396 pipe 21 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan4
00220     0        0 pipe 22 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan4
00221     0        0 pipe 23 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan5
00222     0        0 pipe 23 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan5
00223     0        0 pipe 24 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan5
00224     0        0 pipe 24 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan5
00225     0        0 pipe 25 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan5
00226     0        0 pipe 26 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan6
00227     0        0 pipe 26 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan6
00228     0        0 pipe 27 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan6
00229     0        0 pipe 27 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan6
00230     0        0 pipe 28 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan6
00231     0        0 pipe 29 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan7
00232     0        0 pipe 29 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan7
00233     0        0 pipe 30 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan7
00234     0        0 pipe 30 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan7
00235     0        0 pipe 31 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan7
00236     0        0 pipe 32 ip from any to any src-port 123,135-139,901,445,7550,7551,7777,8167 via vlan8
00237     0        0 pipe 32 ip from any to any dst-port 123,135-139,901,445,7550,7551,7777,8167 via vlan8
00238     0        0 pipe 33 ip from { 192.168.25.1 or 192.168.26.1 or 192.168.24.1 or 192.168.27.1 or 192.168.28.1 } to any via vlan8
00239     0        0 pipe 33 ip from any to { 192.168.25.1 or dst-ip 192.168.26.1 or dst-ip 192.168.24.1 or dst-ip 192.168.27.1 or dst-ip 192.168.28.1 } via vlan8
00240     0        0 pipe 34 ip from 192.168.0.0/16 to 192.168.0.0/16 via vlan8
15000 52468  3736805 allow ip from any to 192.168.25.13
15000 52564  3736726 allow ip from 192.168.25.13 to any
50000  7687   809192 allow ip from any to any
65535    46     3747 deny ip from any to any

"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 17:04 
>это с роутера:

last pid:  5079;  load averages:  0.00,  0.07,  0.08                                                                                 up 0+00:20:27  15:00:02
19 processes:  1 running, 18 sleeping
CPU states:  0.0% user,  0.0% nice,  0.8% system,  0.4% interrupt, 98.8% idle
Mem: 9220K Active, 7716K Inact, 17M Wired, 112K Cache, 11M Buf, 455M Free
Swap: 2047M Total, 2047M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
4911 root        1  96    0  8320K  3724K select   0:17  0.00% sshd
4919 root        1  96    0 19664K  4152K select   0:04  0.00% mc
4921 root        1   8    0  4384K  2364K wait     0:00  0.00% bash
1398 root        1  96    0  3156K  1176K select   0:00  0.00% syslogd
4915 root        1   8    0  4384K  2268K wait     0:00  0.00% bash
1547 dhcpd       1  96    0  3104K  2352K select   0:00  0.00% dhcpd
5060 root        1  96    0  3488K  1668K RUN      0:00  0.00% top
1632 root        1   8    0  3184K  1228K nanslp   0:00  0.00% cron
4903 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4905 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4910 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4904 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4909 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4906 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4907 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
4908 root        1   5    0  3156K  1048K ttyin    0:00  0.00% getty
1625 root        1  96    0  5608K  3044K select   0:00  0.00% sshd
1560 root        1  96    0  1300K   812K select   0:00  0.00% usbd
1340 root        1  96    0  1888K   548K select   0:00  0.00% devd


# cat /etc/rc.conf
hostname="f7RC1"
gateway_enable="YES"
font8x14="cp866u-8x14"
font8x16="cp866u-8x16"
font8x8="cp866u-8x8"
ifconfig_em0="inet 172.168.1.1  netmask 255.255.255.0"
ifconfig_vr0="inet 192.168.25.13 netmask 255.255.0.0"

cloned_interfaces="vlan1 vlan2 vlan3 vlan4 vlan5 vlan6 vlan7 vlan8"
ifconfig_vlan1="inet 192.168.12.1 netmask 255.255.255.0 vlan 3 vlandev em0"
ifconfig_vlan2="inet 192.168.13.1 netmask 255.255.255.0 vlan 4 vlandev em0"
ifconfig_vlan3="inet 192.168.14.1 netmask 255.255.255.0 vlan 5 vlandev em0"
ifconfig_vlan4="inet 192.168.15.1 netmask 255.255.255.0 vlan 6 vlandev em0"
ifconfig_vlan5="inet 192.168.16.1 netmask 255.255.255.0 vlan 7 vlandev em0"
ifconfig_vlan6="inet 192.168.17.1 netmask 255.255.255.0 vlan 8 vlandev em0"
ifconfig_vlan7="inet 192.168.18.1 netmask 255.255.255.0 vlan 9 vlandev em0"
ifconfig_vlan8="inet 192.168.19.1 netmask 255.255.255.0 vlan 10 vlandev em0"

keymap="ru.koi8-r"
keyrate="fast"
mousechar_start="3"
saver="blank"
scrnmap="koi8-r2cp866"
sshd_enable="YES"
usbd_enable="YES"
sendmail_enable="NO"
sendmail_submit_enable="NO"
sendmail_outbound_enable="NO"
sendmail_msp_queue_enable="NO"
gateway_enable="YES"
nis_client_enable="NO"
rpcbind_enable="NO"
ipfw_enable="YES"
ipfw_type="OPEN"
pf_enable="NO"
pf_rules="/etc/pf.conf"
pflog_enable="NO"
pflog_logfile="/var/log/pflog"
router_flags="-q"
router="/sbin/routed"
router_enable="NO"
mrtg_daemon_enable="NO"
apache_enable="NO"

dhcpd_enable="YES"
dhcpd_flags="-q"
dhcpd_ifaces="vlan1 vlan2 vlan3 vlan4 vlan5 vlan6 vlan7 vlan8"
dhcpd_chroot_enable="YES"
dhcpd_conf="/usr/local/etc/dhcpd.conf"   # configuration file
dhcpd_devfs_enable="YES"         # devfs if available?
dhcpd_rootdir="/var/db/chroot/dhcpd"        # directory to run in
dhcpd_jail_enable="NO"            # runs imprisoned?

fsck_y_enable="yes"     # Set to YES to do fsck -y if the initial preen fails.
background_fsck="no"    # Attempt to run fsck in the background where possible.
background_fsck_delay="60" # Time to wait (seconds) before starting the fsck.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 17:05 
>[оверквотинг удален]
>          
>          
>          
>    up 0+00:20:27  15:00:02
>19 processes:  1 running, 18 sleeping
>CPU states:  0.0% user,  0.0% nice,  0.8% system,  
>0.4% interrupt, 98.8% idle
>Mem: 9220K Active, 7716K Inact, 17M Wired, 112K Cache, 11M Buf, 455M
>Free
>Swap: 2047M Total, 2047M Free

Такая картина почти всё время...

У Меня возникает предположение что кладут именно БСД?

"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 17:11 
То что только что изменил с " по умолчнию " на:
sysctl kern.maxfiles=128000
sysctl kern.maxfilesperproc=65000
sysctl kern.ipc.somaxconn=32768
"FreeBSD Too many open files"
Отправлено weldpua2008 , 14-Апр-08 17:13 
Еще эти компы связывает DHCP сервер от ISC...
"FreeBSD Too many open files"
Отправлено weldpua2008 , 16-Апр-08 10:07 
>То что только что изменил с " по умолчнию " на:
>sysctl kern.maxfiles=128000
>sysctl kern.maxfilesperproc=65000
>sysctl kern.ipc.somaxconn=32768

Всё равно роутер умер...
Вопрос - что на нём не так?
ЗЫ:
Сегодня обновлю систему, но мне кажется что это какой-то паразитный траффик вешает машину...

"FreeBSD Too many open files"
Отправлено heap , 16-Апр-08 16:13 
>>То что только что изменил с " по умолчнию " на:
>>sysctl kern.maxfiles=128000
>>sysctl kern.maxfilesperproc=65000
>>sysctl kern.ipc.somaxconn=32768
>
>Всё равно роутер умер...
>Вопрос - что на нём не так?
>ЗЫ:
>Сегодня обновлю систему, но мне кажется что это какой-то паразитный траффик вешает
>машину...

Дык может перед обновлением стоило бы провести эксперимент - когда мышинке начало становиться туго - дернуть патчкорд и посмотреть, что будет. У меня как-то был случай - сервер начинал виснуть каждые 3-15 минут. Причем наглухо. А без сетки вроде жил. Причем когда начинал глохнуть - если дернуть сеть - было все ок. Полечил включением в pf функции scrub in all.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 16-Апр-08 21:21 
>[оверквотинг удален]
>>ЗЫ:
>>Сегодня обновлю систему, но мне кажется что это какой-то паразитный траффик вешает
>>машину...
>
>Дык может перед обновлением стоило бы провести эксперимент - когда мышинке начало
>становиться туго - дернуть патчкорд и посмотреть, что будет. У меня
>как-то был случай - сервер начинал виснуть каждые 3-15 минут. Причем
>наглухо. А без сетки вроде жил. Причем когда начинал глохнуть -
>если дернуть сеть - было все ок. Полечил включением в pf
>функции scrub in all.

Туго то туго, только машинка виснит и выдёргивание паичкорда никак не лечит ситуацию - она повисшей и остается...

"FreeBSD Too many open files"
Отправлено heap , 16-Апр-08 22:09 
>Туго то туго, только машинка виснит и выдёргивание паичкорда никак не лечит
>ситуацию - она повисшей и остается...

Может все-таки попробовать включть pf и вбить в него одно правило - scrub in all? Пусть поровняет пакетики - может полегчает. Заодно в pfctl -s info будет видно что с ним делалось - то ли реассемблились, то ли еще что.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 16-Апр-08 23:16 
>>Туго то туго, только машинка виснит и выдёргивание паичкорда никак не лечит
>>ситуацию - она повисшей и остается...
>
>Может все-таки попробовать включть pf и вбить в него одно правило -
>scrub in all? Пусть поровняет пакетики - может полегчает. Заодно в
>pfctl -s info будет видно что с ним делалось - то
>ли реассемблились, то ли еще что.

# pfctl -d
pfctl: pf not enabled

Я использую только ipfw...ито ради "dummy net" - ограничения скорости, так как у Меня WiFi-е линки и надо ограничивать скорость.
ЗЫ: это вторая вещь, которая обьеденяет зависания...

"FreeBSD Too many open files"
Отправлено weldpua2008 , 17-Апр-08 12:11 
Установил:

kern.maxfiles=128000
kern.maxfilesperproc=65000
kern.ipc.somaxconn=32768
net.inet.ip.intr_queue_maxlen=200
kern.ipc.maxsockbuf=1048576
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=32768
net.inet.udp.recvspace=655350
net.inet.icmp.drop_redirect=1
net.inet.udp.blackhole=2
net.inet.tcp.blackhole=2
net.inet.tcp.msl=7500
kern.ipc.maxsockets=204800

Роутер пока не вис....

"FreeBSD Too many open files"
Отправлено heap , 17-Апр-08 12:37 
># pfctl -d
>pfctl: pf not enabled
>
>Я использую только ipfw...ито ради "dummy net" - ограничения скорости, так как
>у Меня WiFi-е линки и надо ограничивать скорость.
>ЗЫ: это вторая вещь, которая обьеденяет зависания...

Давайте рассуждать последовательно. То, что пф выключен было ясно и из рц.конф. Предположение, что систему вешает кривой трафик - не равно предположению, что вас досят. Так вот я к чему - чтобы проверить это предположение - надо не растягивать maxfiles, чтобы можно было открыть вагон сокетов (тем более, что последние висы не сопровождались сообщением об этом), а попробовать включить pf ради одной единственной цели - посмотреть как будет себя вести система и что будет в статистике обработки трафика.

Насчет dummynet - в 6.3 и 7.0 там что-то, ИМХО, поломали, потому как два из моих роутеров переехав с 6.1 и 6.2  и на 6.3/7.0 начинали регулярно паниковать, причем на области dummynet. Полечилось пока накатом до 7.0-STABLE, наложением патча, смерженного из HEAD (патч убирает из дамминета рекурсию) и включением режима iofast. Хотя при этом другие 2 роутера (один на 6.3, другой 7.0) пока живут нормально.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 17-Апр-08 13:20 
>[оверквотинг удален]
>>у Меня WiFi-е линки и надо ограничивать скорость.
>>ЗЫ: это вторая вещь, которая обьеденяет зависания...
>
>Давайте рассуждать последовательно. То, что пф выключен было ясно и из рц.конф.
>Предположение, что систему вешает кривой трафик - не равно предположению, что
>вас досят. Так вот я к чему - чтобы проверить это
>предположение - надо не растягивать maxfiles, чтобы можно было открыть вагон
>сокетов (тем более, что последние висы не сопровождались сообщением об этом),
>а попробовать включить pf ради одной единственной цели - посмотреть как
>будет себя вести система и что будет в статистике обработки трафика.

ок.
И сделать:

>включть pf и вбить в него одно правило - scrub in all? Пусть поровняет пакетики - может полегчает. Заодно в pfctl -s info будет видно что с ним делалось - то ли реассемблились, то ли еще что.

А разрешающее правило надо?...

>Насчет dummynet - в 6.3 и 7.0 там что-то, ИМХО, поломали, потому
>как два из моих роутеров переехав с 6.1 и 6.2  
>и на 6.3/7.0 начинали регулярно паниковать, причем на области dummynet. Полечилось
>пока накатом до 7.0-STABLE, наложением патча, смерженного из HEAD (патч убирает
>из дамминета рекурсию) и включением режима iofast. Хотя при этом другие
>2 роутера (один на 6.3, другой 7.0) пока живут нормально.

Я бы с радостью свалил на pf, но пока не смог реализовать чесное выделение траффика

"FreeBSD Too many open files"
Отправлено heap , 17-Апр-08 13:27 
>А разрешающее правило надо?...

Нет, он по-моему по дефолту accept делает.

>Я бы с радостью свалил на pf, но пока не смог реализовать
>чесное выделение траффика

А для шейпа никто не мешает юзать dummynet. Но если там не vpn, то и ALTQ не плох. Хороший ман с примерами на www.openbsd.org.

"FreeBSD Too many open files"
Отправлено weldpua2008 , 18-Апр-08 11:52 
>>включть pf и вбить в него одно правило - scrub in all? Пусть поровняет пакетики - может полегчает. Заодно в pfctl -s info будет видно что с ним делалось - то ли реассемблились, то ли еще что.

# cat /etc/pf.conf
scrub in all
pass in all
pass out all


# pfctl -s info
Status: Enabled for 0 days 00:04:39           Debug: Urgent

State Table                          Total             Rate
  current entries                      112
  searches                         1040744         3730.3/s
  inserts                              378            1.4/s
  removals                             266            1.0/s
Counters
  match                             535524         1919.4/s
  bad-offset                             0            0.0/s
  fragment                               0            0.0/s
  short                                  0            0.0/s
  normalize                              0            0.0/s
  memory                                 0            0.0/s
  bad-timestamp                          0            0.0/s
  congestion                             0            0.0/s
  ip-option                              0            0.0/s
  proto-cksum                            0            0.0/s
  state-mismatch                         3            0.0/s
  state-insert                           0            0.0/s
  state-limit                            0            0.0/s
  src-limit                              0            0.0/s
  synproxy                               0            0.0/s


#top
last pid:  7039;  load averages:  0.00,  0.00,  0.00                                                                                 up 0+12:11:16  09:52:59
19 processes:  1 running, 18 sleeping
CPU states:  0.0% user,  0.0% nice, 16.4% system, 11.3% interrupt, 72.3% idle
Mem: 9328K Active, 136M Inact, 75M Wired, 20K Cache, 60M Buf, 269M Free
Swap: 2047M Total, 2047M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
6904 root        1  96    0  8328K  3756K select   0:01  0.00% sshd
1702 dhcpd       1  96    0  4128K  2556K select   0:01  0.00% dhcpd
6911 root        1  96    0 19712K  4268K select   0:00  0.00% mc
6913 root        1   8    0  4384K  2340K wait     0:00  0.00% bash
1553 root        1  96    0  3156K  1176K select   0:00  0.00% syslogd
1788 root        1   8    0  3184K  1244K nanslp   0:00  0.00% cron
1715 root        1  96    0  1300K   812K select   0:00  0.00% usbd
6908 root        1   8    0  4384K  2352K wait     0:00  0.00% bash
7039 root        1 -32    0  3488K  1640K RUN      0:00  0.00% top
1781 root        1  96    0  5616K  3180K select   0:00  0.00% sshd
5144 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5147 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5151 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5149 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5146 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5145 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5150 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
5148 root        1   5    0  3156K  1064K ttyin    0:00  0.00% getty
1495 root        1  96    0  1888K   548K select   0:00  0.00% devd

"FreeBSD Too many open files"
Отправлено weldpua2008 , 18-Апр-08 11:55 
И это сейчас, когда народу мало в онлайне...
          
>CPU states:  0.0% user,  0.0% nice, 16.4% system, 11.3% interrupt,
>72.3% idle
"FreeBSD Too many open files"
Отправлено weldpua2008 , 18-Апр-08 12:16 
Могу ли Я как-то порезать входящую+исходящую скорость на этом роутере с помошью pf на vlan'ах?
Я б тогда отказался бы от ipfw - может быть это б решило какие-нить проблемы?либо же наоборот показало бы где эти проблемы присутствуют...
"FreeBSD Too many open files"
Отправлено heap , 18-Апр-08 13:02 
>Могу ли Я как-то порезать входящую+исходящую скорость на этом роутере с помошью
>pf на vlan'ах?
>Я б тогда отказался бы от ipfw - может быть это б
>решило какие-нить проблемы?либо же наоборот показало бы где эти проблемы присутствуют...
>

Так?
http://www.opennet.me/openforum/vsluhforumID1/78309.html

"FreeBSD Too many open files"
Отправлено weldpua2008 , 19-Апр-08 02:35 
>>Могу ли Я как-то порезать входящую+исходящую скорость на этом роутере с помошью
>>pf на vlan'ах?
>>Я б тогда отказался бы от ipfw - может быть это б
>>решило какие-нить проблемы?либо же наоборот показало бы где эти проблемы присутствуют...
>>
>
>Так?
>http://www.opennet.me/openforum/vsluhforumID1/78309.html

По идеи нет, вот так:
http://www.opennet.me/openforum/vsluhforumID1/79898.html#

Кстате вот чего показывает pf сейчас когда в принципе пик нагрузки...


# pfctl -s info
Status: Enabled for 0 days 12:50:24           Debug: Urgent

State Table                          Total             Rate
  current entries                      336
  searches                       151380254         3274.9/s
  inserts                           373924            8.1/s
  removals                          373588            8.1/s
Counters
  match                           10807727          233.8/s
  bad-offset                             0            0.0/s
  fragment                               0            0.0/s
  short                                 13            0.0/s
  normalize                              0            0.0/s
  memory                              7974            0.2/s
  bad-timestamp                          0            0.0/s
  congestion                             0            0.0/s
  ip-option                              0            0.0/s
  proto-cksum                            5            0.0/s
  state-mismatch                       756            0.0/s
  state-insert                           0            0.0/s
  state-limit                            0            0.0/s
  src-limit                              0            0.0/s
  synproxy                               0            0.0/s

"FreeBSD Too many open files"
Отправлено weldpua2008 , 24-Апр-08 16:17 
Вот сегодня опять повис роутер в час ночи примерно...

pfTop: Up State 1-30/578, View: default, Order: none, Cache: 10000                                                                     14:18:08

# pfctl -s info
Status: Enabled for 0 days 00:27:07           Debug: Urgent

State Table                          Total             Rate
  current entries                      566
  searches                         8512194         5231.8/s
  inserts                            21525           13.2/s
  removals                           20959           12.9/s
Counters
  match                            4340001         2667.5/s
  bad-offset                             0            0.0/s
  fragment                               0            0.0/s
  short                                  0            0.0/s
  normalize                              0            0.0/s
  memory                                 0            0.0/s
  bad-timestamp                          0            0.0/s
  congestion                             0            0.0/s
  ip-option                              0            0.0/s
  proto-cksum                            1            0.0/s
  state-mismatch                        31            0.0/s
  state-insert                           0            0.0/s
  state-limit                            0            0.0/s
  src-limit                              0            0.0/s
  synproxy                               0            0.0/s

Подскажите как переползти на pfctl?
Я набросал наброски:
http://www.opennet.me/openforum/vsluhforumID1/79898.html#

"FreeBSD Too many open files"
Отправлено budan11 , 25-Апр-08 14:56 
У меня таже самая фигня. Но правда у меня сервер под линухой и на нем висит почтовый агент (sendmail). Я так и не понял как с этим бороться. Я поступаю очень просто как только система начинает выдавать такие штуки я ее перезагружаю. Правда мне это уже надоело. Но как это победить я так и не знаю. Подскажите, пожалуйста, как с этим бороться.
На вирусы проверил. Нет вирусов. В системе не замечено ни каких не известных процессов.
Помогите кто может.

>[оверквотинг удален]
>>security.bsd.unprivileged_read_msgbuf=0
>>security.bsd.unprivileged_get_quota=0
>>security.bsd.hardlink_check_uid=1
>>security.bsd.hardlink_check_gid=1
>>kern.sync_on_panic=1
>>kern.coredump=0
>
>kern.maxfiles
>kern.maxfilesperproc
>kern.openfiles

"FreeBSD Too many open files"
Отправлено weldpua2008 , 25-Апр-08 16:03 
>У меня таже самая фигня. Но правда у меня сервер под линухой
>и на нем висит почтовый агент (sendmail). Я так и не
>понял как с этим бороться. Я поступаю очень просто как только
>система начинает выдавать такие штуки я ее перезагружаю. Правда мне это
>уже надоело. Но как это победить я так и не знаю.
>Подскажите, пожалуйста, как с этим бороться.
>На вирусы проверил. Нет вирусов. В системе не замечено ни каких не
>известных процессов.
>Помогите кто может.

Ну...эм...
Я свой сендмаил отрубил :)
А сеть большая?Может где-то почта застривает или закольцовывается?
Может стоит проапгрейдить почтарь?
Думаю нужно отдельный топик создать...

"FreeBSD Too many open files"
Отправлено budan11 , 25-Апр-08 16:31 
Я же не могу sendmail выключить так как это функция этого сервера!
Но в ваших словах имеется смысл так как канал на которм стоит сервер узкий а многие хотят послать письма то и получается застой сервера! То есть перегрузка.
А как можно увеличить параметры ядра Вы не вкурсе!
Может это поможет?
>[оверквотинг удален]
>>Подскажите, пожалуйста, как с этим бороться.
>>На вирусы проверил. Нет вирусов. В системе не замечено ни каких не
>>известных процессов.
>>Помогите кто может.
>
>Ну...эм...
>Я свой сендмаил отрубил :)
>А сеть большая?Может где-то почта застривает или закольцовывается?
>Может стоит проапгрейдить почтарь?
>Думаю нужно отдельный топик создать...

"FreeBSD Too many open files"
Отправлено weldpua2008 , 25-Апр-08 19:18 
>Я же не могу sendmail выключить так как это функция этого сервера!
>

Ну Я Бы на вашем месте бы сделал следующее - тюнинг linux'а.
Статей много...
Второе(или первое) это тюнинг sendmail.
3-е, если 2-а первых не помогут - вынести часть функций на другой сервер, аля HA-кластер, можно балансировку нагрузки и т.д.
4-е.Смена почтаря, либо смаостоятельная обработка напильником.