Стоит роутер на FreeBsd
uname -a FreeBSD GateWay.ххх.ru 7.2-RELEASE-p3.
Роутит на прямую на машины 1 - фтп/хттп сервер(нагрузка малая) пара тройка хостов. 2,3 машины раздающие инет на локалки.3 сервер потребляет мало. но входят они в один влан. т.е. фактически в один порт роутера. на роутере сетевые встроенная гигабитная и обычная 100ка Длинк.
Канал 22Мб.
2 сервер количество потребителей примерно 300-400. постоянно пользующих инет где то 150 180. поток примерно такой:
Max Average Current
In 18.9 Mb/s (47.1%) 6230.1 kb/s (24.8%) 9699.9 kb/s (38.5%)
Out 10.5 Mb/s (45.8%) 2603.0 kb/s (10.3%) 2168.6 kb/s (8.6%)
такой примерно всегда.
Вобщем когда было пользователей меньше. даже не так когда было меньше постоянно юзающих канал. http трафик не тормозил. да и вобще.... Ну сейчас такая ситуация даже с пограничного роутера качает оч слобо не больше 100кб. если качаю торрентом или каким нить менеджером поддерживающих много соединений то качает на всю....
Вопрос по пограничному роутеру на котором стоит
uname -a FreeBSD GateWay.ххх.ru 7.2-RELEASE-p3 думаю он не справляется с чем то....с потоком трафика или с чем не могу выяснить...
вобщем данные роутераядро
options IPFIREWALL
options IPFIREWALL_VERBOSE
options IPFIREWALL_VERBOSE_LIMIT=100
options IPDIVERT
options IPFIREWALL_FORWARD
options DUMMYNET
options IPFILTER
options IPFILTER_LOG
options NSFBUFS=32768
options DEVICE_POLLING
options HZ=2000sysctl
net.inet.tcp.sendspace=65535
net.inet.tcp.recvspace=65535
net.local.stream.recvspace=65535
net.local.stream.sendspace=65535
net.inet.udp.maxdgram=65535
net.inet.icmp.drop_redirect=1
net.inet.tcp.drop_synfin=1
net.inet.icmp.log_redirect=0
net.inet6.ip6.redirect=0
net.link.ether.inet.max_age=1200
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0
kern.maxfiles=100000
kern.maxfilesperproc=90000
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.tcp.msl=7500
net.inet.icmp.icmplim=50
kern.polling.enable=1
kern.polling.user_frac=10
kern.ipc.somaxconn=32786
net.inet.tcp.sendspace=131072
net.inet.tcp.recvspace=131072
kern.ipc.nmbclusters=65535top -S
last pid: 12289; load averages: 0.00, 0.05, 0.04 up 1+08:52:14 19:39:39
84 processes: 2 running, 65 sleeping, 17 waiting
CPU: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
Mem: 18M Active, 231M Inact, 164M Wired, 112M Buf, 1585M Free
Swap: 4096M Total, 4096M FreePID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
11 root 1 171 ki31 0K 8K RUN 29.6H 100.00% idle: cpu0
14 root 1 -44 - 0K 8K WAIT 151:29 0.00% swi1: net
12 root 1 -32 - 0K 8K WAIT 23:06 0.00% swi4: clock sio
33 root 1 -68 - 0K 8K - 7:26 0.00% dummynet
15 root 1 -16 - 0K 8K - 6:00 0.00% yarrow
40 root 1 20 - 0K 8K syncer 1:09 0.00% syncer
3 root 1 -8 - 0K 8K - 0:04 0.00% g_up
4 root 1 -8 - 0K 8K - 0:04 0.00% g_down
2 root 1 -8 - 0K 8K - 0:03 0.00% g_event
821 root 1 44 0 4052K 2440K select 0:02 0.00% httpd
25 root 1 -64 - 0K 8K WAIT 0:02 0.00% irq22: atapci1
922 root 1 44 0 5876K 3368K select 0:02 0.00% sendmail
41 root 1 -16 - 0K 8K sdflus 0:01 0.00% softdepflush
911 root 1 44 0 5752K 3256K select 0:01 0.00% sshd
731 root 1 44 0 3184K 1224K select 0:00 0.00% syslogd
0 root 1 -16 0 0K 0K sched 0:00 0.00% swapper
932 root 1 8 0 3212K 1276K nanslp 0:00 0.00% cron
11154 user 1 44 0 8428K 3948K select 0:00 0.00% sshd
что пугает так постоянно работающий dummynet. на втором и 3м сервере он хоть и включен но не так работает. но там сетевые Интелы гигабитные стоят.... но я чета не верю что это из за сетевых карт...netstat -rm
388/767/1155 mbufs in use (current/cache/total)
386/644/1030/25600 mbuf clusters in use (current/cache/total/max)
386/638 mbuf+clusters out of packet secondary zone in use (current/cache)
0/44/44/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
869K/1655K/2524K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/4/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines
а для сравнения интеловской карты со второго сервера:
netstat -rm
1479/1476/2955 mbufs in use (current/cache/total)
1311/653/1964/25600 mbuf clusters in use (current/cache/total/max)
1311/609 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/0 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/0 9k jumbo clusters in use (current/cache/total/max)
0/0/0/0 16k jumbo clusters in use (current/cache/total/max)
3075K/1675K/4750K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/5/6656 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routinesмашина пустая тока рутит.... т.е. еси забито 10мб и еше в канале есть 12 я качаю на 100кб....
Подскажите куда капать? что увеличивать...может сетевые лагают....но я что то так не думаю.... и вобще фря если просто рутит канал способна пропускать через себя спокойно большие потоки? раньше когда был потом 2 3 мб все летало....а сча http ftp оч сильно залогало....но всякие торренты там или менеджеры качают как нада.... может какие буферы прокачать? Хотелось бы услышать мнения тех у кого работает на фре роутер и рутит канал больше 5 7 мб....
Может для кого то вопросы бональны...но я надеюсь услышать отзывы...ответы мне оч важны :)еще дополнения
sysctl -a | grep poll
kern.dcons.poll_hz: 100
kern.polling.idlepoll_sleeping: 1
kern.polling.stalled: 0
kern.polling.suspect: 0
kern.polling.phase: 0
kern.polling.enable: 1
kern.polling.handlers: 3
kern.polling.residual_burst: 0
kern.polling.pending_polls: 0
kern.polling.lost_polls: 1048920
kern.polling.short_ticks: 1061
kern.polling.reg_frac: 20
kern.polling.user_frac: 10
kern.polling.idle_poll: 0
kern.polling.each_burst: 5
kern.polling.burst_max: 150
kern.polling.burst: 150
debug.acpi.ec.polled: 0sysctl -a | grep net.inet.ip.intr_queue_maxlen
net.inet.ip.intr_queue_maxlen: 50
Давайте жалезо, как минимум ifconfig. Потому что там у вас, natd? Если natd, сразу менять на ipfw nat или pf, если есть недосетевухи типа rl, сразу менять на fxp, настройки все свои убирайте к чертям, и не трогайте, если не понимаете что делаете. Polling тоже выкидывайте нахрен.Третий пень раздает 100Mbit на сотню пользователей, подключенных по VPN с шейпингом и NAT, с загрузкой CPU не более 20-30%.
Нет ната. Железка как отбойник.она рутит на сервера которые раздают интернет....там внутри тоже полная Ж.... но сейчас разговор о крайнем маршрутизаторе.
ну а на нем:
re0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=38db<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,POLLING,VLAN_HWCSUM,WOL_UCAST,WOL_MCAST,WOL_MAGIC>
ether 00:24:8c:9f:cf:a5
inet 1.2.1.2 netmask 0xffffffe0 broadcast 1.2.1.255
media: Ethernet autoselect (100baseTX <full-duplex>)
status: active
vr0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=2848<VLAN_MTU,POLLING,WOL_UCAST,WOL_MAGIC>
ether 00:21:91:90:5c:91
inet 2.1.4.2 netmask 0xfffffffc broadcast 2.1.4.3
media: Ethernet autoselect (100baseTX <full-duplex>)
status: active
plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> metric 0 mtu 1500
lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
inet6 fe80::1%lo0 prefixlen 64 scopeid 0x5
inet6 ::1 prefixlen 128
inet 127.0.0.1 netmask 0xff000000
>[оверквотинг удален]
> media: Ethernet autoselect (100baseTX <full-duplex>)
> status: active
>plip0: flags=108810<POINTOPOINT,SIMPLEX,MULTICAST,NEEDSGIANT> metric 0 mtu 1500
>lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> metric 0 mtu 16384
> inet6 fe80::1%lo0 prefixlen 64
>scopeid 0x5
> inet6 ::1 prefixlen 128
>
> inet 127.0.0.1 netmask 0xff000000
>потери пакетов есть? большие?
какой round-trip при типичной нагрузке?
какой round-trip при полном снятии нагрузки?слишком странный выбор сетевых для маршрутизатора, в купе с polling-ом
хотя 22Мб - это копейки, правда смотря какой pps генерят ваши потребители...
>потери пакетов есть? большие?
>какой round-trip при типичной нагрузке?
>какой round-trip при полном снятии нагрузки?
>
>слишком странный выбор сетевых для маршрутизатора, в купе с polling-ом
>хотя 22Мб - это копейки, правда смотря какой pps генерят ваши потребители...
>Потери пакетов примерно 5%-7%
загрузка в данный момент
Max Average Current
In 10.2 Mb/s (40.7%) 6358.8 kb/s (25.3%) 7410.6 kb/s (29.4%)
Out 11.5 Mb/s (45.8%) 2247.6 kb/s (8.9%) 2040.5 kb/s (8.1%)
поставили карты какие были....ну сегодян заменю попробую...
С роутера качать начинаю выше 100кбс не поднимается....точнее сперва поднимается потом падает и примерно до 70кбс продолжает падать.... а если всякими клиентами качать то все норм...я так понимаю дропаются пакеты??? Поллинг отрубал проц загрузка выраставет на 20% толку по скорости нет....
--- mail.ru ping statistics ---
278 packets transmitted, 262 packets received, 5.8% packet loss
round-trip min/avg/max/stddev = 19.866/21.427/30.115/1.516 mssystat 2 -ifstat
/0 /1 /2 /3 /4 /5 /6 /7 /8 /9 /10
Load AverageInterface Traffic Peak Total
lo0 in 0.000 KB/s 0.000 KB/s 278.299 KB
out 0.000 KB/s 0.000 KB/s 278.299 KBvr0 in 795.053 KB/s 795.053 KB/s 3.302 GB
out 311.492 KB/s 311.492 KB/s 449.054 MBre0 in 311.636 KB/s 311.636 KB/s 3.871 GB
out 792.525 KB/s 792.525 KB/s 2.270 GB
На пограничном роутере такая беда:
карта смотрящая в мир
netstat -I re0 -w1
input (re0) output
packets errs bytes packets errs bytes colls
1726 0 426528 1864 0 1128225 0
1748 0 553352 1781 0 1181314 0
1791 0 708699 1791 0 1149157 0
1560 0 299250 1748 0 1204802 0
...........Карта смотрящая на серверы 3 сервера:
packets errs bytes packets errs bytes colls
1723 0 1173248 1666 0 451084 0
2025 0 966951 2197 0 935125 0
1882 0 1144024 1879 0 580569 0
1545 0 1159496 1655 0 404674 0
1591 0 1116289 1808 0 587273 0
1775 0 1137849 1702 0 329608 0
1812 0 1007686 2096 0 745693 0
1796 0 1014755 1927 0 795882 0
1710 0 959455 2167 0 969878 0
............
Так и не решилась проблема... отрываю нагрузку от сервера всю, делаю ping потери по 10%.
ПЫтался уже и гуру нам помочь....что то не вышло...)))
Подскажите что можно проверить....Железо меняли...полностью другую тачку ставили...но с таким же типом сетевых правда...ну мы то и всю нагрузку отрывали в этот момент...)
>Так и не решилась проблема... отрываю нагрузку от сервера всю, делаю ping
>потери по 10%.
>ПЫтался уже и гуру нам помочь....что то не вышло...)))
>Подскажите что можно проверить....Железо меняли...полностью другую тачку ставили...но с таким же типом
>сетевых правда...ну мы то и всю нагрузку отрывали в этот момент...)
>чудес не бывает.
ipfw add 1 allow ip from any to any и искать где потери, в сетевых или в кабеле или в свичах...