URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 83725
[ Назад ]
Исходное сообщение
"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 20-Янв-09 06:31 
Привет спецы.

Есть пограничный маршрутизатор. На нем крутяться BGP, OSPF, и IP сенсор. ipfw, pf(altq)
Intel SE7520AF2
dual Intel(R) Xeon(TM) CPU 2.80GHz
4DDR2 4088 MB
em0: <Intel(R) PRO/1000 Network Connection 6.9.6>
em1: <Intel(R) PRO/1000 Network Connection 6.9.6>
FreeBSD 7.1-STABLE
Нагрузка транзитного трафика 80-90mb.. Может и больше, еслиб он успевал лопатить...

Собственно вопрос.. Машина не держит нагрузку.
CPU:  0.4% user,  0.0% nice, 81% system,  0.0% interrupt, 18.6% idle
Это при нагрузке в 80mb. Через хост наблюдаются потери около 5-8%1
Повторюсь. Трафик только транзитный.
Что можно ещё сделать то?? Неужели это потолок фрёхи?? Есть у кого нить роутеры с большим каналом??

подпилено:

/etc/sysctl.conf
net.inet.ip.fastforwarding=1
net.inet.ip.intr_queue_maxlen=5000

# Don't limit icmp rate
net.inet.icmp.icmplim=0

# Don't emit ip redirect
net.inet.ip.redirect=0

# where to drop core files
kern.corefile=/var/tmp/%U.%N.core

# size of the console buffer
kern.consmsgbuf_size=32768

# Reduce load
#kern.random.sys.harvest.ethernet=0
#kern.random.sys.harvest.interrupt=0

net.inet.tcp.blackhole=1
net.inet.udp.blackhole=1
kern.ipc.nmbclusters=262144
kern.ipc.somaxconn=4096
kern.ipc.maxsockets=204800
kern.maxfiles=204800
kern.maxfilesperproc=200000
net.inet.ip.portrange.first=1024
net.inet.ip.portrange.last=65535
net.inet.ip.portrange.randomized=0
net.inet.tcp.recvspace=8192
net.inet.tcp.sendspace=16384
net.inet.tcp.maxtcptw=40960
net.inet.tcp.msl=30000
net.inet.tcp.syncookies=1
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.fast_finwait2_recycle=1

cat /boot/loader.conf
verbose_loading="YES"
loader_logo="beastie"

if_em_load="YES"
#ipfw_load="YES"

net.inet.tcp.syncache.hashsize=1024
net.inet.tcp.syncache.bucketlimit=100
net.inet.tcp.tcbhashsize=4096
kern.ipc.nsfbufs=10240
vm.kmem_size=1G
vm.kmem_size_max=1G

# scsi devs probe delay
kern.cam.scsi_delay="5000"

Ядро максимально упрощено.. Если нада кину конфиг.

Кто что думает. Как раскачать систему?? Что потюнить??
Спасибо.

Содержание
Сообщения в этом обсуждении
"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Pahanivo , 20-Янв-09 07:39 
гдето на сайте nag.ru видел неплохой треп по теме роутер на фре ...
поюзай гугла по этому сайту


"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 20-Янв-09 20:30 
>гдето на сайте nag.ru видел неплохой треп по теме роутер на фре
>...
>поюзай гугла по этому сайту

Пасиб.
В общем нашёл причину..
netstat -L em1 -w 1 -d
Показывал что оч большое кол-во ерроров на порту сетевки. 2-3 тысячи.. (Причем порт соседней киски совсем даже не знал о них:))), что странновато)
Кароче выгрузил модуль ipfw. И все ерроры сразу пропали... Тока чуток дропов появилось... Канал скакнул до 110mb/s. Процы на уровне 40% system.
Фаер был замудреный.. Около 400 строк. Ну и скрипт был переписан по принципу модульности...
В общем пока сижу курю на предмет того, что ему не понравилось на новой машинке и новой системе.. Пока тока PF.
Спасибо за наводки..:)

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Pahanivo , 21-Янв-09 07:58 
>[оверквотинг удален]
>Показывал что оч большое кол-во ерроров на порту сетевки. 2-3 тысячи.. (Причем
>порт соседней киски совсем даже не знал о них:))), что странновато)
>
>Кароче выгрузил модуль ipfw. И все ерроры сразу пропали... Тока чуток дропов
>появилось... Канал скакнул до 110mb/s. Процы на уровне 40% system.
>Фаер был замудреный.. Около 400 строк. Ну и скрипт был переписан по
>принципу модульности...
>В общем пока сижу курю на предмет того, что ему не понравилось
>на новой машинке и новой системе.. Пока тока PF.
>Спасибо за наводки..:)

выгрузил ipfw пропали ошибки на порту? очень страно - обычно ошибки изза кривых кабелей и каналов

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 21-Янв-09 08:22 
>[оверквотинг удален]
>>Кароче выгрузил модуль ipfw. И все ерроры сразу пропали... Тока чуток дропов
>>появилось... Канал скакнул до 110mb/s. Процы на уровне 40% system.
>>Фаер был замудреный.. Около 400 строк. Ну и скрипт был переписан по
>>принципу модульности...
>>В общем пока сижу курю на предмет того, что ему не понравилось
>>на новой машинке и новой системе.. Пока тока PF.
>>Спасибо за наводки..:)
>
>выгрузил ipfw пропали ошибки на порту? очень страно - обычно ошибки изза
>кривых кабелей и каналов

Да всё так и было. Сам очень удивлён.

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Pahanivo , 21-Янв-09 08:43 
>[оверквотинг удален]
>>>Фаер был замудреный.. Около 400 строк. Ну и скрипт был переписан по
>>>принципу модульности...
>>>В общем пока сижу курю на предмет того, что ему не понравилось
>>>на новой машинке и новой системе.. Пока тока PF.
>>>Спасибо за наводки..:)
>>
>>выгрузил ipfw пропали ошибки на порту? очень страно - обычно ошибки изза
>>кривых кабелей и каналов
>
>Да всё так и было. Сам очень удивлён.

вообще поиграйся с polling - должно немного помочь как снижение ошибок так снижение загрузки

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Pahanivo , 21-Янв-09 08:01 
>[оверквотинг удален]
>Показывал что оч большое кол-во ерроров на порту сетевки. 2-3 тысячи.. (Причем
>порт соседней киски совсем даже не знал о них:))), что странновато)
>
>Кароче выгрузил модуль ipfw. И все ерроры сразу пропали... Тока чуток дропов
>появилось... Канал скакнул до 110mb/s. Процы на уровне 40% system.
>Фаер был замудреный.. Около 400 строк. Ну и скрипт был переписан по
>принципу модульности...
>В общем пока сижу курю на предмет того, что ему не понравилось
>на новой машинке и новой системе.. Пока тока PF.
>Спасибо за наводки..:)

вообще у тебя роутер чето слишком мало пропускает - 100 мегабит эт фигня какаято
тут недано чел писал - у него машинка вроде слабее порядка 400мб прокачивала - у него бонально в пропускную способность PCI для сетевух все уперлось.

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Alexey , 20-Янв-09 09:31 
Обычно такое получается когда сетевая карта генерирует слишком много прерываний, из-за чего процессор начинает работать по полной. Попробуйте включить polling (http://www.lissyara.su/?id=1156).
"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Alexey , 20-Янв-09 09:34 
Забыл сказать - там еще комментарии к статье очень полезные.

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Qaz , 20-Янв-09 11:14 
Попробуй это
http://www.opennet.me/base/net/tune_freebsd.txt.html
http://markmail.org/message/vtxhbattmuubmvoo


"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 20-Янв-09 20:20 
>Попробуй это
>http://www.opennet.me/base/net/tune_freebsd.txt.html
>http://markmail.org/message/vtxhbattmuubmvoo

Пасиб. Именно этими статьями господина Сысоева я и руководствовался... Даже его лекцию смотрел как то:)
В моём случае они не помогли. Т.к я так понимаю там оптимизация на входящие соединения(wep, etc). У меня же транзит.

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 20-Янв-09 20:22 
>Обычно такое получается когда сетевая карта генерирует слишком много прерываний, из-за чего
>процессор начинает работать по полной. Попробуйте включить polling (http://www.lissyara.su/?id=1156).

Тоже дельная штука.
Когда то давно баловался.. Но в итоге получилось так что все плюсы сошли на нет из-за потерь.. pps оч видно уж много:))
На скока понимаю в 7ке уже не на столько актуальна..

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено Alexey , 20-Янв-09 22:00 
>>Обычно такое получается когда сетевая карта генерирует слишком много прерываний, из-за чего
>>процессор начинает работать по полной. Попробуйте включить polling (http://www.lissyara.su/?id=1156).
>
>Тоже дельная штука.
>Когда то давно баловался.. Но в итоге получилось так что все плюсы
>сошли на нет из-за потерь.. pps оч видно уж много:))
>На скока понимаю в 7ке уже не на столько актуальна..

В каком смысле не актуально? Вроде в 7-ке ничего не менялось в обработке прерываний, поэтому проблема никуда не делась. А если есть потери, то значит просто надо увеличить время на обработку буфера сетевой карты (об этом говорилось в комментариях к статье).

"роутер не выдерживаетт нагрузки. Как оптимизировать??"
Отправлено rednikov , 21-Янв-09 05:45 
>[оверквотинг удален]
>>
>>Тоже дельная штука.
>>Когда то давно баловался.. Но в итоге получилось так что все плюсы
>>сошли на нет из-за потерь.. pps оч видно уж много:))
>>На скока понимаю в 7ке уже не на столько актуальна..
>
>В каком смысле не актуально? Вроде в 7-ке ничего не менялось в
>обработке прерываний, поэтому проблема никуда не делась. А если есть потери,
>то значит просто надо увеличить время на обработку буфера сетевой карты
>(об этом говорилось в комментариях к статье).

Ага. Прочёл. Принял к сведению:))
Как прижмет воспользуюсь:) Спасибо.

А может и не прижмёт... Juniper MX480 на подходе...:)))