Доброе время суток. Вкратце опишу ситуацию. Есть сервер FreeBSD 8.0 для шейпинга абонентов настроеный бриджем который выполняет только функцию шейпирования DUMMYNET приблизительно до 2000 абонентов. Данный сервер(2 процессора на 4 головы CPU: Intel(R) Xeon(R) CPU E5310 @ 1.60GHz (1607.10-MHz 686-class CPU) 4гига оперативы) уже 3х годичной давности и при большом количестве соединений проходящих через его пайпы начинаются лаги с пингами. На данный момент я хочу заменить данный сервер на более мощный. Уважаемые Гуру, какой сервер Вы можете посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру? Какие процессоры использовать? Сколько оперативной памяти туда нафаршировать чтобы поддерживала FreeBSD 8.0? Можно ли на базе сервера собрать шейпер-бридж на 10000 абонентов?P.S. Бюджет до 10000$ заранее благодарен.
>[оверквотинг удален]
>2000 абонентов. Данный сервер(2 процессора на 4 головы CPU: Intel(R) Xeon(R)
>CPU E5310 @ 1.60GHz (1607.10-MHz 686-class CPU) 4гига оперативы) уже
>3х годичной давности и при большом количестве соединений проходящих через его
>пайпы начинаются лаги с пингами. На данный момент я хочу заменить
>данный сервер на более мощный. Уважаемые Гуру, какой сервер Вы можете
>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру? Какие
>процессоры использовать? Сколько оперативной памяти туда нафаршировать чтобы поддерживала FreeBSD 8.0?
>Можно ли на базе сервера собрать шейпер-бридж на 10000 абонентов?
>
>P.S. Бюджет до 10000$ заранее благодарен.о самом главном забыли: какой трафик и кол-во пакетов.
>[оверквотинг удален]
>>3х годичной давности и при большом количестве соединений проходящих через его
>>пайпы начинаются лаги с пингами. На данный момент я хочу заменить
>>данный сервер на более мощный. Уважаемые Гуру, какой сервер Вы можете
>>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру? Какие
>>процессоры использовать? Сколько оперативной памяти туда нафаршировать чтобы поддерживала FreeBSD 8.0?
>>Можно ли на базе сервера собрать шейпер-бридж на 10000 абонентов?
>>
>>P.S. Бюджет до 10000$ заранее благодарен.
>
>о самом главном забыли: какой трафик и кол-во пакетов.Вы правы. Трафик будет до 1гигабита и до 200-300К PPS. Сетевых интерфейса 2шт один смотрит в сегмент на сервера доступа другой смотрит на пограничный маршрутизатор.
>Вы правы. Трафик будет до 1гигабита и до 200-300К PPS. Сетевых интерфейса
>2шт один смотрит в сегмент на сервера доступа другой смотрит на
>пограничный маршрутизатор.1. советую смотреть в сторону карточек на Intel 82576, например: E1G42ET.
2. пайпы, если мне не изменяет память - не многопоточные, поэтому ядро лучше пошустрее. памяти, на мой взгляд, и 4Г достаточно. на амд64 переходи, это однозначно.
не плохо бы еще посмотреть на загрузку системы в пиках на процессоре, памяти и vmstat -iу меня ~350Mb, 100KPPS, при 20% загрузке на стареньком 2Г ксеоне живут, правда нет пайпов.
>[оверквотинг удален]
>
>1. советую смотреть в сторону карточек на Intel 82576, например: E1G42ET.
>2. пайпы, если мне не изменяет память - не многопоточные, поэтому ядро
>лучше пошустрее. памяти, на мой взгляд, и 4Г достаточно. на амд64
>переходи, это однозначно.
>не плохо бы еще посмотреть на загрузку системы в пиках на процессоре,
>памяти и vmstat -i
>
>у меня ~350Mb, 100KPPS, при 20% загрузке на стареньком 2Г ксеоне живут,
>правда нет пайпов.Да вот без пайпов он как раз и не ощущает на себе не какой загрузки. Как пайпы врубишь так и караул))
Shaper1# vmstat -i
interrupt total rate
irq14: ata0 36 0
irq23: uhci0 uhci+ 1 0
irq25: arcmsr0 4346086 3
cpu0: timer 2617491896 1986
irq256: em0 1975761160 1499
irq257: em1 2373681678 1801
cpu1: timer 2617483842 1986
cpu3: timer 2617483842 1986
cpu2: timer 2617483843 1986
cpu5: timer 2617483843 1986
cpu6: timer 2617483842 1986
cpu4: timer 2617483842 1986
cpu7: timer 2617483842 1986
Total 25293667753 19192Но это еще не вечер))
Shaper1#top -SP
last pid: 3895; load averages: 1.59, 1.57, 1.53 up 15+06:06:47 14:24:58
115 processes: 11 running, 75 sleeping, 5 stopped, 1 zombie, 23 waiting
CPU 0: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 1: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 2: 0.0% user, 0.0% nice, 74.5% system, 0.0% interrupt, 25.5% idle
CPU 3: 0.0% user, 0.0% nice, 93.6% system, 0.0% interrupt, 6.4% idle
CPU 4: 0.0% user, 0.0% nice, 0.7% system, 0.0% interrupt, 99.3% idle
CPU 5: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 6: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 7: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
Mem: 28M Active, 1819M Inact, 191M Wired, 36K Cache, 112M Buf, 458M Free
Swap: 10G Total, 10G FreePID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 8 171 ki31 0K 64K RUN 0 2421.6 632.81% idle
0 root 10 -68 0 0K 72K - 5 481.3H 110.84% kernel
12 root 23 -48 - 0K 184K WAIT 0 87:32 0.00% intr
78566 root 1 44 0 19368K 16376K select 4 50:53 0.00% snmpd
17 root 1 44 - 0K 8K syncer 4 35:25 0.00% syncer
3 root 1 -8 - 0K 8K - 4 2:08 0.00% g_up
4 root 1 -8 - 0K 8K - 0 1:53 0.00% g_down
13 root 1 -16 - 0K 8K - 0 1:25 0.00% yarrow
2 root 1 -8 - 0K 8K - 0 0:57 0.00% g_event
984 root 1 44 0 6072K 3472K select 0 0:31 0.00% sendmail
18 root 1 44 - 0K 8K sdflus 4 0:29 0.00% softdepflus
729 root 1 44 0 3344K 1328K select 0 0:29 0.00% syslogd
14 root 20 -64 - 0K 160K - 0 0:22 0.00% usb
1 root 1 44 0 2912K 508K wait 1 0:17 0.00% init
996 root 1 44 0 3372K 1376K nanslp 1 0:09 0.00% cron
15 root 1 44 - 0K 8K psleep 4 0:06 0.00% bufdaemon
16 root 1 44 - 0K 8K vlruwt 0 0:06 0.00% vnlruА вот без пайпов
last pid: 3944; load averages: 0.97, 1.41, 1.47 up 15+06:08:20 14:26:31
109 processes: 9 running, 72 sleeping, 5 stopped, 23 waiting
CPU 0: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 1: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 2: 0.0% user, 0.0% nice, 7.9% system, 0.0% interrupt, 92.1% idle
CPU 3: 0.0% user, 0.0% nice, 9.0% system, 0.0% interrupt, 91.0% idle
CPU 4: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 5: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 6: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
CPU 7: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle
Mem: 27M Active, 1819M Inact, 191M Wired, 36K Cache, 112M Buf, 460M Free
Swap: 10G Total, 10G FreePID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 8 171 ki31 0K 64K RUN 0 2421.8 784.42% idle
0 root 10 -68 0 0K 72K - 5 481.3H 1.66% kernel
12 root 23 -48 - 0K 184K WAIT 0 87:32 0.00% intr
78566 root 1 44 0 19368K 16376K select 4 50:54 0.00% snmpd
17 root 1 44 - 0K 8K syncer 4 35:25 0.00% syncer
3 root 1 -8 - 0K 8K - 0 2:08 0.00% g_up
4 root 1 -8 - 0K 8K - 0 1:53 0.00% g_down
13 root 1 -16 - 0K 8K - 0 1:25 0.00% yarrow
2 root 1 -8 - 0K 8K - 0 0:57 0.00% g_event
984 root 1 44 0 6072K 3472K select 2 0:31 0.00% sendmailСовсем другая картина. Давим на данный момент ровно 200 мегабит в секунду.
Shaper1# vmstat -i
interrupt total rate
irq14: ata0 36 0
irq23: uhci0 uhci+ 1 0
irq25: arcmsr0 4346399 3
cpu0: timer 2617995271 1986
irq256: em0 1977113653 1499
irq257: em1 2374781175 1801
cpu1: timer 2617987217 1986
cpu3: timer 2617987217 1986
cpu2: timer 2617987218 1986
cpu5: timer 2617987218 1986
cpu6: timer 2617987217 1986
cpu4: timer 2617987217 1986
cpu7: timer 2617987217 1986
Total 25300147056 19193
да, хорошо видно, что упираетесь в одно ядро процессора, берите процессор попроизводительнее, при этом можно не гнаться за их кол-ом.
>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру?стоит
>
>>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру?
>
>стоитА по поводу остальных вопросов могли бы проконсультировать?)
>>
>>>посоветовать под данные задачи? Стоит ли переходить на 64-разрядную архитектуру?
>>
>>стоит
>
>А по поводу остальных вопросов могли бы проконсультировать?)не совсем мой профиль, к сожалению.
по поводу 64-бит стоит переходить хотябы потому, что там управления памятью лучше работает. смотрите в сторону vm.kmem_size и vm.kmem_size_max, увеличивайте размеры буферов и mbuf clusters
как выше уже сказали, шейпер не мастрабируется по кол-ву ядер (если только не использовать яндексовские драйвера для сетевых карточек). поэтому лучше взять сервер с меньшим кол-вом более мощных ядер.
памяти 4 гигов должно быть достаточно.
>[оверквотинг удален]
>>А по поводу остальных вопросов могли бы проконсультировать?)
>
>не совсем мой профиль, к сожалению.
>по поводу 64-бит стоит переходить хотябы потому, что там управления памятью лучше
>работает. смотрите в сторону vm.kmem_size и vm.kmem_size_max, увеличивайте размеры буферов и
> mbuf clusters
>как выше уже сказали, шейпер не мастрабируется по кол-ву ядер (если только
>не использовать яндексовские драйвера для сетевых карточек). поэтому лучше взять сервер
>с меньшим кол-вом более мощных ядер.
>памяти 4 гигов должно быть достаточно.Говорят что на FreeBSD 8.0 не нужно устанавливать яндекс драйвера, это правда?
>Говорят что на FreeBSD 8.0 не нужно устанавливать яндекс драйвера, это правда?
>правда )
>
>>Говорят что на FreeBSD 8.0 не нужно устанавливать яндекс драйвера, это правда?
>>
>
>правда )пардон... не дочитал вопрос...
точно не знаю
>>
>>>Говорят что на FreeBSD 8.0 не нужно устанавливать яндекс драйвера, это правда?
>>>
>>
>>правда )
>
>пардон... не дочитал вопрос...
>точно не знаюКакой процессор посоветуете использовать? Intel Itanium подойдет?
>>>
>>>>Говорят что на FreeBSD 8.0 не нужно устанавливать яндекс драйвера, это правда?
>>>>
>>>
>>>правда )
>>
>>пардон... не дочитал вопрос...
>>точно не знаю
>
>Какой процессор посоветуете использовать? Intel Itanium подойдет?я бы взял ксеон
>[оверквотинг удален]
>>>>>
>>>>
>>>>правда )
>>>
>>>пардон... не дочитал вопрос...
>>>точно не знаю
>>
>>Какой процессор посоветуете использовать? Intel Itanium подойдет?
>
>я бы взял ксеонПросветите плиз. Какой самый мощный ксеон 64х разрядный под такие задачи? И какие самые лучщие сетевухи взять для шейпирования и прокачки трафика?
>[оверквотинг удален]
>>>>
>>>>пардон... не дочитал вопрос...
>>>>точно не знаю
>>>
>>>Какой процессор посоветуете использовать? Intel Itanium подойдет?
>>
>>я бы взял ксеон
>
>Просветите плиз. Какой самый мощный ксеон 64х разрядный под такие задачи? И
>какие самые лучщие сетевухи взять для шейпирования и прокачки трафика?как выше уже было сказано, берите с максимальной тактовой частотой и не смотрите на число ядер. обратите внимание на FSB и объем кеша
сетевые или интел или броадком.
>[оверквотинг удален]
>>>
>>>я бы взял ксеон
>>
>>Просветите плиз. Какой самый мощный ксеон 64х разрядный под такие задачи? И
>>какие самые лучщие сетевухи взять для шейпирования и прокачки трафика?
>
>как выше уже было сказано, берите с максимальной тактовой частотой и не
>смотрите на число ядер. обратите внимание на FSB и объем кеша
>
>сетевые или интел или броадком.Понял. Всем огромное спасибо)
>[оверквотинг удален]
>>>
>>>Просветите плиз. Какой самый мощный ксеон 64х разрядный под такие задачи? И
>>>какие самые лучщие сетевухи взять для шейпирования и прокачки трафика?
>>
>>как выше уже было сказано, берите с максимальной тактовой частотой и не
>>смотрите на число ядер. обратите внимание на FSB и объем кеша
>>
>>сетевые или интел или броадком.
>
>Понял. Всем огромное спасибо)А сделать
# 2 процессора
net.isr.maxthreads=2
# привязка netisr thread'ов к процессорам (пока не пробовал)
net.isr.bindthreads=1Непоможет ?
С таким бюджетом я бы посмотрел в сторону Quad-Core AMD Opteron™ Model 8393 SE ... а что оч надоела спамреклама ...
http://alter.org.ua/ru/soft/fbsd/netisr/
AMD x64a Polling у вас включен? ;)