Привет админам,
столкнулся с вопросом выбора роутера с функцией балансировки нагрузки.
Посмотрел на цены в этом сeгменте и меня они немного отпугнули, решил искать альтернативные решения и пришел к к следующему вопросу.
Роутер, ведь ничто иное, на самом деле чем обычный сервак со специфическим ПО. Аппаратные роутеры я не беру, поскольку их цена уходит за облака.Суть: построение монолитной архитектуры для нужд размещения высоко-доступных проектов, с учетом относительно невысоких затрат.
Итак, прошу админов и тех кто сталкивался с подобным прокомментировать следуюшее:
берем обычный сервер под фрюхой и с несколькими сетевыми интерфейсами, пересобираем ядро, добавляем все необходимое, а все ненужное выбрасываем, что бы он служил как роутер.
С одной стороны отправляем в сеть, с другой на свитч, в который воткнуты серверы.
Прописиваем таблицу этих серверов для распределение нагрузки и ставим мониторинг за нагрузкой...настраиваем брендмауер, делаем основные настройки против атак и делаем всю эту беду доступной по нескольки ip адресам для роунд робин...днс выносим за пределы этой системы.Итак получаем своего рода монолитную архитектуру с лоад балансировкой и возможностю по-живому переключать ip адреса без боязни простоя.
Прокоментируйте, где моя фантазия, а где возможно сделать реальностью.
Какую нагрузку(количество соединений) выдержит подобый роутер?
Какое железо желательно для подобного роутера? Я так понимаю что супер пупер хеонов тут не надо на самом деле...
Как сделать еще такой же роутер и в случае выхода из строя первого автоматицехски переключать на второй?
Какое ПО необходимо и кто может взяться для поднятия подобной архитекруты?
У циски есть коммутаторы L3 с подобным функционалом SLB называется кажется эта функция - балансировка нагрузки на серверные фермы.Под FreeBSD тоже наверное какие-то вещи есть программные. Но с ними не сталкивался.
>Прокоментируйте, где моя фантазия, а где возможно сделать реальностью.
>Какую нагрузку(количество соединений) выдержит подобый роутер?
>Какое железо желательно для подобного роутера? Я так понимаю что супер пупер
>хеонов тут не надо на самом деле...
>Как сделать еще такой же роутер и в случае выхода из строя
>первого автоматицехски переключать на второй?
>Какое ПО необходимо и кто может взяться для поднятия подобной архитекруты?Обычный РС справится с нагрузкой 200MBps или 20Kpps.
Какой тип траффика гоняется? Транспорт или еще биллинг пару К юзеров?Используемые технологии/софт - VLAN, DHCP, NETGRAPH, bgp (quagga), carp, ipfw/pf
Нарисуйте схемку - что приходит, примерную нагрузку, как уходит, сколько провайдеров, сколько реальников, биллинг.
>
>>Прокоментируйте, где моя фантазия, а где возможно сделать реальностью.
>>Какую нагрузку(количество соединений) выдержит подобый роутер?
>>Какое железо желательно для подобного роутера? Я так понимаю что супер пупер
>>хеонов тут не надо на самом деле...
>>Как сделать еще такой же роутер и в случае выхода из строя
>>первого автоматицехски переключать на второй?
>>Какое ПО необходимо и кто может взяться для поднятия подобной архитекруты?
>Все это может FreeBSD. Только реально надо обрисовать что куда как и сколько чего. У меня например на данный момент справляется с 100М сеткой 1000 пень с 512 памятью. Пайпов до 100(основная нагрузка), и много чего еще на нем вертится(мониторинг, впн, нетамс + нетграф и тд). Наверное самое главное это ставить сетевухи с поллингом. Ну он у меня сейчас нагружен до 80%.
в первую очередь хочу поблагодарить вас за ваши ответы.немного детальней, значит речь идет о создании небольшого гибридного кластера высокой доступности и распределение наггрузки для виртуального хостинга.
Задача тривиальна и профессиональных решений хватает на самом деле, не то что бы их не было, но проблема в их стоимости. Нормальный лоад балансер, стоит 2500€, а то и более, а если попытаться сделать это редундантным т.е. поставить 2-а, на случай выхода из строя одного, то все 5к €. В этом проблема, для того что бы это все амартизировать нужно очень много времени.
Вот и рождаются бредовые идеии, даже на основе супермикро мне 2-а сервера подобных мощностей обойдется в 1,5к €, а если попроще взять, то еше дешевле..вот и разница получается, но я не думаю что про этом сильно пострадает эффективность.Ладно это была подноготная.
Теперь технические моменты.
Тут мне кто-то сказал о роутерных ОС типа Mikrotik, кто чего о них знает?
а так же о возможных проблемах на уровне шины.
Типа на PC шина намного уже и для серьезных решений ПЦ архитектура просто не подойдет.
>[оверквотинг удален]
>
>Ладно это была подноготная.
>
>Теперь технические моменты.
>Тут мне кто-то сказал о роутерных ОС типа Mikrotik, кто чего о
>них знает?
>а так же о возможных проблемах на уровне шины.
>Типа на PC шина намного уже и для серьезных решений ПЦ архитектура
>просто не подойдет.
>А почему всегда так ? кто-то сказал и все ?
Если Вы говорите о чем -то то говрите либо с пониманием либо правильно формулируйте вопрос.
Я одного не понимаю - когда люди не хотят тратить деньги на полноценные решения, а ищат альтернативу на основе ОС - в чем смысл этого? что-то секномить или доказать всему миру, что цена за бандл cisco это 90% только за бренд и 10% за "ящик"...помоему все эти глупости идут только от не понимания и не знания...
Вы понимаете, что шина PCI или pci-express не гарантирует того, что данное устройство будет осущетсвлять маршуризация на скорости канала, я пологаю у нормальных людей, которые хоть что-то заканчивали это уже не вызывает не каких сомненей.Аппаратное устройство оно специализированно для обработки пакетов, и имеет специлизированные технологии для управления ресурсами "ящика", как я уже говорил, та же форможность переключения пакетов - в маршрутизаторах и PC явно реализованна по разному, и возможности коммутации явно отличаются.
Так что PC с GE сетевыми платами не означает что это гигабитный маршрутизатор, например у циско есть специализированные бандлы GSR вот они реально гигабит роутеры, причем кол-во LC там на порядок выше чем можно каким-возможными и не возможными способами засунуть в PC, это вообще совершенно разные вещи и их нельзя сравнивать.
>[оверквотинг удален]
>людей, которые хоть что-то заканчивали это уже не вызывает не каких
>сомненей.Аппаратное устройство оно специализированно для обработки пакетов, и имеет специлизированные технологии
>для управления ресурсами "ящика", как я уже говорил, та же форможность
>переключения пакетов - в маршрутизаторах и PC явно реализованна по разному,
>и возможности коммутации явно отличаются.
>Так что PC с GE сетевыми платами не означает что это гигабитный
>маршрутизатор, например у циско есть специализированные бандлы GSR вот они реально
>гигабит роутеры, причем кол-во LC там на порядок выше чем можно
>каким-возможными и не возможными способами засунуть в PC, это вообще совершенно
>разные вещи и их нельзя сравнивать.действительно, я не заканчивал вуз или чего другого по "системному администрированию", а по менеджменту поэтому консультируюсь на форуме системных администраторов, для того что бы не "выпуливать" в воздух того чего нет.
А просчет на основе "сисек" показывает то решение, которое необходимо, залетает за 20к-30к € что меня не устраивает.
Мне не нужны 10гигабитные интерфейсы и канал, к которому будет подключена данная архитектура будет всего 100мбпс, соотвественно, по идеи гигабитны сетевой интерфейс вполне должнен это выдержать.
Если вы сетевой админстратор, то я понимаю что для админов круче сисек нет ничего...а то что они не 90%, а 40% берут за тренд, я думаю вы не будете возражать так же.
Да может они это и заслужили, но давай те немного отступим и сравним ситуацию с девушками."что вы предпочтете заниматься любовью с нормальной девушкой или анонировать на картинки плейбоя и мечтами переспать с моделью?"
это очень четко описывает ситуацию, доказывать что специально сделанное железо, намного лутше чем софтварное решение не надо, я понимаю это, даже с моим дипломом менеджера-маркетолога, но то что мной предложенное решение должно так точно быть в состоянии реализовать поставленные задачи, я так же понимаю, тем более в "сисадмине" сегодня читал как раз статью, это не совсем то чот мне надо, но яркий пример: http://www.untangle.com/ PC архитектура сетевого шита для локалки, с рекомендация по железу и фирмами, на которых это было уже внедеренно... моя задача отличается в деталях, если к этому всему, что там описано добавить модуль балансировки нагрузки, то этого будет достаточно и даже наверно больше чем я хотел.
То что использование ПЦ как рооутера ведь не вызывает так же ни у кого неодоумения, я видел такие решения для локальных сетей городских провайдеров и их хватало.
>[оверквотинг удален]
>людей, которые хоть что-то заканчивали это уже не вызывает не каких
>сомненей.Аппаратное устройство оно специализированно для обработки пакетов, и имеет специлизированные технологии
>для управления ресурсами "ящика", как я уже говорил, та же форможность
>переключения пакетов - в маршрутизаторах и PC явно реализованна по разному,
>и возможности коммутации явно отличаются.
>Так что PC с GE сетевыми платами не означает что это гигабитный
>маршрутизатор, например у циско есть специализированные бандлы GSR вот они реально
>гигабит роутеры, причем кол-во LC там на порядок выше чем можно
>каким-возможными и не возможными способами засунуть в PC, это вообще совершенно
>разные вещи и их нельзя сравнивать.Ваши замечания напоминают предложения о стрельбе по уткам зенитными ракетами, попасть-то попадем, и смотреться это будет эффектно, и типа "круто" вот только утку эту потом ни запечь, ни сварить не удасться...
Теперь о шинах и т.д.:
PCI шина (кажется) имеет пропускную способоность 1.2 Гб или около того, подробнее - в спецификации PCI.Основной показатель произмодительности роутера - не Мб ил Гб, а ПАКЕТЫ в секунду.
Как уже упоминалось ранее - у софтварного роутера на данном этапе предел производительности где-то на уровне 5-20 тыс пакетов (зависит от железа, ПО, и оптимизации ПО;); что в перещете на 1500 байт мту дает 60-240Мбит.
Но!!! средний размер пакета может составлять 300 байт.
непроверенные сплетни/слухи: Один знакомый экспериментировал с микротиком и зеброй, по его словам - дохнут на нагрузке 2-4 тыс пакетов/сек.
>непроверенные сплетни/слухи: Один знакомый экспериментировал с микротиком и зеброй, по его словам
>- дохнут на нагрузке 2-4 тыс пакетов/сек.Зебра отвечает только за роутинг.
>Основной показатель произмодительности роутера - не Мб ил Гб, а ПАКЕТЫ в
>секунду.
>Как уже упоминалось ранее - у софтварного роутера на данном этапе предел
>производительности где-то на уровне 5-20 тыс пакетов (зависит от железа, ПО,
>и оптимизации ПО;); что в перещете на 1500 байт мту дает
>60-240Мбит.
>Но!!! средний размер пакета может составлять 300 байт.6-stable от июля, 2 x Xeon 2.8 (старые xeon на intel sr1400) , 1 x em
- в качестве nat-router на pf , up to 250mbit/s и 50-60kpps
- но это предел для этой платформы практически.Я бы поставил 7-ку на amd64 и использовал двуядерник, 2-4Gb памяти, двуголовую карточку от Интел на PCI-E.
Дорого, но максимума бы добился.
>[оверквотинг удален]
>
>6-stable от июля, 2 x Xeon 2.8 (старые xeon на intel sr1400)
>, 1 x em
>- в качестве nat-router на pf , up to 250mbit/s и 50-60kpps
>
>- но это предел для этой платформы практически.
>
>Я бы поставил 7-ку на amd64 и использовал двуядерник, 2-4Gb памяти, двуголовую
>карточку от Интел на PCI-E.
>Дорого, но максимума бы добился.При таком раскладе cisco 2811 за 2000$ - 120kpps.
>Теперь технические моменты.
>Тут мне кто-то сказал о роутерных ОС типа Mikrotik, кто чего о
>них знает?Иногда используют PIXы вместо 2821.
Железа хватает, чтоб натить бОльшие потоки.
>Теперь технические моменты.
>Тут мне кто-то сказал о роутерных ОС типа Mikrotik, кто чего о
>них знает?
>а так же о возможных проблемах на уровне шины.
>Типа на PC шина намного уже и для серьезных решений ПЦ архитектура
>просто не подойдет.
>Mikrotik вещь очень приятная, но - на писюках она упирается в то, что это писюк.
Стабильная ветка сейчас 2.9.х, она идет только на одноядерниках (на core2duo запустить не удалось), бета ветка - 3.0.х, она на двухядерниках запускается, но есть ограничения функционала по сравнению с 2.9 (netflow нету еще, например).Ограничение простое - 50кппс в каждую сторону - и приехали. 200мбит микротик через себя прогоняет, больше у нас на pci сетевухах не получалось
как-то странно вы меряете:
Обычный неновый десктоп p4 3ггц с интелами e100 и линуксом пропихивает через себя ~72kpps без файрвола, и ~50kpps с файрволом до 1000 правил.
Более мощный тазик с 2мя гигабитными интелами на pcix ~ 120Kpps с full view bgp и фаерволом.
все проверялось 50-байтными пакетами с random src/dst адресами :)
есс-но такие килопакеты только благодаря поллингу, на микротике его нет, вот и ограничение
>как-то странно вы меряете:
>Обычный неновый десктоп p4 3ггц с интелами e100 и линуксом пропихивает через
>себя ~72kpps без файрвола, и ~50kpps с файрволом до 1000 правил.
>
>Более мощный тазик с 2мя гигабитными интелами на pcix ~ 120Kpps с
>full view bgp и фаерволом.
>все проверялось 50-байтными пакетами с random src/dst адресами :)
>есс-но такие килопакеты только благодаря поллингу, на микротике его нет, вот и
>ограничениеэти решения для колхоза, и таких людей нужно топором бить по голове ровно 3 (три) раза, чтоб не повадно было.
есть аппаратное сетевое обеспечение, которое созданно как раз для быстрой коммутации пакетов и реализации сетевых сервисов.
К сожалению, кроме центра вселенной - Москвы, есть еще и другие "колхозы" по стране, без которых бы не понятно было бы где центр.
>[оверквотинг удален]
>>Более мощный тазик с 2мя гигабитными интелами на pcix ~ 120Kpps с
>>full view bgp и фаерволом.
>>все проверялось 50-байтными пакетами с random src/dst адресами :)
>>есс-но такие килопакеты только благодаря поллингу, на микротике его нет, вот и
>>ограничение
>
>эти решения для колхоза, и таких людей нужно топором бить по голове
>ровно 3 (три) раза, чтоб не повадно было.
>есть аппаратное сетевое обеспечение, которое созданно как раз для быстрой коммутации пакетов
>и реализации сетевых сервисов.Люди, которые так думают обычно с очень ограниченным кругозором (техническим), вроде "как в детстве показали так и дальше идет", причем не зависимо от циско-наград и получаемой з/п
Как один из примеров - посчитайте кол-во ударов топором по вашей голове когда сдохнет что-то типа циски 72xx? И не надо мне говорить что у вас на складе только начатая пачка таких цисок - не поверю, и что реакция вашего поставщика на проблему 1-2 часа или что циски не дохнут и все работает как надо.
Я незащищаю софтварное решение вообще - я защищаю мое решение для меня, свой выбор.
Хотите пофлудить на тему? Давайте! Только плиз конкретные реализации, конкретных вещей существующие для аппаратных и софтварных решений.
>Хотите пофлудить на тему? Давайте! Только плиз конкретные реализации, конкретных вещей существующие
>для аппаратных и софтварных решений.Не надо тут флудить.