forum.opennet.ru - "Оценка способности сетевого стека Linux обрабатывать миллион..." (46)

"Оценка способности сетевого стека Linux обрабатывать миллион..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
Сообщение от opennews (??), 17-Июн-15, 21:20
Марек Майковски (Marek Majkowski), разработчик ядра Linux, работающий в компании CloudFlare, провёл (https://blog.cloudflare.com/how-to-receive-a-million-packets/) заслуживающий внимание эксперимент, пытаясь разобраться насколько быстр сетевой стек ядра Linux и возможно ли в Linux обеспечить работу пользовательского приложения, способного обработать миллион UDP-пакетов в секунду на обычном сервере с шестиядерным CPU Xeon (2GHz) и сетевой картой 10G. В эксперименте применялась связка из программы для отправки данных, использующая вызов sendmmsg для отправки информации порциями по 1024 пакета за раз, и программы для приема данных, использующая системный вызов recvmmsg (http://man7.org/linux/man-pages/man2/recvmmsg.2.html), ...более эффективный чем recv благодаря пакетной обработке данных. Первый вариант приложения продемонстрировал производительность отправки данных в диапазоне от 197 до 350 тысяч пакетов в секунду. Непостоянство производительности объяснялось миграцией обработчиков между ядрами CPU. Жестко закрепив программу за одним ядром CPU возросла эффективность кэша и производительность стабилизировалась на отметке в 350 тысяч пакетов в секунду. Следующим шагом стало распараллеливание отправки в несколько нитей, генерация пакетов значительно возросла, но принимающая программа не смогла обработать больше чем при первой попытке, уперевшись в производительность ядра CPU, выполняющего код приложения. Данное ограничение удалось преодолеть при помощи задействования нескольких принимающих очередей (RX queue), привязанных к разным CPU и закреплённых за разными IP-адресами. Распределение запросов по двум принимающим очередям увеличил производительность до 650 тысяч пакетов в секунду. Попытка дальнейшего увеличения числа RX-очередей привела к очередному узкому месту - несмотря на то, что сетевая карта справлялась с доставкой пакетов ядру, ядро оказалось не способно доставить их приложению, которое не успевало их принимать. Увеличение числа принимающих нитей, из-за ограниченного размера буфера UDP, не улучшило положение. Справиться с ограничением помог флаг SO_REUSEPORT, позволяющий сразу нескольким слушающим сокетам подключиться к одному порту для приёма соединений. При этом каждый обработчик использует отдельный дескриптор сокета, т.е. свой отдельный принимающий буфер UDP. Запустив четыре обработчика производительность удалось довести до 1.1 млн пакетов в секунду. Привязав обработку RX-очереди и принимающее приложение к одному узлу NUMA производительность удалось поднять до 1.4 млн пакетов в секунду. URL: https://blog.cloudflare.com/how-to-receive-a-million-packets/ Новость: http://www.opennet.me/opennews/art.shtml?num=42449
Ответить \| Правка \| Cообщить модератору

Оглавление

udp udp-lite прост, лучше бы провели тесты TCP , Аноним (-), 21:20 , 17-Июн-15, (1)

С подтверждением Это будет тест чего , Pilat (ok), 05:07 , 18-Июн-15, (13) +8

Пакеты, надо полагать, пустые С одной стороны это очень много и круто, но любопы, A.Stahl (ok), 21:20 , 17-Июн-15, (2) +7

Спроси у Netflix и NGinx они контрибутят ядро BSD , линукс на свой страх и риск, Аноним (-), 21:40 , 17-Июн-15, (3)

Так мы и спрашиваем покажете 1М PPS на обычной машине Отмазы про нжинкс и нет, Аноним (-), 19:53 , 18-Июн-15, (32)

С бумажкой на которых напечатаны эти циферки в бенче - можешь в толчок сходить и, bOOster (ok), 03:37 , 22-Июн-15, (47) –2
Обычная такая машина с 10G и NUMA Попей уже водички PS Нововсти этой месяц, Аноним (-), 18:34 , 15-Авг-15, (48)

http wand net nz pubs 211 pdf p21 pdf, Аноним (-), 21:48 , 17-Июн-15, (4)

Ну этот документ стар и считает не пакеты, а килободы И TCP, а не UDP Впрочем, , A.Stahl (ok), 21:55 , 17-Июн-15, (5) +5

Бугога Верни мне мой 2007й , oopss (?), 22:01 , 17-Июн-15, (6) +3

Нет проблем, тащите свежие данные, Crazy Alex (ok), 22:05 , 17-Июн-15, (7) +6

да данные такой давности даже упоминать глупо, oopss (?), 08:24 , 18-Июн-15, (17) +1

Поперхнулся 5 х, помнится, даже в продакшене нигде не жила С 4 сразу на 6 прыг, Sadok (ok), 22:09 , 17-Июн-15, (8) +2

Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова , Аноним (-), 22:15 , 17-Июн-15, (9)

100G, Аноним (-), 22:16 , 17-Июн-15, (10)

Угу, покажи нам миллионы PPSов и 100Гбит , Аноним (-), 19:55 , 18-Июн-15, (33)

Кое-где попала и в продакшен, кровь попортила изрядно Не только переходом на SMP, XoRe (ok), 09:07 , 18-Июн-15, (18)

Боды 8212 это вообще о чём вы Вообще-то Бод 8212 это единица измерения , t28 (?), 09:38 , 18-Июн-15, (21) +1

Не ной Да, некорректно использовал термин Но идея ясна , A.Stahl (ok), 09:50 , 18-Июн-15, (22) –1

Вы бы внимательно перечитали документ, а конкретно размеры буфера и TCP-окна в W, Аноним (-), 02:23 , 22-Июн-15, (46)

Можно здесь посмотреть некоторые соображения https calomel org network_perfor, iZEN (ok), 23:10 , 17-Июн-15, (11) –5

Соединение с calomel org было неожиданно прервано Возможно, также была прерва, Andrey Mitrofanov (?), 09:18 , 18-Июн-15, (19)

Вот как-то так оно пакеты и обрабатывает , Аноним (-), 11:36 , 18-Июн-15, (25) +1

h2o и http 2 0 вас приветствует говорят у h2o 20 запросов это отказ, Аноним (-), 13:21 , 18-Июн-15, (28)

Самое годное что там есть - фоновая картинка Которая однако прозрачно намекает , Аноним (-), 20:06 , 18-Июн-15, (34) +2

Ух ты Так там, внезапно, вдруг, оказывается, b исследуется b производительно, Аноним (-), 12:28 , 19-Июн-15, (44)

А теперь в юзерспейсе , AlexAT (ok), 22:02 , 18-Июн-15, (38)

350 kpps 8212 это мало и совсем не круто Уровень 1 Mpps достижим при отказе о, t28 (?), 09:33 , 18-Июн-15, (20) –5

Это конечно же полный бред , Аноним (-), 11:46 , 18-Июн-15, (26) +1
Вообще-то для х86 самого по себе - без дополнительых ухищрений очень сложно дерн, Аноним (-), 20:08 , 18-Июн-15, (35)

Ну сетевухи уже давно не дёргают x86 на каждый пакет, тащемта , AlexAT (ok), 22:01 , 18-Июн-15, (37) +1

Ну да Там всякие довольно жестокие изгаления по части interrupt mitigation, нас, Аноним (-), 01:49 , 19-Июн-15, (39) –1

Миллион восемьсот пакетов в секунду при включенном fastforwardinghttp bsdrp ne, Dmitry (??), 10:13 , 18-Июн-15, (23) –3

Cкажите мне как художник художнику, вы читать умеете , Аноним (-), 11:34 , 18-Июн-15, (24) +2

Если в тексте написано что BSD как обычно вздрючило пингвина, и _подробно_ распи, Аноним (-), 05:41 , 19-Июн-15, (40) –2

Ну, вы ведь понимаете, что именно ЭТОТ конь -- абсолютно неправильной сферичност, Аноним (-), 12:38 , 19-Июн-15, (45) –1

Круто А теперь попробуй получить 1 8М пакетов в секунду программой в юзерспейсе, Аноним (-), 20:10 , 18-Июн-15, (36)

Про netmap прямо здесь рассказывать , Dmitry (??), 11:01 , 19-Июн-15, (43)

Весьма и весьма не плохо, интересно аналогичные результаты можно достичь на мелк, svsd_val (ok), 05:57 , 18-Июн-15, (14)
тут больше в само ядро упирается чем в трюки вокруг него помнится, N2O, Yaws , Аноним (-), 08:13 , 18-Июн-15, (16) –4

Очередное творчество душевнобольных , Аноним (-), 11:46 , 18-Июн-15, (27)
А что, Erlang на QNX уже считается пригодным для эксплуатации Сами создатели эр, YetAnotherOnanym (ok), 14:13 , 18-Июн-15, (29) +1
что за тесты есть ссылка , fleonis (?), 14:39 , 18-Июн-15, (30)
Сказочник грёбанный QNX - редкий тормоз в сетях, это я тебе как доктор гово, Аноним (-), 05:44 , 19-Июн-15, (41) +1

Разбор полётов внутри ядра - где тормоза и куда пилить - https lwn net Article, rob pike (?), 14:46 , 18-Июн-15, (31) +1
1M пакетов для 10G - это, всё же, мало Физический предел для такого интерфейса -, ArtemDPI (?), 10:46 , 19-Июн-15, (42)

Сообщения [Сортировка по времени | RSS]

1. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 17-Июн-15, 21:20

udp/udp-lite прост, лучше бы провели тесты TCP...

Ответить | Правка | Наверх | Cообщить модератору

13. "Оценка способности сетевого стека Linux обрабатывать миллион..." +8 +/–

Сообщение от Pilat (ok), 18-Июн-15, 05:07

> udp/udp-lite прост, лучше бы провели тесты TCP...
С подтверждением ? Это будет тест чего?

Ответить | Правка | Наверх | Cообщить модератору

2. "Оценка способности сетевого стека Linux обрабатывать миллион..." +7 +/–

Сообщение от A.Stahl (ok), 17-Июн-15, 21:20

Пакеты, надо полагать, пустые?
С одной стороны это очень много и круто, но любопытно было бы сравнить с кем-то.
Что скажут BSDшники, которые всегда указывают на свой сетевой стек, когда заходит речь о полезности их системы. Может для BSD это вообще не масштаб?

Ответить | Правка | Наверх | Cообщить модератору

3. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 17-Июн-15, 21:40

Спроси у Netflix и NGinx (они контрибутят ядро BSD), линукс на свой страх и риск.

Ответить | Правка | Наверх | Cообщить модератору

32. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 18-Июн-15, 19:53

> Спроси у Netflix и NGinx (они контрибутят ядро BSD), линукс на свой страх и риск.
Так мы и спрашиваем: покажете 1М+ PPS на обычной машине? Отмазы про нжинкс и нетфликс - не есть циферки в бенчах.

Ответить | Правка | Наверх | Cообщить модератору

47. "Оценка способности сетевого стека Linux обрабатывать миллион..." –2 +/–

Сообщение от bOOster (ok), 22-Июн-15, 03:37

С бумажкой на которых напечатаны эти циферки в бенче - можешь в толчок сходить и подтереться ими.
Эти бенчи приводят к появлению дыр в ядре, и все сообщество линуксоидов пердячим паром их ликвидирует…
ДАЖЕ если вдруг стек и не дотягивает до такой производительности - то уж он на голову стабильнее поделок под Линь.

Ответить | Правка | Наверх | Cообщить модератору

48. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 15-Авг-15, 18:34

>покажете 1М+ PPS на обычной машине?
Обычная такая машина с 10G и NUMA :) Попей уже водички ..
PS: Нововсти этой месяца 3 уже как, с разморозкой ! :)

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

4. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 17-Июн-15, 21:48

http://wand.net.nz/pubs/211/pdf/p21.pdf

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

5. "Оценка способности сетевого стека Linux обрабатывать миллион..." +5 +/–

Сообщение от A.Stahl (ok), 17-Июн-15, 21:55

Ну этот документ стар и считает не пакеты, а килободы. И TCP, а не UDP.
Впрочем, если кому интересно, то вот оттуда данные:
TCP Implementation   Min     Mean  Max     SD
Linux 2.6.10        164.38 213.98 287.67 22.75
Linux 2.4.27        153.82 207.42 248.70 22.86
FreeBSD 5.3         136.77 176.20 225.01 17.11
FreeBSD 5.2.1       128.74 162.81 219.01 19.56
Windows XP SP2      89.90  137.31 191.00 21.67
OpenBSD 3.5         63.84  117.98 166.82 22.11
Как мы видим фряха отстаёт процентов на 15.
А опенБСД даже хуже винды.

Ответить | Правка | Наверх | Cообщить модератору

6. "Оценка способности сетевого стека Linux обрабатывать миллион..." +3 +/–

Сообщение от oopss (?), 17-Июн-15, 22:01

Бугога) Верни мне мой 2007й?

Ответить | Правка | Наверх | Cообщить модератору

7. "Оценка способности сетевого стека Linux обрабатывать миллион..." +6 +/–

Сообщение от Crazy Alex (ok), 17-Июн-15, 22:05

Нет проблем, тащите свежие данные

Ответить | Правка | Наверх | Cообщить модератору

17. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от oopss (?), 18-Июн-15, 08:24

да данные такой давности даже упоминать глупо

Ответить | Правка | Наверх | Cообщить модератору

8. "Оценка способности сетевого стека Linux обрабатывать миллион..." +2 +/–

Сообщение от Sadok (ok), 17-Июн-15, 22:09

> Ну этот документ стар и считает не пакеты, а килободы. И TCP,
> а не UDP.
> FreeBSD 5.3         136.77 176.20
> 225.01 17.11
> FreeBSD 5.2.1       128.74 162.81 219.01 19.56
Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу на 6 прыгали
> Как мы видим фряха отстаёт процентов на 15.
> А опенБСД даже хуже винды.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

9. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 17-Июн-15, 22:15

>> Ну этот документ стар и считает не пакеты, а килободы. И TCP,
>> а не UDP.
>> FreeBSD 5.3         136.77 176.20
>> 225.01 17.11
>> FreeBSD 5.2.1       128.74 162.81 219.01 19.56
> Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу
> на 6 прыгали
>> Как мы видим фряха отстаёт процентов на 15.
>> А опенБСД даже хуже винды.
Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова...

Ответить | Правка | Наверх | Cообщить модератору

10. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 17-Июн-15, 22:16

>>> Ну этот документ стар и считает не пакеты, а килободы. И TCP,
>>> а не UDP.
>>> FreeBSD 5.3         136.77 176.20
>>> 225.01 17.11
>>> FreeBSD 5.2.1       128.74 162.81 219.01 19.56
>> Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу
>> на 6 прыгали
>>> Как мы видим фряха отстаёт процентов на 15.
>>> А опенБСД даже хуже винды.
> Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова...
100G

Ответить | Правка | Наверх | Cообщить модератору

33. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 18-Июн-15, 19:55

>> Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова...
> 100G
Угу, покажи нам миллионы PPSов и 100Гбит.

Ответить | Правка | Наверх | Cообщить модератору

18. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от XoRe (ok), 18-Июн-15, 09:07

> Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу
> на 6 прыгали
Кое-где попала и в продакшен, кровь попортила изрядно.
Не только переходом на SMP, но и изменениями в портах.
А вообще да, странно, что в сравнении не взяли FreeBSD 4.9.

Ответить | Правка | К родителю #8 | Наверх | Cообщить модератору

21. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от t28 (?), 18-Июн-15, 09:38

> Ну этот документ стар и считает не пакеты, а килободы.
"Боды" — это вообще о чём вы? Вообще-то Бод — это единица измерения количества изменений модуляции (или манипуляции) в секунду.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

22. "Оценка способности сетевого стека Linux обрабатывать миллион..." –1 +/–

Сообщение от A.Stahl (ok), 18-Июн-15, 09:50

Не ной. Да, некорректно использовал термин. Но идея ясна.

Ответить | Правка | Наверх | Cообщить модератору

46. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 22-Июн-15, 02:23

Вы бы внимательно перечитали документ, а конкретно размеры буфера и TCP-окна в Windows XP SP2. Что за замеры такие, когда тесты проводятся с параметрами по умолчанию?!

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

11. "Оценка способности сетевого стека Linux обрабатывать миллион..." –5 +/–

Сообщение от iZEN (ok), 17-Июн-15, 23:10

Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

19. "способности сетевого стека Linux обрабатывать миллион" +/–

Сообщение от Andrey Mitrofanov (?), 18-Июн-15, 09:18

> Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html
""Соединение с calomel.org было неожиданно прервано. Возможно, также была прервана передача данных.""
Посмотрел. В ахе.

Ответить | Правка | Наверх | Cообщить модератору

25. "способности сетевого стека Linux обрабатывать миллион" +1 +/–

Сообщение от Аноним (-), 18-Июн-15, 11:36

> ""Соединение с calomel.org было неожиданно прервано. Возможно, также была прервана передача
> данных.""
> Посмотрел. В ахе.
Вот как-то так оно пакеты и обрабатывает.

Ответить | Правка | Наверх | Cообщить модератору

28. "способности сетевого стека Linux обрабатывать миллион" +/–

Сообщение от Аноним (-), 18-Июн-15, 13:21

h2o и http/2.0 вас приветствует...
говорят у h2o 20% запросов это отказ

Ответить | Правка | Наверх | Cообщить модератору

34. "Оценка способности сетевого стека Linux обрабатывать миллион..." +2 +/–

Сообщение от Аноним (-), 18-Июн-15, 20:06

> Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html
Самое годное что там есть - фоновая картинка. Которая однако прозрачно намекает что основное время бояздэшники проводят в трублешутинге и твиках того, что у остальных сразу работает нормально.
А так - да, там отлично видно:
1) В качестве генератора пакетов на 10Гбит линк почему-то используются убунты. Наверное потому что они этот 10Гбит линк вообще могут прогрузить, для начала, в отличие от исследуемого на производительность предмета? :)
2) Коменты про отключение HT и однопоточность - улыбают. Да, очень круто когда 1 рубит а семеро в кулак трубят. Это оказывается было сказано про работу OpenBSD на восьмиядернике :)
3) Не надо быть семи пядей во лбу, чтобы заметить что твиков TCP/IP стека у обычной убунты - разика так в три поболее чем у бздюков. Так что когда что-то покрутить приспичило - это хотя-бы можно, для начала. Про то что у редхата еще больше настроек в их самопальных ядрах - я и вовсе молчу.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

44. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 19-Июн-15, 12:28

> А так - да, там отлично видно:
> 1) В качестве генератора пакетов на 10Гбит линк почему-то используются убунты. Наверное
> потому что они этот 10Гбит линк вообще могут прогрузить, для начала,
> в отличие от исследуемого на производительность предмета? :)
Ух ты! Так там, внезапно, вдруг, оказывается, исследуется производительность, т.е. это не просто пример твикалки огнестены меж двух бубунто-серверов?
Интересно, а почему же не используют сразу бубунту для всего? =)
> 3) Не надо быть семи пядей во лбу, чтобы заметить что твиков
> TCP/IP стека у обычной убунты - разика так в три поболее
> чем у бздюков.
Ну да, особенно, когда все твики идут вообще отдельно https://calomel.org/freebsd_network_tuning.html
*на третий день Фанатег Зоркий Глаз заметил ...*
А так, да, все верно :)

Ответить | Правка | Наверх | Cообщить модератору

38. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от AlexAT (ok), 18-Июн-15, 22:02

А теперь в юзерспейсе.

Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

20. "Оценка способности сетевого стека Linux обрабатывать миллион..." –5 +/–

Сообщение от t28 (?), 18-Июн-15, 09:33

> Пакеты, надо полагать, пустые?
> С одной стороны это очень много и круто, но любопытно было бы
350 kpps — это мало и совсем не круто.
Уровень 1 Mpps достижим при отказе от сетевого стека ядра и реализации части драйвера сетевухи, IP-стека и собственно обработчика этих пакетов на уровне user-space приложения. Где-то была статья год назад на эту тему. Естественно, что такой подход позволяет выжать максимум из железа.

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

26. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от Аноним (-), 18-Июн-15, 11:46

Это конечно же полный бред.

Ответить | Правка | Наверх | Cообщить модератору

35. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 18-Июн-15, 20:08

Вообще-то для х86 самого по себе - без дополнительых ухищрений очень сложно дернуться 350 000 раз в секунду. Прерывания на х86 довольно медленные, переключение контекста - дорогое. Все прелести. В результате навороченный 4-гигагерцевый кирпич может убить все время на телепание между контекстами, заваливание в прерывания и прочую сугубо техническую работу.

Ответить | Правка | К родителю #20 | Наверх | Cообщить модератору

37. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от AlexAT (ok), 18-Июн-15, 22:01

Ну сетевухи уже давно не дёргают x86 на каждый пакет, тащемта.

Ответить | Правка | Наверх | Cообщить модератору

39. "Оценка способности сетевого стека Linux обрабатывать миллион..." –1 +/–

Сообщение от Аноним (-), 19-Июн-15, 01:49

> Ну сетевухи уже давно не дёргают x86 на каждый пакет, тaщeмта.
Ну да. Там всякие довольно жестокие изгаления по части interrupt mitigation, насколько я знаю.

Ответить | Правка | Наверх | Cообщить модератору

23. "Оценка способности сетевого стека Linux обрабатывать миллион..." –3 +/–

Сообщение от Dmitry (??), 18-Июн-15, 10:13

Миллион восемьсот пакетов в секунду при включенном fastforwarding
http://bsdrp.net/documentation/technical_docs/performance

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

24. "Оценка способности сетевого стека Linux обрабатывать миллион..." +2 +/–

Сообщение от Аноним (-), 18-Июн-15, 11:34

Cкажите мне как художник художнику, вы читать умеете ?

Ответить | Правка | Наверх | Cообщить модератору

40. "Оценка способности сетевого стека Linux обрабатывать миллион..." –2 +/–

Сообщение от Аноним (-), 19-Июн-15, 05:41

Если в тексте написано что BSD как обычно вздрючило пингвина, и _подробно_ расписано как повторить опыт ... то для художников оно не читаемо? Ню-ню :)

Ответить | Правка | Наверх | Cообщить модератору

45. "Оценка способности сетевого стека Linux обрабатывать миллион..." –1 +/–

Сообщение от Аноним (-), 19-Июн-15, 12:38

> Если в тексте написано что BSD как обычно вздрючило пингвина, и _подробно_
> расписано как повторить опыт ... то для художников оно не читаемо?
> Ню-ню :)
Ну, вы ведь понимаете, что именно ЭТОТ конь -- абсолютно неправильной сферичности!
Ведь провели замер скорости пингвинообразной поняшки в вакууме -- а у "бздюков", точно таких же "тестов", нема! Значит что? Значит, они СЛИЛИСЯ! Уррра товарищи!!!
Причем, каждый третий норовит высказать свое "Фи" так, как будто он, как минимум, причастен к разработке  сетевого стека пингвина!
Детский сад, штаны на лямках :)

Ответить | Правка | Наверх | Cообщить модератору

36. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 18-Июн-15, 20:10

> Миллион восемьсот пакетов в секунду при включенном fastforwarding
Круто. А теперь попробуй получить 1.8М пакетов в секунду программой в юзерспейсе и расскажи как получилось.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

43. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Dmitry (??), 19-Июн-15, 11:01

>> Миллион восемьсот пакетов в секунду при включенном fastforwarding
> Круто. А теперь попробуй получить 1.8М пакетов в секунду программой в юзерспейсе
> и расскажи как получилось.
Про netmap прямо здесь рассказывать ?

Ответить | Правка | Наверх | Cообщить модератору

14. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от svsd_val (ok), 18-Июн-15, 05:57

Весьма и весьма не плохо, интересно аналогичные результаты можно достичь на мелко мягких ?

Ответить | Правка | Наверх | Cообщить модератору

16. "Оценка способности сетевого стека Linux обрабатывать миллион..." –4 +/–

Сообщение от Аноним (-), 18-Июн-15, 08:13

тут больше в само ядро упирается. чем в "трюки" вокруг него.
помнится, N2O, Yaws и cowboy - выдавали на стрекозе и QNX до в 30х и 8х раз больший траффик с того-же железа. а в линукс - просто ядро сатурировалось и ж-а наступала. ни сервисам ничего ни доставалось ни достучаться до него - низя было.
по той-же причине и hammerfs в linux не прикрутить - ведро с болтами это - не тянет такое.

Ответить | Правка | Наверх | Cообщить модератору

27. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от Аноним (-), 18-Июн-15, 11:46

Очередное творчество душевнобольных.

Ответить | Правка | Наверх | Cообщить модератору

29. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от YetAnotherOnanym (ok), 18-Июн-15, 14:13

А что, Erlang на QNX уже считается пригодным для эксплуатации? Сами создатели эрланга на вопрос о работе под QNX отвечают "Там какой-то чувак пилит порт, спроси в рассылке".

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

30. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от fleonis (?), 18-Июн-15, 14:39

что за тесты? есть ссылка?

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

41. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от Аноним (-), 19-Июн-15, 05:44

> выдавали  QNX до в 30х и 8х раз больший траффик с того-же железа.
Сказочник грёбанный :))))
QNX - редкий тормоз в сетях, это я тебе как доктор говорю :)

Ответить | Правка | К родителю #16 | Наверх | Cообщить модератору

31. "Оценка способности сетевого стека Linux обрабатывать миллион..." +1 +/–

Сообщение от rob pike (?), 18-Июн-15, 14:46

Разбор полётов внутри ядра - где тормоза и куда пилить - https://lwn.net/Articles/629155/, http://people.netfilter.org/hawk/presentations/LCA2015/net_s...

Ответить | Правка | Наверх | Cообщить модератору

42. "Оценка способности сетевого стека Linux обрабатывать миллион..." +/–

Сообщение от ArtemDPI (?), 19-Июн-15, 10:46

1M пакетов для 10G - это, всё же, мало.
Физический предел для такого интерфейса - около 15M фреймов в секунду (с минимальной полезной нагрузкой 64Б) и около 5M фреймов со средним размером полезной нагрузки в 256Б (сегодня в сетях примерно так). Учитывая, что интерфейсы дуплексные, умножаем на 2.
Соответственно, если мы хотим хотя бы близко подойти к использованию всех возможностей 10G интерфейса (про 40 и 100 молчу), сетевой стек Linux использовать нельзя.
Для этого и пилят всякие DPDK и Netmap'ы (там мы, правда, начинаем уже упираться в память, процессоры и интерконнект, но это уже другой вопрос).

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
Сообщение от Аноним (-), 17-Июн-15, 21:20
udp/udp-lite прост, лучше бы провели тесты TCP...
Ответить \| Правка \| Наверх \| Cообщить модератору


	13. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+8 +/–
	Сообщение от Pilat (ok), 18-Июн-15, 05:07
	> udp/udp-lite прост, лучше бы провели тесты TCP... С подтверждением ? Это будет тест чего?
	Ответить \| Правка \| Наверх \| Cообщить модератору

2. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+7 +/–
Сообщение от A.Stahl (ok), 17-Июн-15, 21:20
Пакеты, надо полагать, пустые? С одной стороны это очень много и круто, но любопытно было бы сравнить с кем-то. Что скажут BSDшники, которые всегда указывают на свой сетевой стек, когда заходит речь о полезности их системы. Может для BSD это вообще не масштаб?
Ответить \| Правка \| Наверх \| Cообщить модератору


	3. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 17-Июн-15, 21:40
	Спроси у Netflix и NGinx (они контрибутят ядро BSD), линукс на свой страх и риск.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	32. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 18-Июн-15, 19:53
	> Спроси у Netflix и NGinx (они контрибутят ядро BSD), линукс на свой страх и риск. Так мы и спрашиваем: покажете 1М+ PPS на обычной машине? Отмазы про нжинкс и нетфликс - не есть циферки в бенчах.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	47. "Оценка способности сетевого стека Linux обрабатывать миллион..."	–2 +/–
	Сообщение от bOOster (ok), 22-Июн-15, 03:37
	С бумажкой на которых напечатаны эти циферки в бенче - можешь в толчок сходить и подтереться ими. Эти бенчи приводят к появлению дыр в ядре, и все сообщество линуксоидов пердячим паром их ликвидирует… ДАЖЕ если вдруг стек и не дотягивает до такой производительности - то уж он на голову стабильнее поделок под Линь.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	48. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 15-Авг-15, 18:34
	>покажете 1М+ PPS на обычной машине? Обычная такая машина с 10G и NUMA :) Попей уже водички .. PS: Нововсти этой месяца 3 уже как, с разморозкой ! :)
	Ответить \| Правка \| К родителю #32 \| Наверх \| Cообщить модератору


	4. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 17-Июн-15, 21:48
	http://wand.net.nz/pubs/211/pdf/p21.pdf
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	5. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+5 +/–
	Сообщение от A.Stahl (ok), 17-Июн-15, 21:55
	Ну этот документ стар и считает не пакеты, а килободы. И TCP, а не UDP. Впрочем, если кому интересно, то вот оттуда данные: TCP Implementation Min Mean Max SD Linux 2.6.10 164.38 213.98 287.67 22.75 Linux 2.4.27 153.82 207.42 248.70 22.86 FreeBSD 5.3 136.77 176.20 225.01 17.11 FreeBSD 5.2.1 128.74 162.81 219.01 19.56 Windows XP SP2 89.90 137.31 191.00 21.67 OpenBSD 3.5 63.84 117.98 166.82 22.11 Как мы видим фряха отстаёт процентов на 15. А опенБСД даже хуже винды.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	6. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+3 +/–
	Сообщение от oopss (?), 17-Июн-15, 22:01
	Бугога) Верни мне мой 2007й?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+6 +/–
	Сообщение от Crazy Alex (ok), 17-Июн-15, 22:05
	Нет проблем, тащите свежие данные
	Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+1 +/–
	Сообщение от oopss (?), 18-Июн-15, 08:24
	да данные такой давности даже упоминать глупо
	Ответить \| Правка \| Наверх \| Cообщить модератору


	8. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+2 +/–
	Сообщение от Sadok (ok), 17-Июн-15, 22:09
	> Ну этот документ стар и считает не пакеты, а килободы. И TCP, > а не UDP. > FreeBSD 5.3 136.77 176.20 > 225.01 17.11 > FreeBSD 5.2.1 128.74 162.81 219.01 19.56 Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу на 6 прыгали > Как мы видим фряха отстаёт процентов на 15. > А опенБСД даже хуже винды.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	9. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 17-Июн-15, 22:15
	>> Ну этот документ стар и считает не пакеты, а килободы. И TCP, >> а не UDP. >> FreeBSD 5.3 136.77 176.20 >> 225.01 17.11 >> FreeBSD 5.2.1 128.74 162.81 219.01 19.56 > Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу > на 6 прыгали >> Как мы видим фряха отстаёт процентов на 15. >> А опенБСД даже хуже винды. Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова...
	Ответить \| Правка \| Наверх \| Cообщить модератору


	10. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 17-Июн-15, 22:16
	>>> Ну этот документ стар и считает не пакеты, а килободы. И TCP, >>> а не UDP. >>> FreeBSD 5.3 136.77 176.20 >>> 225.01 17.11 >>> FreeBSD 5.2.1 128.74 162.81 219.01 19.56 >> Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу >> на 6 прыгали >>> Как мы видим фряха отстаёт процентов на 15. >>> А опенБСД даже хуже винды. > Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова... 100G
	Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 18-Июн-15, 19:55
	>> Про производительность Multipath TCP for FreeBSD на 10GbE коробке тоже не слова... > 100G Угу, покажи нам миллионы PPSов и 100Гбит.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	18. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от XoRe (ok), 18-Июн-15, 09:07
	> Поперхнулся. 5.х, помнится, даже в продакшене нигде не жила. С 4 сразу > на 6 прыгали Кое-где попала и в продакшен, кровь попортила изрядно. Не только переходом на SMP, но и изменениями в портах. А вообще да, странно, что в сравнении не взяли FreeBSD 4.9.
	Ответить \| Правка \| К родителю #8 \| Наверх \| Cообщить модератору


	21. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+1 +/–
	Сообщение от t28 (?), 18-Июн-15, 09:38
	> Ну этот документ стар и считает не пакеты, а килободы. "Боды" — это вообще о чём вы? Вообще-то Бод — это единица измерения количества изменений модуляции (или манипуляции) в секунду.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	22. "Оценка способности сетевого стека Linux обрабатывать миллион..."	–1 +/–
	Сообщение от A.Stahl (ok), 18-Июн-15, 09:50
	Не ной. Да, некорректно использовал термин. Но идея ясна.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	46. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 22-Июн-15, 02:23
	Вы бы внимательно перечитали документ, а конкретно размеры буфера и TCP-окна в Windows XP SP2. Что за замеры такие, когда тесты проводятся с параметрами по умолчанию?!
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	11. "Оценка способности сетевого стека Linux обрабатывать миллион..."	–5 +/–
	Сообщение от iZEN (ok), 17-Июн-15, 23:10
	Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	19. "способности сетевого стека Linux обрабатывать миллион"	+/–
	Сообщение от Andrey Mitrofanov (?), 18-Июн-15, 09:18
	> Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html ""Соединение с calomel.org было неожиданно прервано. Возможно, также была прервана передача данных."" Посмотрел. В ахе.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	25. "способности сетевого стека Linux обрабатывать миллион"	+1 +/–
	Сообщение от Аноним (-), 18-Июн-15, 11:36
	> ""Соединение с calomel.org было неожиданно прервано. Возможно, также была прервана передача > данных."" > Посмотрел. В ахе. Вот как-то так оно пакеты и обрабатывает.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "способности сетевого стека Linux обрабатывать миллион"	+/–
	Сообщение от Аноним (-), 18-Июн-15, 13:21
	h2o и http/2.0 вас приветствует... говорят у h2o 20% запросов это отказ
	Ответить \| Правка \| Наверх \| Cообщить модератору


	34. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+2 +/–
	Сообщение от Аноним (-), 18-Июн-15, 20:06
	> Можно здесь посмотреть некоторые соображения: https://calomel.org/network_performance.html Самое годное что там есть - фоновая картинка. Которая однако прозрачно намекает что основное время бояздэшники проводят в трублешутинге и твиках того, что у остальных сразу работает нормально. А так - да, там отлично видно: 1) В качестве генератора пакетов на 10Гбит линк почему-то используются убунты. Наверное потому что они этот 10Гбит линк вообще могут прогрузить, для начала, в отличие от исследуемого на производительность предмета? :) 2) Коменты про отключение HT и однопоточность - улыбают. Да, очень круто когда 1 рубит а семеро в кулак трубят. Это оказывается было сказано про работу OpenBSD на восьмиядернике :) 3) Не надо быть семи пядей во лбу, чтобы заметить что твиков TCP/IP стека у обычной убунты - разика так в три поболее чем у бздюков. Так что когда что-то покрутить приспичило - это хотя-бы можно, для начала. Про то что у редхата еще больше настроек в их самопальных ядрах - я и вовсе молчу.
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору


	44. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 19-Июн-15, 12:28
	> А так - да, там отлично видно: > 1) В качестве генератора пакетов на 10Гбит линк почему-то используются убунты. Наверное > потому что они этот 10Гбит линк вообще могут прогрузить, для начала, > в отличие от исследуемого на производительность предмета? :) Ух ты! Так там, внезапно, вдруг, оказывается, исследуется производительность, т.е. это не просто пример твикалки огнестены меж двух бубунто-серверов? Интересно, а почему же не используют сразу бубунту для всего? =) > 3) Не надо быть семи пядей во лбу, чтобы заметить что твиков > TCP/IP стека у обычной убунты - разика так в три поболее > чем у бздюков. Ну да, особенно, когда все твики идут вообще отдельно https://calomel.org/freebsd_network_tuning.html на третий день Фанатег Зоркий Глаз заметил ... А так, да, все верно :)
	Ответить \| Правка \| Наверх \| Cообщить модератору


	38. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от AlexAT (ok), 18-Июн-15, 22:02
	А теперь в юзерспейсе.
	Ответить \| Правка \| К родителю #11 \| Наверх \| Cообщить модератору


	20. "Оценка способности сетевого стека Linux обрабатывать миллион..."	–5 +/–
	Сообщение от t28 (?), 18-Июн-15, 09:33
	> Пакеты, надо полагать, пустые? > С одной стороны это очень много и круто, но любопытно было бы 350 kpps — это мало и совсем не круто. Уровень 1 Mpps достижим при отказе от сетевого стека ядра и реализации части драйвера сетевухи, IP-стека и собственно обработчика этих пакетов на уровне user-space приложения. Где-то была статья год назад на эту тему. Естественно, что такой подход позволяет выжать максимум из железа.
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	26. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+1 +/–
	Сообщение от Аноним (-), 18-Июн-15, 11:46
	Это конечно же полный бред.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	35. "Оценка способности сетевого стека Linux обрабатывать миллион..."	+/–
	Сообщение от Аноним (-), 18-Июн-15, 20:08
	Вообще-то для х86 самого по себе - без дополнительых ухищрений очень сложно дернуться 350 000 раз в секунду. Прерывания на х86 довольно медленные, переключение контекста - дорогое. Все прелести. В результате навороченный 4-гигагерцевый кирпич может убить все время на телепание между контекстами, заваливание в прерывания и прочую сугубо техническую работу.
	Ответить \| Правка \| К родителю #20 \| Наверх \| Cообщить модератору