The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Fastsocket - новая высокомасштабируемая реализация сетевой п..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Fastsocket - новая высокомасштабируемая реализация сетевой п..."  +/
Сообщение от opennews (ok), 22-Окт-14, 22:50 
Группа китайских разработчиков высоконагруженных систем открыла наработки проекта Fastsocket (https://github.com/fastos/fastsocket), в рамках которого подготовлена альтернативная реализация сокетов и сетевой подсистемы ядра Linux. В отличие от штатной сетевой подсистемы ядра, Fastsocket обеспечивает практически линейную масштабируемость, что позволяет добиться существенно более высокой производительности на многоядерных компьютерах. Система является стабильной и хорошо зарекомендовала себя в промышленном использовании. В частности, Fastsocket используется для обеспечения работы online-службы SINA (https://ru.wikipedia.org/wiki/Sina_Corp) (17-й по посещаемости сайт в мире). Все наработки проекта поставляются под лицензией GPLv2.


Fastsocket бесшовно интергрируется с существующими серверными приложениями - достаточно через LD_PRELOAD загрузить библиотеку libfsocket.so, которая подменит собой традиционные функции работы с сокетами. Например, для использования Fastsocket в nginx достаточно запустить сервер командой "LD_PRELOAD=./libfsocket.so nginx". При этом включение поддержки Fastsocket в ядре сопряжено с некоторыми трудностями - для применения Fastsocket следует использовать специально подготовленную отдельную сборку ядра Linux, вместо штатного ядра из дистрибутива. В настоящее время предлагается вариант ядра 2.6.32-431.17.1.el6 для использования в RHEL/CentOS 6.5.


Но игра стоит свеч, на сервере с 24 ядрами CPU рост производительности при выполнении Nginx и Haproxy составляет 290% и 620%, по сравнению с обычным сетевым стеком, предоставляемым ядром из состава CentOS-6.5. Более того, Fastsocket обеспечивает дополнительный прирост производительности при использовании Hyper-Threading и Flow-Director. В частности, активация Hyper-Threading даёт прирост в 20% производительности, а использование сетевой карты на базе контроллера Intel 82599 прибавляет 15% при работе в роли прокси.
<center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="http://www.opennet.me/opennews/pics_base/0_1414003226.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>
<center><a href="https://raw.githubusercontent.com/fastos/fastsocket/master/i... src="http://www.opennet.me/opennews/pics_base/0_1414003182.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>

URL: https://news.ycombinator.com/item?id=8492867
Новость: http://www.opennet.me/opennews/art.shtml?num=40907

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по ответам | RSS]

1. Сообщение от Fracta1L (ok), 22-Окт-14, 22:50   +22 +/
Надеюсь, это скоро будет в ванильном ядре.
Ответить | Правка | Наверх | Cообщить модератору

2. Сообщение от A.Stahl (ok), 22-Окт-14, 22:56   +21 +/
>Группа китайских разработчиков...GPLv2

Я китайский бы выучил только за то, что им разговаривает "Группа китайских разработчиков..."
Вру на самом деле. Не буду я учить китайский. Я просто хотел сказать -- молодцы.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #16

3. Сообщение от Аноним (-), 22-Окт-14, 23:01   +/
Гораздо интереснее, насколько оно устойчиво к SYN-флуду, а также к большому количеству полузакрытых соединений.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #4

4. Сообщение от Аноним (-), 22-Окт-14, 23:03   +2 +/
Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #3 Ответы: #78, #85

5. Сообщение от manster (ok), 22-Окт-14, 23:04   –4 +/
Ох, надеюсь без бэкдоров и зондов
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #6, #26, #69

6. Сообщение от ононимуз (?), 22-Окт-14, 23:07   +2 +/
> Ох, надеюсь без бэкдоров и зондов

Сырцы есть, проверяй.


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #9

7. Сообщение от Аноним (-), 22-Окт-14, 23:08   –6 +/
Ура, я наконец понял в чём на самом деле была проблема высоконагруженных систем. А то по глупости всё грешил на базы данных, тормоза динамических языков программирования и шифрование SSL.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14, #22, #30

9. Сообщение от Аноним (-), 22-Окт-14, 23:19   +/
Сколько тебе заплатить, чтобы ты проверил?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #43, #46, #79

13. Сообщение от knikeemail (?), 22-Окт-14, 23:47   –1 +/
А почему с ядром 2.6 сравнивают?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #15, #17, #19, #23

14. Сообщение от manster (ok), 23-Окт-14, 00:01   +/
Не, бд и ссл действительно тормоза.

Для бд рулит кастомная группировка данных, когда одним запросом подгружается всё связанное

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

15. Сообщение от Кир (?), 23-Окт-14, 00:28   +11 +/
чтобы 620% прироста показать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

16. Сообщение от Led (ok), 23-Окт-14, 00:50   +21 +/
> Не буду я учить китайский.

А куда ты денешься?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #20, #21

17. Сообщение от temujeen (ok), 23-Окт-14, 00:55   –1 +/
как-то так получилось, что сетевой стек на последующих версиях ядра, оказался тормознее... этот вопрос уж не одну сотню раз всплывал на различных форумах.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #18, #34

18. Сообщение от екуыыыыы (?), 23-Окт-14, 01:02   +/
а по картинкам этого не видно
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

19. Сообщение от Аноним (-), 23-Окт-14, 01:14   +/
В ядре rhel/centos 6 от 2.6 осталась только совместимость, очень многое полезное из 3.х туда бекпортировано.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #24

20. Сообщение от Аноним (-), 23-Окт-14, 01:19   +1 +/
А никуда. Китайцы на США и прочих работают и поэтому сносно шпрехают на инглише.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16 Ответы: #37

21. Сообщение от Crazy Alex (ok), 23-Окт-14, 01:19   +/
Дык,английский - и проще учится и толку больше
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #16

22. Сообщение от Аноним (-), 23-Окт-14, 01:20   +4 +/
> А то по глупости всё грешил на базы данных, тормоза
> динамических языков программирования и шифрование SSL.

Ты не понял. Упомянутое становится проблемой, когда все предыдущие вещи уже разрулили :).

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

23. Сообщение от Crazy Alex (ok), 23-Окт-14, 01:21   +/
Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #25, #32

24. Сообщение от Led (ok), 23-Окт-14, 01:22   +/
> В ядре rhel/centos 6 от 2.6 осталась только совместимость,

Нет

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19

25. Сообщение от Led (ok), 23-Окт-14, 01:24   +/
> Сравнивают со стандартным де-факто ядром - то есть текущим редхатовским.

Т.е. с 3.10 из RHEL7 ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23 Ответы: #28

26. Сообщение от Аноним (-), 23-Окт-14, 01:45   –1 +/
> Ох, надеюсь без бэкдоров и зондов

...

"LD_PRELOAD=./libfsocket.so nginx".

Здравствуйте. Я китайский бэкдор. В силу плохого уровня развития IT в нашей стране мы умеем только копипастить, поэтому пожалуйста сами пропишите наш руткит в автозагрузку вашим программам и пришлите ссылку вашим друзьям.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5 Ответы: #27

27. Сообщение от manster (ok), 23-Окт-14, 02:27   –6 +/
Это конечно иронизирую.

Кстати могу ошибаться, но LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

Вообще да, LD_PRELOAD это еще та дырища.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #55, #62

28. Сообщение от Crazy Alex (ok), 23-Окт-14, 03:12   +/
Это станет стандартом еще через пару лет. Никто в здравом уме не мигрирует, если этого можно не делать. А у редхата можно не мигрировать очень долго.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #25

30. Сообщение от rob pike (?), 23-Окт-14, 07:34   –1 +/
> всё грешил на базы данных,

В большинстве случаев это решается правильной организацией кэширования.
Да, подчас очень непростой, но таки решается.

> тормоза динамических языков программирования

Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.
Кстати, ngx_lua и базирующийся на нём OpenResty - тоже китайского происхождения.

> и шифрование SSL.

Которое, во-первых, можно использовать только для авторизации, после чего возвращаться к http, во-вторых, большую часть оверхеда можно переложить на CDN, пользуясь тем что основной оверхед приходится на handshake.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #36, #56, #58, #67

31. Сообщение от Аноним (-), 23-Окт-14, 07:51   +/
солидный прирост.
я знал что в "родном" стэке полно барахла на скотче и соплях, держащегося, но не думал что НАСТОЛЬКО много.

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #74

32. Сообщение от Аноним (-), 23-Окт-14, 07:55   +/
нудк HPC-же.
а там у китайцев наряду с LFS, Калькой, Центос - самое популярное с производными.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #23

34. Сообщение от Аноном (?), 23-Окт-14, 08:44   +/
Это не совсем так, были регрессии, но они правились.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #17

35. Сообщение от anonymous (??), 23-Окт-14, 08:47   +/
А нижние графики-то --- похоже, фальшивка: таких _в мелких деталях_ самоподобных кривых _за сутки_ хрен получишь.
Ответить | Правка | Наверх | Cообщить модератору

36. Сообщение от Аноним (-), 23-Окт-14, 08:52   –2 +/
Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных. А щас интерктив везде, чтение запись выравниваются
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #42, #44

37. Сообщение от twilight (ok), 23-Окт-14, 08:57   +3 +/
Это откуда такая информация?
Насколько я могу судить по своему опыту общения с китайцами - к английскому у них довольно прохладное отношение.
Даже приезжающие в Рф студенты не торопятся учить англ., а уровень подготовки большинства из них даже ниже, чем у выпускников России.
В приграничных районах (манджурия) - китайцы более сносно говорят на русском, чем на английском.
Так что на счет "сносно шпрехают" - боооольшой вопрос, они в плане интеграции самодостаточны.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #20 Ответы: #40, #53

38. Сообщение от DmA (??), 23-Окт-14, 09:00   +/
Из описания в Википедии "Sina Corp — китайская интернет-компания. Является сетью общения между китайскими диаспорами по всему миру. Имеет четыре направления деятельности: Sina Weibo, Sina Mobile, Sina Online, и Sina.net. Объединяет более 100 миллионов пользователей по всему миру"
Какая-то массоновская секта!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #39

39. Сообщение от Аноним (-), 23-Окт-14, 09:10   +2 +/
масонов еще не было, а китайцы - были.
однако.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38 Ответы: #57

40. Сообщение от мшефд (?), 23-Окт-14, 09:16   +4 +/
Маньчжурия
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37

42. Сообщение от rob pike (?), 23-Окт-14, 09:40   +/
> Кеширование это моветон.

Весьма неожиданная точка зрения, надо признать.

> Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются

Вас не затруднит привести пару-тройку примеров из современного веб?
А также пояснить в чем принципиальное затруднение в решении этой проблемы Write-back кэшированием.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

43. Сообщение от Аноним (43), 23-Окт-14, 09:57   +2 +/
Могу я проверять, за регулярную почасовую оплату, на полную ставку, обещать правда могу только то что буду честно работать, и изучать вопрос...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

44. Сообщение от Аноним (43), 23-Окт-14, 10:01   +1 +/
> Кеширование это моветон. Им можно решить только задачи с преимущественным чтнением данных.
> А щас интерктив везде, чтение запись выравниваются

Какое выравнивание? checkbox от кнопки "like" сопоставим по объёму с выгрузкой статьи?
Просто представьте что вы на посещаемых сайтах пишете примерно столько-же слов сколько читаете.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36

46. Сообщение от Аноним (-), 23-Окт-14, 10:10   +1 +/
Нет столько денег. Вернее нет технологий чтоб пересадить ему мозги разработчика сабжа.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

47. Сообщение от Аноним (-), 23-Окт-14, 10:46   –1 +/
Китайцы довольно агрессивно пытаются пропихнуть свои дырки в другие страны, как я погляжу. Офис кривой, теперь вот это...
Ответить | Правка | Наверх | Cообщить модератору

50. Сообщение от Аноним (-), 23-Окт-14, 11:26   +1 +/
теперь ждем соизмеримые наработки наших ученых, а то все чего то там выбирают выбирают, видать ни как не могут выбрать =D
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #60, #68, #75

53. Сообщение от Аноним (-), 23-Окт-14, 12:17   –3 +/
> Это откуда такая информация?

От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать - они неизбежно шпрехают на инглише.

> Так что на счет "сносно шпрехают" - боооольшой вопрос,

Сравни английскую версию хоть того же алиэкспресса и русскую. Особенно перевод описаний товаров. Говорит само за себя.

А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #92

55. Сообщение от Аноним (-), 23-Окт-14, 12:27   +1 +/
> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.

Расскажите мне - в чем у меня проблемы на x86_64? А то я их не заметил :).

> Вообще да, LD_PRELOAD это еще та дырища.

Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами и просто взломщиками, нежели как какое-то продакшновое решение.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #94

56. Сообщение от Аноним (-), 23-Окт-14, 12:34   +/
> В большинстве случаев это решается правильной организацией кэширования.

Или использованием каких-нибудь NoSQL баз и простых схем данных. Они быстрые как понос при правильном подходе.

> Динамический язык динамическому языку рознь. LuaJIT, например, тормозами не страдает.

Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон: nginx может кэшировать все в статику и отдавать как просто статичные файлы. А при отдаче статики и кэшированного контента уже все может упереться в упомянутые эффекты.

> большую часть оверхеда можно переложить на CDN,

CDN вообще-то желают бабла за свои услуги. И видимо остаются в наваре от этой деятельности, что прозрачно намекает что самому хостить несколько выгоднее, особенно при больших масштабах. Было бы это не так - ну не работали бы CDN себе же в убыток?!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #61

57. Сообщение от Аноним (-), 23-Окт-14, 12:36   +/
> масонов еще не было, а китайцы - были.

Вот мы их и раскусили :).


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39 Ответы: #84

58. Сообщение от manster (ok), 23-Окт-14, 12:52   –1 +/
Не стоит "правильность" обеспечивать кэшированием. Смотри глубже - ленивая, отложенная загрузка и еще кое-что (сходно с тяжелой графикой)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #59

59. Сообщение от manster (ok), 23-Окт-14, 12:53   –1 +/
шардинг
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #58

60. Сообщение от DmA (??), 23-Окт-14, 13:30   –1 +/
у российских чиновников от науки на уме только распил  бюджетных денег
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #64

61. Сообщение от rob pike (?), 23-Окт-14, 13:50   –1 +/
> NoSQL баз и простых схем данных.
> Они быстрые как понос при правильном подходе.

Какие образные у вас сравнения. Намекаете на то что MongoDB медленней PostgreSQL? Мы в курсе.

> Если уж на то пошло, грузить бэкэнд выполнением скриптов на каждого юзера - тоже моветон

Действительно, давайте каждого юзера называть просто Васей, они всё равно одинаковые практически, юзеры эти.

> CDN вообще-то желают бабла за свои услуги

Ужас какой, действительно. Все остальные-то компоненты высоконагруженных систем обычно совершенно ничего не стоят.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #56

62. Сообщение от arisu (ok), 23-Окт-14, 13:57   +4 +/
> Вообще да, LD_PRELOAD это еще та дырища.

а возможность запускать программы — вообще мегадырка.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27 Ответы: #97

63. Сообщение от YetAnotherOnanym (ok), 23-Окт-14, 16:28   +/
Хы, это как же его до китайцев писали? Видать, Телса мало Алана по рукам била.
Ответить | Правка | Наверх | Cообщить модератору

64. Сообщение от Аноним (-), 23-Окт-14, 20:18   +/
это был сарказм про физиков и слаку ...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #60

67. Сообщение от Аноним (-), 23-Окт-14, 21:18   +/
>большую часть оверхеда можно переложить на CDN

Rob - подумай такую мысль: это для CDN-щиков и сделано :) Как вариант. Оне же тоже люди и им тоже хочеЦЦо накладные придавить вниз. Ы?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30 Ответы: #73

68. Сообщение от Аноним не тот (?), 23-Окт-14, 21:36   +/
> теперь ждем соизмеримые наработки наших ученых, а то все чего то там
> выбирают выбирают, видать ни как не могут выбрать =D

Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #77, #88

69. Сообщение от Аноним (-), 23-Окт-14, 22:24   +2 +/
сначала ждем пока что-то появится, потом пока это проверят, потом пока обкатают, еще чуть-чуть ждём откровений сбежавших агентов или подозрительных некрологов, на закате технологии начинаем нерешительно пробовать.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

70. Сообщение от me (??), 23-Окт-14, 22:56   +/
трэш жестокий на первый взгляд:
int __netif_receive_skb(struct sk_buff *skb)
...
3382
null_or_bond = NULL;
if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
(vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
null_or_bond = vlan_dev_real_dev(skb->dev);
}

не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди медленно проходят в двери? снесем двери нах!

Ответить | Правка | Наверх | Cообщить модератору
Ответы: #71, #72

71. Сообщение от Аноним не тот (?), 23-Окт-14, 23:24   +/
>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!

Сделаем рядом вторую, будет 2 потока, а так же небольшое количество отсеявшихся, тех кто в перегородку между дверьми попал...

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

72. Сообщение от metallica (ok), 23-Окт-14, 23:45   +1 +/
>[оверквотинг удален]
> int __netif_receive_skb(struct sk_buff *skb)
> ...
> 3382
> null_or_bond = NULL;
> if ((skb->dev->priv_flags & IFF_802_1Q_VLAN) &&
> (vlan_dev_real_dev(skb->dev)->priv_flags & IFF_BONDING)) {
> null_or_bond = vlan_dev_real_dev(skb->dev);
> }
> не ну молодцы парни, драйвер специфику в dev.c -то засунуть, а? люди
> медленно проходят в двери? снесем двери нах!

Здесь нет никакой драйвер специфики.
__netif_receive_skb API сетевого стека, например, используется во всех
сетевых драйверах, при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
в которых эта функция вызывается для выполнения обработки стека протоколов в пакете.

vlan_dev_real_dev - относится к API системы реализации vlan-ов, отделена от конкретных
драйверов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70 Ответы: #87

73. Сообщение от rob pike (?), 23-Окт-14, 23:57   +/
Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.
А полезно будет всем, на то и СПО.
А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #67 Ответы: #76, #80

74. Сообщение от rob pike (?), 24-Окт-14, 00:00   +/
Полное представление о том НАСКОЛЬКО даёт DPDK, например - когда сотни тысяч conn/s превращаются вдруг в полтора десятка миллионов, на том же железе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #83

75. Сообщение от rob pike (?), 24-Окт-14, 00:03   +/
А вот как раз скоро конференция будет, сходите, много интересного увидите.
http://sdiconf.com/rus/
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

76. Сообщение от arisu (ok), 24-Окт-14, 01:14   +/
> А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к
> кровавым капиталистам-эксплуататорам, с чего б?

потому что они такие и есть, например — не из альтруизма же работают? а во-вторых, и просто дебилы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73 Ответы: #82

77. Сообщение от arisu (ok), 24-Окт-14, 01:15   +/
> Учёным сетевые стеки реализовывать угу, это ключевая проблема человечества...

а что им следует делать? расскажи, пожалуйста, очень интересно.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

78. Сообщение от pavlinux (ok), 24-Окт-14, 01:15   +1 +/
> DDoS-ят не меньше, чем Twitter.

Как можно ддосить сервер для ддоса?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #110

79. Сообщение от pavlinux (ok), 24-Окт-14, 01:19   +/
> Сколько тебе заплатить, чтобы ты проверил?

прим. 250000$ за O(x^n) анализ.
Более сложные методы после первого этапа по договорённости.

Иль опять, чиста попистить?  

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

80. Сообщение от Аноним (-), 24-Окт-14, 03:40   +/
>Так прямым же текстом написано - кем сделано и для кого. SINA, для себя и своих сервисов.

А Линус воотбще эмулятор терминала писал, а оно вона как вывернуло :)

>А полезно будет всем, на то и СПО.

Хотелось бы верить. Скорей всего - да. Вспомни какой был восторг когда научили стэк все ОБА проца пользовать :) Потом начало расти. Это просто этап убора шершавостей на количестве ядер больше N :)

>А к конкретно CDN-щикам какое-то странное, кажется, тут отношение - как к кровавым капиталистам-эксплуататорам, с чего б?

А я - знаю? Я вот сам себе CDN лепил дык вылезло как раз вот это. Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой. Ну и смотри бенефиты топика :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #73 Ответы: #81

81. Сообщение от rob pike (?), 24-Окт-14, 03:50   +/
> Баз то нету, скриптов - нету, а всё что есть - на сторидже, в статике и надо это слить в сокеты(Ы) макс быстро и с мин. задержкой

Тогда первым делом ядро надо с пути убрать.
DPDK, pf_ring, еще несколько менее популярных вариантов.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #80

82. Сообщение от rob pike (?), 24-Окт-14, 03:52   +/
> потому что они такие и есть, например — не из альтруизма же
> работают?

Кто-то заставляет им платить и пользоваться их услугами?
Городите себе на коленке своё, никто не мешает.
Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #76 Ответы: #90

83. Сообщение от Аноним (-), 24-Окт-14, 04:54   –1 +/
потрясно. на этом всем еще и фреймворк сетевой забабахать.
пошустрее ковбоя  на эрлан чтонить высокомасштабируемое.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #74

84. Сообщение от Аноним (-), 24-Окт-14, 04:55   +/
>> масонов еще не было, а китайцы - были.
> Вот мы их и раскусили :).

ато!
все масоны - скрытые киитайцы.
искусно прячущие фирменный искосый взгляд, под полой плащей(голову туда засунув, аки лебедь).


Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

85. Сообщение от kaifu6a (?), 24-Окт-14, 08:37   +/
> Думаю, что SINA флудят и DDoS-ят не меньше, чем Twitter.

чотко!!!

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4

87. Сообщение от me (??), 24-Окт-14, 10:08   +/
> __netif_receive_skb API сетевого стека, например, используется во всех

сетевых драйверах при реализиции метода механизма napi polling (struct napi_struct { .poll() }),
....
  да она как-бы вообще при обработке любого skb используется, очень "полезная" функция! :-D
вот только ..._skb_core им чем-то не понравилась, выпилил они ее. Ну что, художники, так
они мир видят.

> Здесь нет никакой драйвер специфики.

правда, правда? а bonding здесь что делает?
поищи по ключевым словам master/slave/bond, весьма доставляет! bond теперь часть core.
специфики vlan девайсов i.e. IFF_802_1Q_VLAN там, кстати, в дев  никогда не было.
О! и протокольные - там-же. netif_direct_tcp там-же в dev.с, как тебе?
не, нынешний netdev team тоже такие вещи иногда творит от безысходности, но ну что
куда деть tcp офлоад? но эти парни похоже решили, что безысходность - это и есть
наш путь. :)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #72 Ответы: #91

88. Сообщение от Аноним (-), 24-Окт-14, 12:01   +/
все лучше чем латать убожество, сделаное до них руко-[cenzored]ами.
более продуктивно.
и куда более ресурсоемко, чем вагон апликухи им пытаться наваять, поручать.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #68

89. Сообщение от anonymous (??), 24-Окт-14, 14:23   +/
>следует использовать специально подготовленную отдельную сборку

Ох уж эти китайцы! Не могут без костылей.

Ответить | Правка | Наверх | Cообщить модератору

90. Сообщение от arisu (ok), 24-Окт-14, 14:54   +/
> Кто-то заставляет им платить и пользоваться их услугами?
> Городите себе на коленке своё, никто не мешает.
> Только ваш же Энгельс бенефиты разделения труда еще век назад подробно разобрал.

каким образом это отменяет то, что я написал? и каким образом оно вообще связано одно с другим?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #82

91. Сообщение от Аноним (-), 25-Окт-14, 11:51   +/
нудк "костыльная реализация" Китайцами была забацана для внутреннего, in-house применения. если народу понравится как работает и бенефиты - напишут более пряморукую реализацию сабжа.
было бы желание.
а при таком профите/бустре от - только у совсем ленивых ИТ-шников оно не появится.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #87

92. Сообщение от XoRe (ok), 26-Окт-14, 19:25   –1 +/
>> Это откуда такая информация?
> От всевозможных китайских конторок. Если они хотят что-то за пределами китая продавать
> - они неизбежно шпрехают на инглише.

Это те, кто работают с англоговорящими партнерами.
На дальнем востоке, на китайских рынках сидят китайцы, которые сносно говорят по русски (правда, не все).

> А как там шпрехают китайские крестьяне - только им и интересно. Они ни на что не влияют с точки зрения глобальных процессов которые могут меня как-то зацепить.

Как будто вас сейчас сильно цепляют глобальные процессы.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #109

93. Сообщение от XoRe (ok), 26-Окт-14, 19:39   –1 +/
Т.е. сейчас у них есть патч только для ядра 2.6.32 (которому скоро будет 5 лет).
И надо выбирать - или ставить старое патченное, или ждать патча для нового ядра.
Судя по графикам, я могу сделать и другой вывод.
Для приемлемого быстродействия достаточно просто обновиться до 3.13.
И отпадет огромный объем работы.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #95

94. Сообщение от manster (ok), 27-Окт-14, 15:34   –1 +/
>> LD_PRELOAD будет проблемно использовать в x86_64 без плясок.
> Расскажите мне - в чем у меня проблемы на x86_64? А то
> я их не заметил :).
>> Вообще да, LD_PRELOAD это еще та дырища.
> Скорее, полухакерская технология, которая обычно используется разработчиками, исследователями-экспериментаторами
> и просто взломщиками, нежели как какое-то продакшновое решение.

Попробуйте запустить примеры из статьи в x86_64:

http://fluxius.handgrep.se/2011/10/31/the-magic-of-ld_preloa.../

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55 Ответы: #96

95. Сообщение от Аноним (-), 27-Окт-14, 16:42   –1 +/
в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и ТЧ)система, тем Выпуклее бенефиты от.
мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться жизни.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #93 Ответы: #99

96. Сообщение от Аноним (-), 29-Окт-14, 03:38   +/
Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров руки...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #94 Ответы: #98

97. Сообщение от Alan Coxemail (?), 30-Окт-14, 15:33   +/
Особенно под рутом)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #62

98. Сообщение от manster (ok), 30-Окт-14, 20:45   –1 +/
> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
> руки...

Там ничего опасного нет в принципе. Я тоже его пробовал в качестве примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот пример не удалось заставить работать. Несмотря что код пример красив и остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #96 Ответы: #100

99. Сообщение от XoRe (ok), 31-Окт-14, 12:20   +/
> в 3.14 улучшения относительно 2.6.3х ~ в районе десятков процентов(трех примерно) а
> тут речь о нескольких СОТНЯХ разницы, причем чем толще(в ядрах и
> ТЧ)система, тем Выпуклее бенефиты от.
> мораль: лучше совместить профит ОБОИХ подходов. портировать на новое ядро и радоваться
> жизни.

Я говорю про приведенные графики:
http://www.opennet.me/opennews/pics_base/0_1414003226.png

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #95

100. Сообщение от u789op (?), 02-Ноя-14, 08:41   +/
>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>> руки...
> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
> пример не удалось заставить работать. Несмотря что код пример красив и
> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)

mk.;

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #98 Ответы: #101

101. Сообщение от manster (ok), 02-Ноя-14, 16:50   –1 +/
>>> Я попробовал свой код. Пашет. Мало ли откуда у того автора примеров
>>> руки...
>> Там ничего опасного нет в принципе. Я тоже его пробовал в качестве
>> примера работы с LD_PRELOAD в генте AMD x86_64 К сожалению этот
>> пример не удалось заставить работать. Несмотря что код пример красив и
>> остальное. Похожий код для x86 профиля архитектуры, работает без проблем (на
>> примере патча libcwait - там несколько строчек всего подгружаются по LD_PRELOAD)
> mk.;

?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #100 Ответы: #102

102. Сообщение от arisu (ok), 03-Ноя-14, 02:45   +/
>> mk.;
> ?

хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он этим на форуме хвастается — не ясно. да и не Plan9, пробелы не поставлены.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #101 Ответы: #103

103. Сообщение от manster (ok), 03-Ноя-14, 11:33   –1 +/
>>> mk.;
>> ?
> хрен его знает. на Plan9 похоже, билдит что-то там. но зачем он
> этим на форуме хвастается — не ясно. да и не Plan9,
> пробелы не поставлены.

LD_PRELOAD актуально для p9 ???

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #102 Ответы: #104

104. Сообщение от arisu (ok), 03-Ноя-14, 11:39   +/
> LD_PRELOAD актуально для p9 ???

mk актуально.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #103 Ответы: #105

105. Сообщение от manster (ok), 03-Ноя-14, 23:24   +/
>> LD_PRELOAD актуально для p9 ???
> mk актуально.

mk не приходилось использовать

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #104 Ответы: #106

106. Сообщение от arisu (ok), 04-Ноя-14, 05:17   +/
>>> LD_PRELOAD актуально для p9 ???
>> mk актуально.
> mk не приходилось использовать

если вдруг у тебя в проектах где-то есть make, и это не автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла попробуй, тоже может понравиться.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #105 Ответы: #107

107. Сообщение от manster (ok), 04-Ноя-14, 11:12   +/
>>>> LD_PRELOAD актуально для p9 ???
>>> mk актуально.
>> mk не приходилось использовать
> если вдруг у тебя в проектах где-то есть make, и это не
> автокраповский выхлоп — попробуй. может понравиться. и rc в качестве шелла
> попробуй, тоже может понравиться.

make вполне устраивает

rc в моем дистро - это утилита для запуска сервисов, а так стандартно: bash

Какое отношение эти программы имеют к LD_PRELOAD ?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #106 Ответы: #108

108. Сообщение от arisu (ok), 04-Ноя-14, 12:00   +/
> Какое отношение эти программы имеют к LD_PRELOAD ?

а я откуда знаю?

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #107

109. Сообщение от Аноним (109), 20-Июн-19, 14:53   +/
>Это те, кто работают с англоговорящими партнерами.

Так они при этом и с русскими партнерами на английском шпрехают.

Ответить | Правка | Наверх | Cообщить модератору
Родитель: #92

110. Сообщение от Аноним (109), 20-Июн-19, 14:53   +/
Это не сервер для ддоса, а средство информационной войны
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78


Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2025 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру