https://opennet.ru/openforum/vsluhforumID3/114231.html Британская вещательная корпорация (BBC) открыла (https://www.bbc.co.uk/rd/blog/2018-04-high-speed-networking-open-source-kernel-bypass) код, разработанный в рамках проекта IP Studio для повышения пропускной способности систем потокового вещания через IP-сети. Разработка базируется на фреймворке Netmap и ориентирована на повышение пропускной способности в конфигурациях с 100-гигабитными каналами связи за счёт применения техники обхода штатных обработчиков пакетов сетевого стека ядра ('kernel bypass') и предоставления средств для прямой маршрутизации пакетов между приложениями и сетевым оборудованием. <br><br><br>Экспериментируя с разработкой программного продукта для потокового вещания инженеры BBC обратили внимание, что узким местом при обработке очень большого числа сетевых пакетов являются операции копирования пакетов в различные области памяти, которые в процессе обработки через стандартную систему сокетов производятся несколько раз. Использование <br>Netmap помогло сократить число операций копирования за счёт пр https://opennet.ru/openforum/vsluhforumID3/114231.html#60 Fri, 11 May 2018 02:19:08 GMT ...Или наступили на грабли, которые сами не в состоянии исправить...<br> https://opennet.ru/openforum/vsluhforumID3/114231.html#59 Tue, 08 May 2018 10:33:40 GMT &gt; Еще раз, для нечитатетелей: <br>&gt; никакого in-kernel-tls там нет.<br><br>Читаем внимательно, с выражением: "To retain the benefits of the sendfile model while adding TLS functionality, we designed a hybrid TLS scheme whereby session management stays in the application space, but the bulk encryption is inserted into the sendfile data pipeline in the kernel. This extends sendfile to support encrypting data for TLS/SSL connections."<br><br><br>Все шифрование в ядре, менеджмент сессий - в юзерленде. Вопрос в той части, которая делает bulk encryption. Где оно в freebsd head?<br><br><br><br><br> https://opennet.ru/openforum/vsluhforumID3/114231.html#58 Mon, 07 May 2018 15:17:53 GMT &gt;&gt;&gt; ну и где in-kernel tls от netflix в freebsd head?<br>&gt;&gt; И зачем он там сдался? В ядре только шифруют отсылаемые данные, причем <br>&gt;&gt; с помощью интелского ISA-L, остальное делается в юзерспейсе.<br>&gt; Затем, что без него sendfile(2) бесполезен.<br><br>Еще раз, для нечитатетелей:<br>никакого in-kernel-tls там нет.<br><br>&gt;&gt; Улучшенный sendfile вкоммитили, aesni тоже.<br>&gt; нуну.<br><br>Во-во.<br><br><br> https://opennet.ru/openforum/vsluhforumID3/114231.html#57 Mon, 07 May 2018 14:23:34 GMT &gt;&gt; ну и где in-kernel tls от netflix в freebsd head?<br>&gt; И зачем он там сдался? В ядре только шифруют отсылаемые данные, причем <br>&gt; с помощью интелского ISA-L, остальное делается в юзерспейсе.<br><br>Затем, что без него sendfile(2) бесполезен.<br><br><br>&gt; Улучшенный sendfile вкоммитили, aesni тоже.<br><br>нуну.<br> https://opennet.ru/openforum/vsluhforumID3/114231.html#56 Sun, 06 May 2018 13:10:30 GMT &gt; ну и где in-kernel tls от netflix в freebsd head?<br><br>И зачем он там сдался? В ядре только шифруют отсылаемые данные, причем с помощью интелского ISA-L, остальное делается в юзерспейсе.<br>&gt; We decided to pass in to our new ciphers an array of pointersto encrypt from and to, i.e. an<br>&gt; iovec. This iovec array wouldbe filled in during the initial setup of the sendfile call, as <br>&gt; eachpage was setup for I/O, thus eliminating the need for traversinga linked list of mbufs. We <br>&gt; also redesigned the mbuf allocation routines to have the ability, as allocation occurred, to <br>&gt; includethis new &#8221;mbuf map&#8221;.<br><br>Улучшенный sendfile вкоммитили, aesni тоже.<br><br> https://opennet.ru/openforum/vsluhforumID3/114231.html#55 Sun, 06 May 2018 00:24:16 GMT &gt; Неосиляторы, учитесь у Netflix https://medium.com/netflix-techblog/serving-100-gbps-from-an-open-connect-appliance-cdb51dda3b99 <br><br>ну и где in-kernel tls от netflix в freebsd head? <br><br> https://opennet.ru/openforum/vsluhforumID3/114231.html#54 Sun, 06 May 2018 00:23:35 GMT и что, прямо 40Гбит/с c tls? ;)<br><br><br> https://opennet.ru/openforum/vsluhforumID3/114231.html#53 Sat, 05 May 2018 18:04:24 GMT &gt; netmap шаг назад, зачем он нужен когда есть dpdk.<br><br>Ну так потому BBC и открыли код, наверное. :)<br> https://opennet.ru/openforum/vsluhforumID3/114231.html#52 Sat, 05 May 2018 16:49:56 GMT Коллега выше написал, что для дальнейшей обработки нужно искать эффективные решения обработки, одно из них это да: VPP, который работает "над" DPDK. Но это несколько уже другая задача и другая тема для обсуждения.<br><br>Если switchdev это лишь конфигурирование ASIC то:<br>1. Что мешает его сконфигурировать его из userspace в стиле DPDK? <br>2. Это оборудование надо ещё купить.<br><br>