| 1.1, rob pike (?), 11:37, 09/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –7 +/– |
Да начнется компетентное, беспристрастное и многогранное обсуждение каталога Netflix, доступного в России, борьбы с пиратством и торрентов!
| | |
| |
| 2.3, Аноним (-), 11:39, 09/01/2016 [^] [^^] [^^^] [ответить]
| +14 +/– |
Ональный нетфликс чем-то лучше зомбоящика? Нашёл чего обсуждать
| | |
| 2.5, Аноним (-), 12:09, 09/01/2016 [^] [^^] [^^^] [ответить]
| +23 +/– |
Бороться надо не с пиратством а с копирайтом. и бороться до победы!
| | |
| |
| |
| 4.25, Andrey Mitrofanov (?), 16:00, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– | |
> пчелы против меда? GPL — это тоже копирайт
ПредлОжите другие способы борьбы с копирайтом? Законные? Предположу, что нет.
То есть Вы хотите, чтобы GPL не боролась против Вашего мёда, или предлагаете сторонникам СПО перейти к незaконным методам борьбы?? Пацaны, провoкатор мядовых проприертариев среди нас! Поаплодируем сему "достойному" мужу.
| | |
| |
| |
| 6.37, Sluggard (ok), 17:38, 09/01/2016 [^] [^^] [^^^] [ответить]
| +3 +/– |
 Накладывает. И эти ограничения работают на благо авторов кода и пользователей, и против жлобов, которые хотят кода на халяву, но не хотят делиться своими доработками.
А копирайт работает только на гоняющихся за сверхприбылями копирастов.
Обоняние, судя по нику, у тебя должно быть хорошим. Почуй разницу.
| | |
| |
| 7.45, soarin (ok), 18:28, 09/01/2016 [^] [^^] [^^^] [ответить]
| –9 +/– |
 > Почуй разницу.
Я вот чую. GPlv3 - это деградация
Её отвергают и правильно делают.
http://go2.pt/-yVFYc
https://youtu.be/PaKIZ7gJlRU
Тот же gcc посмотреть - ну жесть же что творится, хорошо что LLVM обороты набирает. Конкуренция хоть будет.
К тому же в последнее время популярно GPL зонд-едишен. Когда у тебя свободная программа сливает о тебе всё во всякие гуглы. Но свобода - да...
| | |
| 7.70, Аноним (70), 06:44, 10/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
 А чем принципиально отличаются жлобы не желающие делится наработками от жлобов вообще не занимающихся разработкой софта или разрабатывающих для внутренних нужд? Приписали бы тогда лучше в лицензии: free for non commercial use. Так можно стричь купоны как с компаний разработчиков, так и с прочих, беря деньги за каждую копию ПО. А кто не хочет платить, тот пусть возвращает свои изменения.
| | |
| 7.85, Андрей (??), 16:31, 10/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– | |
> и против жлобов, которые хотят кода на халяву, но не хотят делиться своими доработками.
Если только доработками, извольте пользоваться LGPL! Как компромисс GPL/BSD, на мой взгляд, самая именно справедливая лицензия.
| | |
| |
| |
| 9.87, Андрей (??), 17:41, 10/01/2016 [^] [^^] [^^^] [ответить] | +/– | Если я использую при создания GUI для каталога дисков пару функций для utf16-стр... текст свёрнут, показать | | |
|
|
|
| 6.38, ананим.orig (?), 17:45, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
а 2-й закон Ньютона? может попробуете пробить головой стену?
этот «наброс вброса» приметивен. попробуйте ещё раз.
| | |
| 6.44, кверти (ok), 18:24, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
 Да откуда ж вы такие беретесь?
Лицензия для того и существует, чтобы были ограничения в каком-либо виде. Если вы не хотите вообще никаких ограничений, тогда напуркуа вам вообще лицензия?! нет лицензии - нет ограничений.
| | |
| |
| 7.84, Андрей (??), 16:29, 10/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> нет лицензии - нет ограничений.
Вроде, логично, но, оказывается, это не всегда так. Например, в Германии, нет лицензии - вы не можете использовать код вообще. В смысле лично - да (как и с GPL), а если в чём-то публичном, могут засудить, т.к. у вас нет законного основания использовать этот код. Бред, что не существует "public domain", но действительность.
| | |
|
|
|
|
|
|
| 1.2, Аноним (-), 11:37, 09/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
через три года найдут в нём выход за границу буфера, переделают по-уму, производительность пропадёт, а светлая новость в умах останется
| | |
| |
| 2.161, XoRe (ok), 00:54, 13/10/2016 [^] [^^] [^^^] [ответить]
| +/– |
 > через три года найдут в нём выход за границу буфера, переделают по-уму,
> производительность пропадёт, а светлая новость в умах останется
Машина времени в подвале? :)
| | |
|
| |
| 2.13, Аноним (-), 14:15, 09/01/2016 [^] [^^] [^^^] [ответить]
| –4 +/– |
У них фряха только на фронтах, да и сами вложили много в оптимизацию линукса. Очень даже неплохое поведение, как для фанатиков бзд.
| | |
| |
| |
| |
| 5.58, Аноним (-), 22:56, 09/01/2016 [^] [^^] [^^^] [ответить]
| +4 +/– | |
> На бэкенде Linux + Java
На каком бэкэнде? Сударь, Вы вообще понимаете чем занимается Netflix? Они раздают VoD в госудаственных (для США) масштабах, генеря более трети их внутреннего интернет-траффика. Там нет никаких бэкендов/фронтендов, контент раздается конечному получателю сразу со шпинделей бздой с nginx-ом. И там нет места жабе в генерации траффика, только если в интерфейсе юзера, но речь в топике не о нем.
| | |
| |
| 6.71, Аноним (-), 10:59, 10/01/2016 [^] [^^] [^^^] [ответить]
| –3 +/– |
Под бэкэндом имеется в виду CDN-origin. И там живёт пингвин, как было написано по ссылке выше.
| | |
| |
| 7.75, Аноним (-), 13:04, 10/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> Под бэкэндом имеется в виду CDN-origin. И там живёт пингвин, как было написано по ссылке выше.
ЩИТО????? Там этого НЕ написано!
| | |
| 7.118, Аноним (-), 20:06, 11/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– |
> Под бэкэндом имеется в виду CDN-origin. И там живёт пингвин, как было
> написано по ссылке выше.
Наглая ложь не прошла :)
| | |
|
| 6.162, XoRe (ok), 00:57, 13/10/2016 [^] [^^] [^^^] [ответить]
| +/– |
>> На бэкенде Linux + Java
> На каком бэкэнде?
Сайт, каталог, описания фильмов, биллинг, личный кабинет и т.д.
CDN - только часть их инфраструктуры.
| | |
|
|
|
|
| 2.30, ананим.orig (?), 16:44, 09/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– |
угу, в линухе man sendfile
> …
> Вызов sendfile() впервые появился в Linux 2.2. Файл заголовков <sys/sendfile.h> появился в glibc 2.1.
> …
> В ядрах Linux до версии 2.6.33, значение out_fd должно указывать на сокет. Начиная с Linux 2.6.33 можно указывать любой файл.
и это настолько баян, что например man splice
> splice - подключает данные к каналу/выбирает данные из канала
> …
> Вызов splice() перемещает данные между двумя файловыми дескрипторами не выполняя при этом копирование между адресным пространством пользователя и ядра.
всё выше указанное разумеется умеет неблокирующий ввод-вывод.
зыж
х/з, похоронили или нет. может она ещё не родилась?
| | |
| |
| 3.31, Dmitry (??), 17:01, 09/01/2016 [^] [^^] [^^^] [ответить]
| +7 +/– |
> всё выше указанное разумеется умеет неблокирующий ввод-вывод.
> зыж
> х/з, похоронили или нет. может она ещё не родилась?
Как ни странно, во FreeBSD оно тоже все умеет. Речь идет о принципиально новой реализации sendfile. Хоть слайды то посмотрите, если уж исходники почитать не можете.
| | |
| |
| 4.42, ананим.orig (?), 18:09, 09/01/2016 [^] [^^] [^^^] [ответить]
| –3 +/– | |
> Как ни странно, во FreeBSD оно тоже все умеет.
врать то не стыдно? http://www.freebsd.org/cgi/man.cgi?query=sendfile&sektion=2
> SF_MNOWAIT. Do not wait for some kernel resource to become available, in particular, mbuf and sf_buf. The flag does not make the sendfile() syscall truly non-blocking, since other resources are still allocated in a blocking fashion.
ну и остальные (два — SF_NODISKIO и SF_SYNC) флаги.
> Речь идет о принципиально новой реализации sendfile.
Да неужели? ☺
А «всё умеет» — после угона машины времени надо полагать?
> Хоть слайды то посмотрите, если уж исходники почитать не можете.
Чем-то ещё своё ЧСВ публично почешете?
| | |
|
| 3.39, Аноним (-), 17:51, 09/01/2016 [^] [^^] [^^^] [ответить]
| +5 +/– |
> IMPLEMENTATION NOTES
> The FreeBSD implementation of sendfile() is "zero-copy", meaning that it
> has been optimized so that copying of the file data is avoided.
> HISTORY
> The sendfile() system call first appeared in FreeBSD 3.0. This manual
> page first appeared in FreeBSD 3.1. | | |
| |
| |
| 5.89, Аноним (-), 18:53, 10/01/2016 [^] [^^] [^^^] [ответить] | +2 +/– | Потому что в манах 8211 вранье Или вы решли, что если в бздшных манах честн... большой текст свёрнут, показать | | |
| |
| 6.103, ананим.orig (?), 07:19, 11/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– |
Потому что block on отлично переводится, как и этот код, которые вы (что очевидно) не понимаете.
| | |
|
|
|
| 3.62, Valentin V. Bartenev (?), 01:08, 10/01/2016 [^] [^^] [^^^] [ответить]
| +20 +/– | |
Привет эксперту с Opennet от разработчика nginx. Вызов sendfile() на FreeBSD точно также, как и в Linux, с рождения не блокировался на отправке данных в сокет с флагом O_NONBLOCK.
Но на обоих системах благополучно блокировался на чтении с диска. Только, в отличии от Linux, на FreeBSD есть ещё флаг SF_NODISKIO, который позволяет в случае отсутствия данных в памяти возвращать управление и далее вычитывать файл другим способом, например с помощью aio_read() или в треде. В Linux подчеркну до сих пор этого нет.
Что было сделано в новой реализации, так это то, что теперь sendfile() в FreeBSD не блокируется не только на сокете, но и на диске, при этом полностью асинхронно читая и отправляя данные даже в том случае, когда те отсутсвуют в кэше страниц.
О том, что в Linux с асинхронным чтением все очень плохо (и плохо по сей день), я более-менее подробно расписал в статье: https://www.nginx.com/blog/thread-pools-boost-performance-9x/
| | |
| |
| 4.65, Dmitry (??), 01:31, 10/01/2016 [^] [^^] [^^^] [ответить]
| +5 +/– |
Ну вот зачем Вы "эксперта" обидели. Он ведь работу операционной системы изучает, читая man'ы. Исходников, он, естественно, в глаза не видел, потому как в линуксе самая главная команда "apt-get".
| | |
| |
| |
| 6.67, Аноним (-), 02:20, 10/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> так это всё в манах тоже написано.
В БЗДшных – да. В пингвинячьих, как обычно, о блокировке при чтении с диска скромно умолчали.
| | |
|
|
| 4.68, ананим.orig (?), 04:04, 10/01/2016 [^] [^^] [^^^] [ответить]
| –7 +/– | |
> Привет эксперту с Opennet от разработчика nginx. Вызов sendfile() на FreeBSD точно также, как и в Linux, с рождения не блокировался на отправке данных в сокет с флагом O_NONBLOCK.
Тогда будьте любезны, о великий и ужасный разработчик nginx, приведите новость в соответсвие с текущим состоянием, а не занимайтесь тролячьими вбросами.
Зыж
И судя по пруфам из #42, лично вы не только ужасный, но и лживы.
И маны (и код) говорят именно об этом.
| | |
| |
| 5.90, Аноним (-), 19:02, 10/01/2016 [^] [^^] [^^^] [ответить]
| +3 +/– | |
> И судя по пруфам из #42, лично вы не только ужасный, но
Пруфы чего? Того, что в бздах к докам традиционно относятся серьезней?
Или того, что вы не в курсе того, что и в пингвине sendfile не совсем "совсем-асинхронный". Я даже не буду говорить за чтение с диска, но вот то, о чем упоминается в бздшном мане
> Do not wait for some kernel resource to become avail‐
> able, in particular, mbuf and sf_buf. The flag does not make the
> sendfile() syscall truly non-blocking, since other resources are
> still allocated in a blocking fashion.
имеет место и в ядре пингвина.
| | |
|
| |
| 5.76, ы (?), 13:27, 10/01/2016 [^] [^^] [^^^] [ответить]
| +8 +/– | |
Уважаемый разработчик Nginx, которым и я пользуюсь (На FreeBSD и Linux) не только указал свое имя, но и привел соответствующие ссылки. Хотелось бы аналогичного ответа:
Фамилия, Имя, Отчество, размер пениса, ссылка на статью и на коммиты в ряд СУБД. Пожалуйста.
| | |
|
| 4.80, Аноним (-), 15:46, 10/01/2016 [^] [^^] [^^^] [ответить]
| +7 +/– | |
> позволяет в случае отсутствия данных в памяти возвращать управление и далее вычитывать файл другим способом, например с помощью aio_read()
Валентин, пару лет назад на одном из highload-ов был доклад автора erlyvideo о том как они осилили 10Gb. В докладе как главная проблема дальнейшего роста упоминались как раз блокировки чтения с диска. На вопрос не рассматривали ли они переход на фряшный aio как способ решения, докладчик ответил что рассматривали, но отказались поскольку open(), stat() и некоторые другие вызовы все равно остаются блокирующимися и портят всю картину.
Вопрос: как эту проблему решили в nginx/netflix?
| | |
| |
| |
| 6.124, Аноним (-), 01:35, 12/01/2016 [^] [^^] [^^^] [ответить]
| +/– | |
> Однако, замечу, что проблема блокировки указанных вызовов пока никак себя не проявила.
Понятно. В том докладе озвучивалось что разработчикам доводилось видеть stat() исполняющийся 10 сек на нагруженной системе. Но если у nginx такая проблема отсутствует, то я так понимаю это или следствие другого паттерна использования HDD или следствие багов старых ядер linux (erlyvideo продают бинарники под debian) или просто следствие взаимных блокировок т.к. они на каждый видеопоток для отдачи пускают(пускали?) тред из пула.
Спасибо.
| | |
|
|
| 4.159, AdVv (ok), 22:50, 14/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
 > Привет эксперту с Opennet от разработчика nginx. Вызов sendfile() на FreeBSD точно
Спасибо, Валентин, за ваш труд. Приятно осознать, что помимо засилья троллей на этом ресурсе еще можно встретить настоящих профи.
| | |
|
|
| 2.41, rob pike (?), 18:02, 09/01/2016 [^] [^^] [^^^] [ответить]
| –5 +/– |
Ан да. "Фряха" жива, как наглядно продемонстрировано еще раз, в больших и раздольных заповедниках типа Netflix, силами случившихся там её энтузиастов, продолжающих её там пилить по недосмотру и снисходительности руководства, часто в подобных заповедниках практически отсутствующего на нижнем и среднем уровне, особенно в тучные годы.
В любых других условиях для массированной отдачи контента берется Linux в одну руку, DPDK в другую, и молоток в третью, и из канала выжимается всё что из него можно выжать, и не в гигабитах в секунду, а в десятках миллионов пакетов с каждого ядра CPU.
| | |
| |
| 3.59, Аноним (-), 23:08, 09/01/2016 [^] [^^] [^^^] [ответить]
| +6 +/– |
> Ан да. "Фряха" жива, как наглядно продемонстрировано еще раз, в больших и
> раздольных заповедниках типа Netflix, силами случившихся там её энтузиастов, продолжающих
> её там пилить по недосмотру и снисходительности руководства, часто в подобных
> заповедниках практически отсутствующего на нижнем и среднем уровне, особенно в тучные
> годы.
> В любых других условиях для массированной отдачи контента берется Linux в одну
> руку, DPDK в другую, и молоток в третью, и из канала
> выжимается всё что из него можно выжать, и не в гигабитах
> в секунду, а в десятках миллионов пакетов с каждого ядра CPU.
Камрад, просто бросьте придуряться и посмотрите слайды. Фряшники смогли на реальной задаче и в реальных условиях а не на бенчмарке загнать в насыщение 40Gb сетевуху. После этого ссылки на напильник и DPDK - только попытка сектанта оправдать свою веру.
| | |
| |
| 4.74, rob pike (?), 12:34, 10/01/2016 [^] [^^] [^^^] [ответить]
| –3 +/– | |
> смогли на реальной задаче и в реальных условиях а не на бенчмарке загнать в насыщение 40Gb сетевуху
CloudFlare это делает постоянно, только не в тепличных условиях dumb отдачи видеоконтента, а в реальных - приёма и анализа трафика значительно более разнообразного и мелкопакетного.
Посмотрите на MoonGen для примера - с DPDK оно на LuaJIT сатурейтит 120 Gbit на хилом ксеоне.
А 20 гигабит - столько erlyvideo раздаёт с одного сервера, в rtmp и с транскодингом, на эрланге, славном своей "быстротой" и обычном линуксе.
| | |
| |
| 5.79, Аноним (-), 15:25, 10/01/2016 [^] [^^] [^^^] [ответить]
| +6 +/– | |
> А 20 гигабит - столько erlyvideo раздаёт с одного сервера ... на ... линуксе
Правильно. А новость о том что новый sendfile позволил Netflix перейти с 20G на 40G c хоста, т.е на следующую ступеньку на фряхе (это есть в слайдах)
| | |
| |
| |
| 7.82, Аноним (-), 16:13, 10/01/2016 [^] [^^] [^^^] [ответить]
| +3 +/– | |
> в rtmp и с транскодингом, на эрланге, славном своей "быстротой"
На 20Gb у них нет никакого транскодинга, во всяко случае полноценного. Там даже mp4 надо очень специально готовить - записывать в один файл несколько вариантов видеодорожки с разными разрешениями причем без интерливинга, иначе будет затыкаться. Это сам автор erlyvideo на одной из конференций говорил, когда жаловался на то какие дебри приходится разгребать пытаясь получить высокий bps
| | |
|
|
|
|
| 3.64, Ivan_83 (ok), 01:26, 10/01/2016 [^] [^^] [^^^] [ответить]
| +5 +/– |
 А смысл?
Сам посчитай: DPDK требует чтобы ты с нуля наваял сетевой стёк и ещё потом софт который будет через него раздавать файлы с диска.
Ребята аккуратно и не так уж и много поменяли в ядре фри и у них профит: все тонный отлаженного кода работают ещё лучше.
В сравнении с DPDK фре теперь не требуется переключатся из ядра в юзерспейс для отправки, всё в ядре крутится.
| | |
|
|
| |
| |
| |
| 4.28, Аноним (-), 16:17, 09/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– |
Скажу больше:
My Little Pony Season 1
и можно, по желанию
My Little Pony Season 3
| | |
| |
| 5.36, soarin (ok), 17:30, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
А вот не завезли кроме второго сезона ничего в netflix в Этой Стране :) (почему - не знаю)
| | |
| |
| 6.61, Аноним (-), 00:25, 10/01/2016 [^] [^^] [^^^] [ответить]
| +/– | |
> А вот не завезли кроме второго сезона ничего в netflix в Этой Стране :) (почему - не знаю)
Вот уж, жопа так жопа :-) Нехай эти проприерасты сами 1-й и 3-й сезон в одну глотку смотрят! Мы посмотрим с pirate bay-a и rutracker-a!
| | |
|
|
|
|
|
| 1.16, Dmitry (??), 14:31, 09/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +4 +/– |
Судя по комментариям, никто вообще не знает, что такое sendfile, но все строят их себя "специалистов".
Лично у меня только один вопрос: когда будет MFC ?
| | |
| |
| 2.17, fidaj (ok), 14:37, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
 Кажись на какой-то из конференций Глеб говорил, что не будет MFC и называл проблемы которые только в 11 были решены.
| | |
| |
| 3.18, Dmitry (??), 14:43, 09/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
У мена куча серваков на десятке. Я не готов переводить их на CURRENT :(
| | |
| |
| |
| 5.73, тигар (ok), 11:33, 10/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– |
 > Примерно через полгода выйдет первый релиз 11 и продолжение 10.3-RELEASE, где всё
> это будет "из коробки".
> А пока следите за коммитами по этой ссылке:
> https://svnweb.freebsd.org/base/stable/10/?sortby=date
изя... "не будет MFC" означает ровно то что написано в кавычках. специально для тебя: в 10.х этого не будет
2 Дима: 11-CURRENT это не больно. серьезно:) по крайней мере в отдаче статики гигабитами (видимо то, што Специолизд выше пытался сделать при помощи молотка, линакса и каких-то 4 букав, ага)
| | |
|
|
|
| 2.47, Аноним (-), 19:07, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
До MFC еще далеко. С начало нужно хотя бы что то такое же развесистое как winapi.
| | |
| |
| 3.57, Аноним (-), 21:52, 09/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
> До MFC еще далеко. С начало нужно хотя бы что то
> такое же развесистое как winapi.
MergeFromCurrent, не?
| | |
|
|
| 1.19, Сергей (??), 15:08, 09/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –4 +/– |
А зачем их переводить, данная реализация может быть появится в виде порта...
| | |
| |
| 2.20, Dmitry (??), 15:16, 09/01/2016 [^] [^^] [^^^] [ответить]
| +5 +/– |
Это системный вызов. Каким образом можно его оформить в виде порта ?
| | |
|
| 1.22, mozgoprav (ok), 15:45, 09/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
 Здорово, вот только где графики сравнения этой "высокопроизводительной реализации" со старой?
| | |
| |
| 2.27, Аноним (-), 16:09, 09/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– |
> Здорово, вот только где графики сравнения этой "высокопроизводительной реализации" со
> старой?
По ссылкам пройти религия не позволяет? См. слайды 32 и 33. С хоста стали отдавать 35Gbit/s с новым sendfile вместо 20Gbit/s со старым
| | |
| |
| 3.91, glebius (ok), 23:44, 10/01/2016 [^] [^^] [^^^] [ответить]
| +7 +/– |
 Я ещё немного наброшу в топку :)
Презентации уже больше года. Очевидно, что за год было много сделано. Сейчас рекордные цифры сильно выше, чем 35 Гбит/с, что в презентации. Сейчас рассматриваем возможность перехода с агрегата из двух 40 Гбит/с на одну 100 Гбит/с. Соответственно трафик соответствующий. :) Но помимо нового sendfile сделаны ещё оптимизации в VM и в TCP, без них воспроизвести наши цифры на CURRENT не получится, поэтому я пока и не буду ими хвастать. Но, надеюсь, в скором времени большая часть работы будет в CURRENT.
И вот ещё. Поверх нового sendfile построен SSL_sendfile(), позволяющий ядру слать данные из файла в SSL сокет. Само собой и чтение с диска и шифрование тоже выполняются в фоне.
P.S. Спасибо Валентину, что расставил икспердов и мне надо объяснять про разницу блокирования на сокете и на диске. :)
| | |
| |
| |
| 5.117, Аноним (-), 19:54, 11/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– |
В 11-Current по мелочи еще кажись выкинут из ядра kgdb и добавят статическую сборку с модулем zfs.
Нас ждет бесплатная открытая солярка как по мне.
| | |
| |
| |
| |
| 8.138, Аноним (-), 13:13, 12/01/2016 [^] [^^] [^^^] [ответить] | –3 +/– | Пользуются - практически все, притом давно в продакшне, притом что на линуксе зф... текст свёрнут, показать | | |
| 8.139, Аноним (-), 13:21, 12/01/2016 [^] [^^] [^^^] [ответить] | –4 +/– | Пользуются - практически все, притом давно в продакшне, притом что на линуксе зф... текст свёрнут, показать | | |
|
|
|
| 5.125, glebius (ok), 01:37, 12/01/2016 [^] [^^] [^^^] [ответить]
| +9 +/– |
> Вообще существует ли теоретическое обоснование перевода работ именно в ядро, в смысле,
> какая разница втом, будет ли работой заниматься поток юзера, переключившийся с ядро, или
> юзерспайсовый делегирует всё работу специализированому потоку в пространстве ядра, а сам
> будет ждать уведомлений через поллинг дескрипторов? В солярисе имеется общий принцип:
> "на каждый чих создаём поток ядра". Это оправдано, так как ОС ориентирована на исполнение
> на машинах с сотнями CPU. Но непонятно зачем размножение потоков нужно в freebsb которая
> работает на тазиках с 4-8 CPU. Ну нахватает поток юзерспайсового сервиса запросов не отдачу
> контента, нагрузит работой по сетевому и блочному IO некоторое количество потоков в ядре,
> и те точно так же встанут в взаимных локах и зависнут в конкуренции на доступ к разделяемому
> ресурсу, как заблокировался бы юзерспайcовый поток, на ожидании наполнения кеша address_space в линуксе?
Тут есть два заблуждения. Первое, что вообще для ожидания I/O от устройства обязателен какой-то
поток, который будет блокироваться и ждать. Да, именно так часто и делают. Кому-то кажется,
что так проще развязать блокировку - создать под неё поток, который не жалко заблокировать.
Так же сделана и подсистема aio(4) в FreeBSD, в ней есть ядерный aio daemon. Хоть наша AIO
и намного совершеннее, чем в Linux, но мы решили не завязывать новый sendfile на неё. В новом
sendfile не появляется никаких новых потоков или контекстов. На время, когда диск занят копированием
данных из себя в память, никакого контекста нет, который была бы связан непосредственно с этой
операцией.
Второе заблуждение, это про 4-8 CPU. Ну просто какой-то дичайший стереотип. Мол я дома ставлю
FreeBSD поиграться на всякое старьё, наверное и Netflix так делает?! На самом деле нет. Ну просто
возьмите спеки на то поколение машин, где 4-8 кор и поглядите, сможет ли там PCI пропустить
100 Гбит/с.
Что касается ядро-неядро. 15 лет назад была мода всё нести в ядро, мол там быстрее. Теперь появился
netmap и dpdk и в связи с этим новая мода - всё в юзерленд, там быстрее. Ну мебель можно двигать
сколько угодно, а процессор выполняет инструкции с одной скоростью, не важно в каком он сейчас
контексте работает. 15 лет назад смысл переносить функционал в ядро был в том, чтобы избежать
копирования из юзерленд в ядро, а также чтобы уменьшить число переключений контекста, которые
тогда были дорогими. Новая же мода объясняется тем, что ядра обросли функционалом и стали
"подтормаживать на лишних операциях". Поэтому для примитивных задача а ля насрать 50 мегапакетов
в секунду, или же отфильтровать эти же 50 мегапакетов по примитивному критерию, выгоднее стало
писать с нуля сралку или фильтр на dpdk, а операционную систему использовать только для того,
чтобы залогиниться в систему и получить доступ к сетевой карте. Некоторые люди неправильно понимают
этот результат и думают, что если они перенесут весь TCP стек в юзерленд, то он тоже ускорится в
10 раз. Пока успехи на этом поприще достигают только те, кто опять же выполняют очень примитивные
задачи. А как только они доведут свои userland TCP до ума, и по функционалу они будут иметь паритет
с классическими ядерными сокетами, то и производительность выйдет на тот же самый уровень. Ну этот
весь абзац - моё личное мнение. Время покажет, ошибаюсь я или нет.
> В линуксе бликировка на диске в sendfile происходит только на время ожидания поступления данных с
> диска при запуске __blk_run_queue, так как заполнение beffer_head данным осуществляется в потоке,
> сделавшем sendfile. Остальное время поток, сделавший sendfile, не блокируется, а заполняет данными
> address_space файла, и мапит их в буфера pipe-а и исполняет калбек splice_write дескриптора выходного
> сокета. Какая разница, какой поток будет блокироваться на время операции чтения данных с диска, поток
> юзерспайсового сервиса, делающего sendfile, или спецализированного, которому поток юзерпайсового
> сервиса делегирует эту работу?
У нас никакой не блокируется, в этом и соль.
| | |
|
|
|
|
| 1.78, Клыкастый (ok), 14:31, 10/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +7 +/– |
 > Компания Netflix, в сети доставки контента которой активно используются серверы с FreeBSD
как же так? а местные аналитики в один голос говорят, что FreeBSD нигде не используется...
> и вчера была принята в основной состав FreeBSD-CURRENT
как же так? а местные аналитики в один голос говорят, что BSD лицензия проприетарная и назад кода не дождаться...
| | |
| |
| 2.95, Аноним (-), 00:30, 11/01/2016 [^] [^^] [^^^] [ответить]
| –4 +/– |
Ну, тогда где ещё? Кроме заповедников типа нетфликса и ихсистемз? Говорят, использовали во всяких опачах, яхах и прочих гуглях.
| | |
| |
| |
| 4.140, Аноним (-), 13:22, 12/01/2016 [^] [^^] [^^^] [ответить]
| +1 +/– |
Нашёл чем хвастаться. Список самых махровых проприерастов, кстати, далеко не полный.
| | |
|
|
|
| 1.100, rob pike (?), 03:51, 11/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– | |
Тем временем в Linux 4.4, из полезного для Netflix-подобных задач "бери больше, кидай в трубу"
> Block-layer I/O polling ("Jens shows that, when polling is enabled, the throughput of an NVM Express device can nearly double")
> LightNVM adds support for Open-Channel SSDs | | |
| |
| 2.101, rob pike (?), 03:55, 11/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– | |
И другие мелкие улучшения
> In this release, and as a result from an effort that started two years ago, the TCP implementation has been refactored to make the TCP listener fast path completely lockless. During tests, a server was able to process 3,500,000 SYN packets per second on one listener and still have available cpu cycles - about 2 to 3 order of magnitude what it was possible before | | |
| 2.104, тигар (ok), 09:26, 11/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
я не хочу сильно печалить Специалиста, но помимо случившегося буквально часы назад линукс4.4 nvm есть и во freebsd.
p.s. а сколько гигабит с коробки раздаешь лично ты: с линукс, молотком, и теми самыми 4 буквами?;)
p.s. а потешно наблюдать негодование лапчатой школоты^W^Wдевопсиков линаксоедных, ставящих минусы адекватным комментариям по теме :-)))
| | |
| |
| |
| 4.109, имя (?), 11:18, 11/01/2016 [^] [^^] [^^^] [ответить]
| +/– | |
> Остынь, твои 10 гигабит никого не интересуют.
твоих-то 10мбит adsl'я сильно больше интересуют, ага)
| | |
| 4.110, Аноним (-), 11:18, 11/01/2016 [^] [^^] [^^^] [ответить]
| +2 +/– | |
> Остынь, твои 10 гигабит никого не интересуют.
Тем не менее, половина икспердного совета опеннета как всегда прибежало хоронить
| | |
| |
| 5.113, Аноним (-), 15:46, 11/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> Тем не менее, половина икспердного совета опеннета как всегда прибежало хоронить
Судя по тому, с каким жаром заодно обсудили "My Little Pony" и учитывая то, что зимние каникулы продлили до 10-го января ...
| | |
| |
| 6.141, Аноним (-), 13:28, 12/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
А вот настоящие профессионалы очень гордятся играми в догонялки за линуксом.
| | |
| |
| 7.145, Dmitry (??), 15:03, 12/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– | |
> А вот настоящие профессионалы очень гордятся играми в догонялки за линуксом.
Не отвлекайся от просмотра "My Little Pony".
| | |
|
|
|
|
|
| 2.108, Andrey Mitrofanov (?), 11:08, 11/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
> Тем временем в Linux 4.4, из полезного для Netflix-подобных задач "бери больше,
> кидай в трубу"
То, что 4.4 "стал лучше" (добавили чего-то там в носу), чем 4.3, не говорит ничего про "лучше чем грузины", fbsd, простите. Тигар прав в этом.
>> Block-layer I/O polling ("Jens shows that, when polling is enabled, the throughput of an NVM Express device can nearly double")
>> LightNVM adds support for Open-Channel SSDs
Я бы ещё спросил, каким местом NVMe к нет-фликсу, но смысл?
ЗЫЖ [Более] lockless сокеты - к н-ф, да, но опять "не в том ядре".
| | |
| |
| 3.112, rob pike (?), 15:29, 11/01/2016 [^] [^^] [^^^] [ответить]
| –2 +/– | |
> Я бы ещё спросил, каким местом NVMe к нет-фликсу, но смысл?
Не вечно же им раздавать видео с восьмидюймовых флоппи-дисков.
| | |
| |
| 4.115, имя (?), 17:18, 11/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
>> Я бы ещё спросил, каким местом NVMe к нет-фликсу, но смысл?
> Не вечно же им раздавать видео с восьмидюймовых флоппи-дисков.
какой жЫрный трольчоночег, завидно аж:\
а про "восьмидюймовых флоппи-дисков" у нетфликса можно почитать за авторством, кажется, Scott Long. Большинство местных "могильщиков" столько дисков в жизни не видало, сколько там в каждой коробке стоит.
| | |
| |
| |
| 6.132, тигар (ok), 10:54, 12/01/2016 [^] [^^] [^^^] [ответить]
| –1 +/– |
> О том какие "диски" там будут стоять через 5 лет - где
> можно почитать?
укради машину времени у дружков по разуму с l.o.r, слетай в +5лет, поведай тут. мне тоже интересно, какие же будут через 5 лет стоять диски (у netflix в т.ч.)
| | |
| |
| 7.149, Аноним (-), 15:50, 12/01/2016 [^] [^^] [^^^] [ответить]
| +/– |
Посмотри что за "диски" используют другие, и узнаешь что будет в нетфликсе через 5 лет.
| | |
| |
| 8.151, тигар (ok), 16:26, 12/01/2016 [^] [^^] [^^^] [ответить] | –1 +/– | так покажи же эти диски , не стесняйся Можешь даже на примере взрослых дядь с ... текст свёрнут, показать | | |
| |
| 9.152, Аноним (-), 10:57, 13/01/2016 [^] [^^] [^^^] [ответить] | –1 +/– | Суппортер-аникейщик опять пытается составить связный текст из слов, подслушанных... текст свёрнут, показать | | |
| |
| 10.153, тигар (ok), 11:18, 13/01/2016 [^] [^^] [^^^] [ответить] | –1 +/– | мальчик, после процитированого можешь даже не продолжать высказывать авторитетн... текст свёрнут, показать | | |
|
|
|
|
|
|
|
|
|
| 1.114, rvs2016 (ok), 16:53, 11/01/2016 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
 > копирование производится в фоне с мгновенным возвращением управления
Если управление возвращается мгновенно, но мгновенно файлы не копируются, а продолжают копироваться и после этого мгновения, то как я узнаю результат копирования после возвращения управления мне? :-)
| | |
| |
| 2.116, Аноним (-), 17:36, 11/01/2016 [^] [^^] [^^^] [ответить]
| +/– | |
> как я узнаю результат копирования после возвращения управления мне?
Как это сделано в subj-е я не знаю, но в тексте явно упоминался асинхронный режим. Это значит что по завершению должен дергаться коллбек или генерится к-нота или еще как-то формироваться извещение. В этом извещении и должен быть код ошибки.
| | |
|
|
