| 1.40, Аноним (40), 14:26, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +17 +/– |
Роман Гущин, к слову, раньше пилил в Яндексе ядерный планировщик процессов smart (https://github.com/yandex/smart) для уменьшения latency. В апстрим, правда, не попало и особой распространенности не получило. Рад за Романа, что он продолжает работать в этой области.
| | |
| |
| 2.56, Аноним (56), 18:04, 23/04/2020 [^] [^^] [^^^] [ответить]
| –9 +/– |
Вот есть люди что для работы выбирают исключительно корпорации зла. Интересно это как-то связано с паттерном злобный гений из фильмов или это просто стереотип и случайность.
| | |
| |
| 3.77, Licha Morada (ok), 20:39, 23/04/2020 [^] [^^] [^^^] [ответить]
| +4 +/– |
 Нет. У них печеньки.
Корпорации зла, злы не сами по себе, а потому что эффективно доставляют прибыль, иногда с неким ущербом пользователям, клиентам и обществу. Некоторые из них пускают часть своей прибыли на печеньки, что делает их привлекательными работодателями. Трудно винить талантливого разработчика, что он соблазнился на печеньки.
| | |
| |
| 4.101, Аноним (101), 09:04, 24/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
То есть продавать данные пользователей это добро! Крут ты батенька, просто до изнемождения крут.
"... а давай Шарик мы тебя продадим..." Матроскин, Трое из Простаквашино.
| | |
| |
| 5.103, 1 (??), 09:30, 24/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Продавать что-то - это почти всегда добро.
А пользователи же сами согласились.
| | |
|
| 4.107, Аноним (40), 11:19, 24/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
Если компания наносит своим клиентам только ущерб, у нее клиентов не будет (зачем покупать услуги, от которых тебе становится хуже, чем если бы ты не их не покупал?). Правильнее было бы сказать "приносит своим клиентам недостаточно по их мнению пользы".
| | |
|
| 3.97, www2 (??), 07:30, 24/04/2020 [^] [^^] [^^^] [ответить] | +1 +/– | Ну, для начала стоит учесть, что злобные решения в этой корпорации зла он не при... большой текст свёрнут, показать | | |
| 3.106, Аноним (40), 11:16, 24/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
Как-то так получается, что маленьким "корпорациям добра" ковыряния в ядерных планировщиках процессов и менеджерах памяти обычно нафиг не упали (хотя, конечно, бывают редкие исключения), потому, если хочегь работать именно в этой области, приходится работать на крупные "корпорации зла".
| | |
|
| 2.72, Аноним (71), 19:40, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
Правильно сделал, что ушёл из этой гадости в другую гадость.
| | |
|
| 1.2, Аноним (2), 11:20, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +2 +/– |
Интересно, может ли оно положительно влиять на десктоп? А то:
> удалось сэкономить до 1ГБ памяти
> но данный показатель сильно зависит от характера нагрузки, общего размера ОЗУ, числа CPU и особенностей работы с памятью
похоже, что тестировалось на серваках 64 ядра/64 гига.
| | |
| |
| 2.6, Аноним (6), 11:42, 23/04/2020 [^] [^^] [^^^] [ответить]
| +15 +/– | |
>Интересно, может ли оно положительно влиять на десктоп?
ты надеялся, что в фейсбуке будут пилить что-то для линукс-десктопа? Это запилено для серверов, на которых крутится куча cgroups, читай - контейнеров.
| | |
| 2.27, Аноним (27), 13:16, 23/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
Это в принципе ортогонально десктопам независимо от объема памяти, если только ты не используешь какой-нибудь qubes os
| | |
| |
| 3.32, Crazy Alex (ok), 13:37, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
 В кубах виртуальные машины же. Впрочем, считать группы и контейнеры механизмом безопасности несерьёзно в любом случае. Защита от случайного выстрела в ногу, способ улучшения управляемости и подобное - да, но не защита от целенаправленной атаки из контейнера, которая, впрчем, только самым убогим хостерам нужна.
| | |
|
|
| 1.4, Аноним (4), 11:24, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +7 +/– | |
>совместно использовать slab-страницы в разных cgroup, вместо выделения отдельных кэшей slab для каждой cgroup
А не приведёт ли это к новым каналам утечки чувствительных данных?
| | |
| |
| 2.5, A.Stahl (ok), 11:27, 23/04/2020 [^] [^^] [^^^] [ответить]
| +3 +/– |
 Предлагаю этим вопросом обеспокоиться тем кто обрабатывает чувствительные данные.
| | |
| 2.46, Доброжелательный Аноним (?), 15:31, 23/04/2020 [^] [^^] [^^^] [ответить]
| +3 +/– | |
> А не приведёт ли это к новым каналам утечки чувствительных данных?
А давайте ещё раз попробуем, может в этот раз не приведёт. Тем более что Meltdown и охапку вариаций Spectre уже все позабыли, кроме отдельных зануд. В добрый путь!
/me погладил системник под управлением OpenBSD
| | |
|
| 1.16, Аноним (16), 12:21, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +5 +/– |
А в абсолютных процентах на сколько снижается потребление? Из статьи не понятно. Если на серваках 128 Гб, то 650-700 МБ - это меньше процента. И стоит это того тогда, если CPU начинает больше потреблять?
| | |
| |
| 2.35, Crazy Alex (ok), 13:49, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– | |
Я так понял, что не начинает больше потреблять, хотя казалось, что будет. Классический случай, кстати - угадайки в сложных системах не работпют, измерять надо.
Впрочнм, ждём сторонних тестов
| | |
|
| |
| |
| |
| |
| |
| 6.115, Sw00p aka Jerom (?), 20:32, 04/05/2020 [^] [^^] [^^^] [ответить]
| +/– |
> Да, блджад, там ещё больше заморских слов не то, что без перевода,
> даже без транслитерации.
а вы переиначьте :)
| | |
|
|
|
|
| |
| 3.44, PnD (??), 15:14, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
Во-первых, "[slæb]". Во-вторых, вы себе льстите.
(Я подозреваю, в связи с массовым переходом на диванную работу число плоских жо́п существенно сократится. Хотя х.з.)
| | |
|
| |
| 3.30, Аноним (38), 13:27, 23/04/2020 [^] [^^] [^^^] [ответить]
| –2 +/– |
Да еще неизвестно какую дополнительную "работу" по сбору данных они будут делать нагружая процессор.
| | |
| |
| |
| 5.37, Аноним (38), 13:59, 23/04/2020 [^] [^^] [^^^] [ответить]
| –6 +/– |
Звучит как зареверсь процессор и проверь что никакого мелтдауна и спектра нет. Да и какая гарантия что ФБ не добавит что-то потом?
| | |
| |
| 6.43, Crazy Alex (ok), 15:05, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
А потом, по-твоему, никто ревьюить новые изменения не будет, или как? И чего ради именно фейсбук выделять? В ядро коммитит туча людей и контор, и как-то много лет уже все живы.
| | |
|
|
|
|
| 2.52, Палочка Коха (?), 16:30, 23/04/2020 [^] [^^] [^^^] [ответить]
| +6 +/– | |
Роман Гущин из компании Книга Лиц опубликовал в списке рассылки разработчиков ядра Линукс набор патчей с реализацией нового контроллера распределения памяти брусками (приказчик брусков памяти). Новый контроллер примечателен переносом учёта брусков с уровня страниц памяти на уровень объектов ядра, что даёт возможность совместно использовать брусков в разных мутных группах, вместо выделения отдельных схронов брусков для каждой группы.
Предложенный подход позволяет повысить эффективность использования брусков, на 30-45% сократить размер используемой для бруска памяти и значительно уменьшить общее потребление памяти ядром. За счёт сокращения числа неперемещаемых брусок также наблюдается положительный эффект в области снижения фрагментации памяти. Новый контроллер памяти заметно упрощает код для учёта брусков и не требует применения усложнённых алгоритмов динамического создания и удаления заначек брусков для каждой мутной группы. Все мутные группы для памяти в новой реализации используют общий набор заначек брусков, а время жизни заначек больше не привязано к времени жизни установленных через мутные группы ограничений на использование памяти.
| | |
| |
| |
| 4.78, Какаянахренразница (ok), 20:41, 23/04/2020 [^] [^^] [^^^] [ответить]
| +5 +/– |
 >> набор патчей с реализацией нового контроллера
> Набор лоскутов с воплощением нового управителя же!
Гуртовщика :D
| | |
|
| 3.76, Какаянахренразница (ok), 20:37, 23/04/2020 [^] [^^] [^^^] [ответить]
| +10 +/– | |
> из компании
из ватаги
> фрагментации
дробления
> эффективность
плодотворность
> алгоритмов
способов
> динамического
зело ветренного
| | |
| |
| 4.100, Аноним (100), 08:18, 24/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
 >> алгоритмов
> способов
Алгорифмов. Марков любил говорить "алгорифм".
| | |
|
|
| 2.53, Аноним (100), 17:00, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– | |
> О теперь по-русски: что означает существительное slab?
То и означает, сляб. В просторечии, "большой необработанный кусок".
| | |
| |
| |
| 4.99, Аноним (100), 08:15, 24/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
Ну почти. Чурак в деревообработке это грубая заготовка (не обязательно круглого сечения, даже не всегда определённой длины) и для одного изделия. У сляба все размеры нормированы, из одного в конечном итоге может быть произведён мешок вилок. Память так же куском резервируется, а позже сляб "нарезается" при аллокации данных.
| | |
| |
| |
| 6.109, Аноним (100), 12:27, 24/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
По-умолчанию считаю собеседников вменяемыми, но если ты особенный, при случае обязательно тебя заострю.
| | |
|
|
|
|
|
| 1.20, Аноним (38), 12:36, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
Просто ФБ пытается протащить свой зонд на уровень объектов ядра. Это все не просто так раньше было сделано на уровне страниц памяти.
| | |
| |
| 2.41, Аноним (41), 14:31, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
Зачем это фейсбуку? ФБ вставляет зонд прямо в мозг анонимуса и тот совершенно бесплатно и добровольно всё про себя и свои мысли-хотелки рассказывает сам.
| | |
|
| 1.25, Crazy Alex (ok), 12:52, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Я смотрю, тут некоторые принципиально отказываются верить, что фейсбук мог предложить полезное изменение. Ну что сказать - вера и здравый смысл несовместимы.
| | |
| |
| 2.26, someone (??), 12:56, 23/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
> Я смотрю, тут некоторые принципиально отказываются верить
> Ну что сказать - вера и здравый смысл несовместимы.
Поэтому и отказываются верить.
| | |
| |
| 3.29, Crazy Alex (ok), 13:27, 23/04/2020 [^] [^^] [^^^] [ответить]
| +4 +/– |
Здравый смысл подсказывает, что Фейсбук - здоровенная контора с кучей денег и сложной инфраструктурой, крутящейся на линуксе. Логично, что у них есть и мотивация для для оптимизаций, и специалисты, и ресурсы.
| | |
| |
| 4.102, Аноним (101), 09:21, 24/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
Здравый смысл говорит что это всё понты. ФБ внедрить/инжектировать пытается то, что ей приказали. Поскольку у МЦ очень маленький головной мозг(анацифал), то им он и сообразить не может что, ну может быть лучше или дешевле, написать свою ОС. Не смотря на гораздо меньшие масштабы, на несколько порядков, я знаю по крайней мере пару Российских организаций ( не контор), которые для своих нужд в бизнесе написали свои собственные ОС, не на базе Линуха или БСД.
| | |
|
|
| 2.28, Аноним (38), 13:25, 23/04/2020 [^] [^^] [^^^] [ответить]
| –2 +/– |
Т.е. ты просто веришь Фейсбуку и головой не пользуешься? Так и запишем.
| | |
| |
| 3.31, Crazy Alex (ok), 13:31, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– |
Есть код, есть кернел тим - всё это не вопрос веры. Из общих соображений изменения выглядят логичными. Рефлекторно реагировать на источник вместо того чтобы посмотреть самим либо положиться на хорошо работающие много лет кернельные процессы приёма патчей - дурь.
| | |
| 3.33, Crazy Alex (ok), 13:39, 23/04/2020 [^] [^^] [^^^] [ответить]
| +2 +/– |
Ну сформулировал я кривовато, было б к чему цепляться. Вера в данном случае выражается в реакции на автопилоте "ай злобный фейсбук". Я хоть код глянул.
| | |
| 3.42, Annoynymous (ok), 14:32, 23/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
 > Т.е. ты просто веришь Фейсбуку и головой не пользуешься? Так и запишем.
Т.е. ты просто не веришь Фейсбуку и головой не пользуешься? Так и запишем.
| | |
|
|
| 1.36, Аноним (36), 13:58, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
новость в 2 словах:
раньше у каждого контейнера была отдельная slab-память, сейчас - общая, что очень упрощает всю подсистему
| | |
| |
| 2.59, КО (?), 18:33, 23/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– | |
>раньше у каждого контейнера была отдельная ̶s̶l̶a̶b̶-память, сейчас - общая, что очень упрощает всю подсистему
Со стороны это выглядит так, учитывая, что это память заготовок под используемые объекты. Другими словами у разных контейнеров в результате будут данные в одной странице. Ну и возможность читать освобожденные, но не обнуленные перед этим фрагменты памяти друг друга.
| | |
|
| 1.45, Аноним (12), 15:19, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
> 3.13, имя_ (?), 12:14, 23/04/2020 Скрыто модератором
> Что за ноут?
Xiaomi 12.5", 4GB RAM, intel mobile, 256GB SSD.
С момента покупки работал не более 6 часов на 3-х вёдрах. На 5-х - 8 часов + 20% остатка. Это моя основная раб-машина.
Был ещё хромобук, в дуалбуте с GalliumOS, после 13-и часов тестирования я тоже увидел 20% остатка и ушёл спать. Ведро - 3.х. Но у него есть проблема - 2ГБ ОЗУ. Мне этого для работы не хватит ни как.
| | |
| |
| |
| 3.65, Аноним (65), 19:09, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
У неё больно морда страшная и система блокировок аккаунтов ни за что тоже
| | |
|
| 2.57, Аноним (56), 18:05, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Пусть все знают своих героев и мотают на ус. Может кто-то так любит Фейсбук что сразу поставит эту штуковину себе на прод.
| | |
| |
| 3.79, Аноним (79), 20:48, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Ну zstd очень годный, то приходилось lz4 юзать (а до того вообще один lzo был) и он не обеспечивал нормальных результатов. Так что есть польза, что не говорите. Лучше бы правда с зависаниями по исчерпании памяти боролись, вместо oomd, но линукс исправить это конечно сложнее, чем поменять один из используемых в нём алгоритмов или аллокаторов и подпереть костылями.
| | |
|
| 2.62, Аноним (62), 19:00, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– | |
Сам автор патча и упомянул:
We've been using the new slab
controller in Facebook production for several months with different
workloads and haven't seen any noticeable regressions. What we've seen
were memory savings in order of 1 GB per host (it varied heavily depending
on the actual workload, size of RAM, number of CPUs, memory pressure, etc).
Успешное тестирование на всей инфраструктуре ФБ - куда более серьезный аргумент в пользу патча, чем бенчмарки на локалхосте.
| | |
| |
| 3.69, Аноним (70), 19:32, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– | |
> *что угодно* на локалхосте
ты сейчас сделал больно 99% местных икспертов, за что ты так?
| | |
| |
| |
| 5.104, www2 (??), 10:04, 24/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Какие-такие дыры в безопасности? Вы так говорите, как будто раздельные slab были внутри пользовательских процессов, а не внутри ядра. Ядро само от себя структуры данных защитить не может, поэтому это изменение никаких дополнительных рисков безопасности, кроме добавления нового кода, не несёт.
| | |
|
|
| 3.73, Аноним (74), 19:49, 23/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Думаешь они станут сами у себя данные воровать? А вот поставит этот патч фанатик ФБ вот тебе база данных ФБ и увеличилась раз. А сэкономленную оперативу можно использовать для обработки новых данных. Сплошной профит.
| | |
|
| 2.83, Аноним (12), 21:21, 23/04/2020 [^] [^^] [^^^] [ответить]
| +1 +/– | |
> Роман Гущин (Roman Gushchin) из компании Facebook
Наверное таки обязательно. Ибо это та контора, которая оплатила работу специалиста.
Интересное собеседование у них было. Наверное самое сложное из тех, на которые я попадал. Я завалился на алгоритмах.
В принципе, я не очень-то хотел у них работать после просмотра видео их манагера прод-инженеров. Там рассказывалось, что из-за зверского on-call rotation люди просто ужодят и говорят: "Это не моя работа". К тому времени, я уже 4 месяца в сиске отмотал, и понимал что на он-кал - никакого здоровья не хватит.
| | |
| |
| 3.105, anonymous (??), 10:48, 24/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Я вот эту неделю OnCall. За всю неделю была всего одна заявка и решилась за два часа. Команды очень разные, и ты сам выбираешь себе команду.
| | |
| |
| |
| 5.111, anonymous (??), 10:59, 25/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Как PE, я 90% технической работы посвещаю проектированию и разработке. А на предыдущей работе был SWE Lead, но это быстро наскучило без доступа к управлению железом :)
| | |
|
|
|
|
| 1.84, бублички (?), 21:53, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
и рад бы этот пач попробовать, да своё ядро не собирал примерно с версии 2.6 - не было нужды да и нет столько свободного времени. ох и разрослось оно с тех пор. но любопытство раздирает
| | |
| |
| 2.89, Аноним (79), 23:07, 23/04/2020 [^] [^^] [^^^] [ответить]
| –2 +/– | |
Это не страшно, давай научу:
zcat /proc/config.gz > /usr/src/linux/.config
cd /usr/src/linux/
make clean
make oldconfig
make -j$(($(nproc)+1)) menuconfig
make -j$(($(nproc)+1)) && make INSTALL_MOD_STRIP=1 -j$(($(nproc)+1)) modules_install
Работы на 1 секунду.
| | |
| |
| 3.91, бублички (?), 23:51, 23/04/2020 [^] [^^] [^^^] [ответить]
| –2 +/– |
а в make menuconfig ты всю жизнь слепо next -> save нажимаешь? понимаю, вот такой неслыханныой опыт у тебя по части сборки собственного ядра. что и говорить, за эту секунду ты многому научился
| | |
| |
| 4.93, Аноним (79), 00:01, 24/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– |
> а в make menuconfig ты всю жизнь слепо next -> save нажимаешь?
> понимаю, вот такой неслыханныой опыт у тебя по части сборки собственного
> ядра. что и говорить, за эту секунду ты многому научился
Так там уже всё настроено, при обновлении тебя спросят в oldconfig -- вот там уже надо нажимать ? и думать.
>вот такой неслыханныой опыт
а то ж, не у каждого 15+ лет сборки ведра под разные конфиги в бэкграунде.
| | |
| |
| 5.95, бублички (?), 03:34, 24/04/2020 [^] [^^] [^^^] [ответить]
| –2 +/– | |
> а то ж, не у каждого 15+ лет сборки ведра под разные конфиги в бэкграунде.
то-есть это вот и была воплощённая квинтэссенция твоего 15-летнего опыта? вот в этих 6 строках, добрую половину из которых можно было уложить в одну строчку, а-то и целиком автоматизировать (вместо запуска в бэкграунд)? ты либо необычайно скромен, либо ещё скорее всего просто-напросто врёшь про 15 лет
| | |
| |
| 6.96, Аноним (79), 03:45, 24/04/2020 [^] [^^] [^^^] [ответить]
| –1 +/– | |
>вместо запуска в бэкграунд
Что, простите? Мы тут компиляем ядро ващет.
>а-то и целиком автоматизировать
Это ещё зачем? У нас же цель была ручками собрать ядро, алло?
>добрую половину из которых можно было уложить в одну строчку
Я тут однострочник пишу что ли? И интересно каких, ничего лишнего не наблюдаю. Разве что можно ещё добавить mount и cp, потому что ядро мы не скопировали (и команды для initrams, но это лишнее). Или это ты увидел -j$(($(nproc)+1)) и испугался? Ну, бывает.
| | |
|
|
|
|
|
| 1.87, Аноним (16), 22:28, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
Т.е. на типовом компе домохозяйки с запущенным браузером с открытыми 200 вкладками размер используемой памяти не сократится?
| | |
| 1.88, Аноним (88), 22:42, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
На десктопе cgroup не используется -> размер используемой памяти не сократится. Но при этом:
> Реализованный в новом контроллере slab более точный учёт ресурсов
> теоретически должен больше нагружать CPU
и:
> на практике различия оказались несущественными
Т.е. различия есть. Критерий "оказались несущественными" - относительный. Одно дело серваки facebook, а другое карманный девайс.
| | |
| 1.90, steils (ok), 23:33, 23/04/2020 [ответить] [﹢﹢﹢] [ · · · ]
| –2 +/– |
 OMG! Почта автора — guro@fb.com
А вообще-то странная новость. Ну предложили патчи, здорово. Принимать такіе большіе наборы патчей въ ядро могутъ мѣсяцами, а это всего лишь третья итерація. Когда примутъ въ master, тогда это будетъ важно. Могутъ и не принять въ итогѣ.
| | |
| |
| 2.112, And (??), 16:21, 27/04/2020 [^] [^^] [^^^] [ответить]
| +/– |
Возникло впечатление, что наоборот. Что это про повыключать все ограничения и разграничения, т.к. так проще.
Было - раздельно по cgroups.
Стало - общее.
Но профан в теме, но ключевые слова настораживают. При таком наборе слов настораживает. :) :))
| | |
|
|
