The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Новая версия BitTorrent-клиента Transmission 3.0, opennews (??), 23-Май-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


105. "Новая версия BitTorrent-клиента Transmission 3.0"  +1 +/
Сообщение от someone993 (?), 23-Май-20, 17:10 
если это про "замечательную" фичу когда при удалении/завершении закачки и прочих интерсивных действиях с файлами web/rpc отваливается - тогда очень-очень надо и обидно что не завезли. да, с переездом на ssd проблема больше не проявляется, но на медленном 2,5 диске нередко зависало на пару минут при том что загрузка cpu на около нуля
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

141. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от Kuromi (ok), 24-Май-20, 00:01 
У меня такая проблема была только при использовании ext3, вот там да, удаление крупного торрента подвешивало все.
Ответить | Правка | Наверх | Cообщить модератору

146. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от пох. (?), 24-Май-20, 01:22 
так это ж 12309 в своем чистейшем рафинированном виде. Оно именно что все подвешивало - в смысле, всю систему, никакие вторые треды бы не помогли.


Ответить | Правка | Наверх | Cообщить модератору

147. "Новая версия BitTorrent-клиента Transmission 3.0"  +1 +/
Сообщение от Oe (?), 24-Май-20, 02:23 
12309 и сейчас существует, лютые тормоза при работе с файлами на жестком диске, при этом система вообще на физически другом диске, а все равно тормозит. Про ntfs затычки вообще молчу, те 40% процессора сразу съедают
Ответить | Правка | Наверх | Cообщить модератору

191. "Новая версия BitTorrent-клиента Transmission 3.0"  +2 +/
Сообщение от пох. (?), 24-Май-20, 12:01 
12309 это не просто тормоза, это полное вставание колом системы, пока работает один-единственный процесс, делающий не особо даже что-то сложное, причем даже по ctrl-c этот процесс не сразу останавливается.

Тормоза при активном елозеньи по диску - они от диска, и все что может сделать с ними система - дать всем задачам примерно равные кванты. А она это делать - разучилась, и весь диск забирает тот кто первым встал в тапки.

C ntfs у тебя выбора нет - она by design cpu (а не диск!) intensive, и это лечится наращиванием процессорной мощности (к счастью, современные процессоры сильно быстрее дисков). Хотя вполне возможно что и там тоже что-то испортили, потому что я тут попробовал ей пользоваться на процессоре тех времен, когда она только появилась - это полный п-ц. А тогда никаких негативных ощущений она не вызывала - вероятнее всего, тоже что-то где-то ухудшили.

Ответить | Правка | Наверх | Cообщить модератору

197. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от Аноним (-), 24-Май-20, 12:33 
> ctrl-c этот процесс не сразу останавливается.

Если процесс встрял пока ядро достанет его страницу - какой, к хренам ctrl-c? В этот момент система не может его возобновить - нужных кода или данных нет в памяти, как это выполнять?! Но это во первых лечится, во вторых, сильно забить IO к именно системному диску плохая идея и без этих соображений. Даже отрисовать менюшку приложений требует прочесть цать файлов с диска для иконок, ярлычков и какой там еще фигни. А если io занят - э, пардон, подождете пока оно там прочтется, пополам с вашими торентами.

> что может сделать с ними система - дать всем задачам примерно равные кванты.

Далее мы вспоминаем что у HDD seek крайне неэффективен и понимаем чего они дружно висят равными квантами, дожидаясь крох на которые в таком режиме вообще способен HDD :). И даже если у них страницы на месте, так и быть, они уткнутся в какой-нибудь read().

> не диск!) intensive, и это лечится наращиванием процессорной мощности (к счастью,
> современные процессоры сильно быстрее дисков).

SSD про это могут быть не в курсе. Тут вон SATA мало. Да что там, SD карточки уже сменили phy на, блин, PCIe. А ssd в pcie слот так и вовсе обычное дело уже.

Ответить | Правка | Наверх | Cообщить модератору

202. "Новая версия BitTorrent-клиента Transmission 3.0"  –2 +/
Сообщение от Michael Shigorinemail (ok), 24-Май-20, 12:56 
Привет, User294 :) (если не ошибся)
Ответить | Правка | Наверх | Cообщить модератору

227. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от пох. (?), 24-Май-20, 21:47 
> Если процесс встрял пока ядро достанет его страницу - какой, к хренам ctrl-c?

сколько времени читаются эти несчастные 4k? И, кстати, как вышло что их вообще надо доставать откуда-то, кто и зачем подискардил, ведь в системе было не просто достаточно памяти - ее в разы больше чем занятая. Конечно же, -buffers.

> Но это во первых лечится, во вторых, сильно забить IO к именно системному диску плохая идея и
> без этих соображений.

почему до 16й версии включительно не забивалось, а в 18й или в 22 (не знаю точно) - на том же самом диске и на той же самой операции вдруг началось?
Диск на большинстве личных компов, если ты не в курсе, один. Э... собственно, на большинстве серверов он тоже как бы один, поскольку рэйд.

> Далее мы вспоминаем что у HDD seek крайне неэффективен

у нас elevator был еще до п-ца с cfq и прочими снами разума. Кстати, переключение в deadline слегка ослабляло накал п-ца. Но, опять же - слегка. То есть дело не в deadline.

> И даже если у них страницы на месте, так и быть, они уткнутся в какой-нибудь read()

синхронный read тут же отберет cpu, ничего не повиснет, кроме самой задачи, которая останется грустно ждать этого read. Это хорошее и правильное поведение - все остальное получит шанс как-то пошевелиться, но его как раз сломали.

> SSD про это могут быть не в курсе.

в курсе, в курсе.
Иначе бы своп снова обрел хоть какой-то смысл. Но в нем даже на nvme смысла нет.

Ответить | Правка | К родителю #197 | Наверх | Cообщить модератору

238. "Новая версия BitTorrent-клиента Transmission 3.0"  +1 +/
Сообщение от Аноним (-), 25-Май-20, 06:25 
> сколько времени читаются эти несчастные 4k?

Читаются то недолго. Но если винч мечется по всему диску, желающих накопилось много, а 4K нужно не только тут, но и в десятке мест в иных закоулках - в целом все будет выглядеть довольно предсказуемо, "висят тряпочки".

Бандвиз HDD и прочие iops'ы в таком режиме жалки. Ну вот плохо винчи относятся к случайному доступу. И вот этот трэш хоть планируй, хоть не планируй. Шедулер чо, волшебный? Трабле механических дисков в том что они вообще плохо поддаются планировке из-за дикой разницы скорости линейного и рандомного чтения. Внутренняя трансляция LBA также означает что ты не знаешь насколько плох запрос сектора X vs X+1 000 000 на самом деле. Может, винчу достаточно голову переключить на соседний блин и он его в тот же оборот снимет. А может это в другой стороне блина. Винч это наружу не показывает.

> И, кстати, как вышло что их  вообще надо доставать откуда-то, кто и зачем подискардил,

Кернель, конечно. Он имеет право выбросить неиспользуемые страницы. Что в своп, что просто уповая на возможность перечитать бинарь с диска. Кстати обработчик ctrl+c - наверное не самый горячий код программы.

> ведь в системе было не просто достаточно памяти - ее в разы больше чем
> занятая. Конечно же, -buffers.

Дык buffers всю и позанимали. А когда потребовалось, в 12309 требовалось пойти настолько далеко что заняться выжимкой буферов на диск. И оказывалось что это в определенной конфигурации может занимать аж минуты. Первым повиснет "провокатор" такого запроса памяти, а пока его будут окучивать - и другие успеют подтянуться, если это в минутах измерялось. И будут они всей толпой курить бамбук пока им кернел память накопает за счет buffer'ов, которые оказывается надо было слить, а оно и займи минуты. Интерактивность идет в пень - какая интерактивность, если все колом на попытке получить свой кус памяти? А дергавшийся юзер еще добавит желающих на кус памяти.

...поэтому одни мудрые програмеры (виндозные btw) как-то сказали мудрую вещь: если компьютер тормозит, НЕ ДЕРГАЙТЕ ЕГО. Прозрачно намекая что от дерганий все только усугубится.

> почему до 16й версии включительно не забивалось, а в 18й или в
> 22 (не знаю точно) - на том же самом диске и
> на той же самой операции вдруг началось?

Мне как-то трудно сравнивать что там было бы на 18 или 22 версии в моих конфигах здесь и сейчас - даже если я найду эти ядра, они не поднимут мое железо и останутся без ФС. Так что если это знание и имело ценность, это было много лет назад. А ковать надо все-таки пока горячо.

Я могу сказать что в моих конфигурациях у меня нет крупных системных проблем с актуальными ядрами. И я даже померял вон тому чуваку с его memhog'ом пруфец что его чудо расстреливается за 5 секунд oomkiller'ом. Без втыкания в шоу минутами. И глядя на такой прецедент я позволю себе думать что все эти страшные сказки не являются каким-то принципиально неотъемлимым атрибутом работы линуксного кернела, скорее атрибут дурной конфигурации где сделали что-то неудачное. Я видел не менее неудачные вещи и с, допустим, виндами, где на систему можно было пялиться 5 минут без какой либо реакции на потуги юзера.

> Диск на большинстве личных компов, если ты не в курсе, один.

Для торентов и прчих активных файловых операций таки имеет смысл отдельный винч. Потому что пока торент вкалыввает, IO занят, да еще эта активность может довольно круто фрагментировать винч. И если ты думаешь что это только в линуксе - ога, юзер тут удивлялся что винда раньше менее минуты стартавала, а теперь 3+. Оказывается он торентов под завязку на ntfs накачал. И там такое месиво вышло... что теперь система при загрузке по всем закоулкам телепается. Ну и вот грузится 3 минуты. И таки юзер допер снести торенты на внешний винч, отдефрагать наконец этот ужас за ночь - стало явно приличнее, и система в целом работает заметно менее печально.

На SSD это не актуально, по поводу чего все кто в здравом уме и юзают SSD системным. Это многократно улучшает ощущения от компа хоть с какой системой. Но вот торренты на него складывать ... дороговато в пересчете на гиг. И да, на поржать, быстрая флеха в usb может при сидировании сделать механический винч если это не подперто адским кэшом. Она seek-ом не страдает.

> Э... собственно, на большинстве серверов он тоже как бы один, поскольку рэйд.

В обычном десктопнике это разве что от общесистемной глупости бывает. Ну, продаван то собирает как дешевле и больше навар, ему плевать что с юзером будет. А если это самому собирать, для себя - можно наверное и сделать себе хорошо. А хотя-бы и доплатив немного за свой комфорт.

В сервере ... другие паттерны доступа, другие требования и серваку явно не придется читать какую-нибудь иерархию меню и 20 иконок по всему диску. Так что и туповэйтить это никто не будет. Как и запускать какойнить либреофис или кад с кучей либ в произвольные моменты времени.

Торенты серваками грузить можно. И я скажу одну вещь: именно быстро, именно сидить, именно в полку - сильно перспективнее с SSD. На механике ... торенты постепенно могут вызвать довольно неприятную фрагментацию, особенно если активно гонять и забить под завязку. И вот это выглядит вообще совсем не круто. При том в эпоху без e4defrag и btrfs fi defragment это было очень неприятным подарком судьбы - после этого остается довольно проблемный сервак с довольно паршивым перфомансом и единственное что с ним можно сделать разумного - пересоздать файлуху, что бывает не совсем удобно.

> у нас elevator был еще до п-ца с cfq и прочими снами разума.

Сны разума все больше ориентируются на SSD. Их и можно осмысленно планировать по бандвизу/iops, и в адский штопор они не скатываются, и латенси на порядки меньше, и рандомный доступ им не мешает особо, по крайней мере на чтение. А жестаки разумно планировать, при том что мы даже геометрию не знаем и понятия не имеем насколько плохо сгруппировать вот этот запрос с вон тем и за сколько это скорее всего закончится, и этот ответ разный для разных жестаков в зависимости от того как на конкретно их геометрию это попало...

> Кстати, переключение в deadline слегка ослабляло накал п-ца. Но, опять
> же - слегка. То есть дело не в deadline.

По состоянию на сейчас я не вижу никакого особого "накала проца" при io. Даже блин на одноплатниках с ARM малохольным. Вероятно, за столько лет реалии все же здорово фалломорфировали, и в железе и в софте. И какая мне радость с знаний про 2.6.18 и то железо? У меня нет ни того ни другого. И более того - я не понимаю откуда следует что те алгоритмы и решения хорошо бы работали здесь и сейчас.

> синхронный read тут же отберет cpu, ничего не повиснет, кроме самой задачи,

Ну так если кто не понял - только задачи и висят. Просто если действо дофига, за это время еще желающие поднабегут с теми же запросами. И все сколлапсирует в том плане что общая латенси будет никакая.

И сейчас таки есть некоторые отличия:
1) В ядре радикально меньше блокировок.
2) У процов часто более 1 ядра.
3) Ядро "heavily threaded" и все такое.
4) Железо таки тоже в массе своей иное, PIO4 мало кто уже использует.
5) Кернел можно собрать как full preempt, так что туповэйтящее ядро может само себя выставить и заняться чем-то более интересным. Для десктопа это очень рекомендуется с точки зрения латенси.

А, если я не говорил я билдую себе ядра сам. И на десктопах это full preempt, tickless ядра, конечно. Однако даже все это не очень поможет если заставить винч телепаться во все стороны и нагнать толпу желающих чтобы это усугубить.

> которая останется грустно ждать этого read. Это хорошее и правильное поведение
> - все остальное получит шанс как-то пошевелиться, но его как раз сломали.

На _моих_ юзкейсах и конфигах я вроде не вижу ничего такого нелогичного и запредельного. А если кто видит - ну так пусть раскопает WTF. Девы себе тоже если что ssd накупили, они что - раки ждать в цать раз дольше файловые операции при девелопменте? И естественно у них все ок, иначе это было бы починено в момент :)

> Иначе бы своп снова обрел хоть какой-то смысл. Но в нем даже
> на nvme смысла нет.

Мне zram нравится. С одной стороны выпихивает откровенно холодное барахло в сжатый вариант. С другой если оно все же надо и/или worst case душняк памяти все же не вызывает ничего близко похожего на тот ад который с swap можно получить.

Ответить | Правка | Наверх | Cообщить модератору

351. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от Vanych (?), 04-Июн-20, 16:13 
Хорошо сказал, только сумбурно.
Но вместо zRAM рекомендую использовать zSwap, особенно если у Вас ядер много.
Ответить | Правка | Наверх | Cообщить модератору

165. "Новая версия BitTorrent-клиента Transmission 3.0"  +2 +/
Сообщение от Аноним (165), 24-Май-20, 09:41 
> так это ж 12309 в своем чистейшем рафинированном виде.

Это не 12309, тот о проблемах при записи. А это видимо нечто с похожим проявлением но другое по механизму. Хотя назвать цать багов одним именем - замечательный способ чтобы их никто никогда не исправил. Потому что пофиксят оригинал, закроют с чистой совестью, а это типа дубликаты. То что это на самом деле что-то иное - кто ж знал? Телепаты были в отпуске.

> Оно именно что все подвешивало - в смысле, всю систему, никакие вторые треды бы не помогли.

Если ты пригрузил диск и тут вдрух возжелал paging туда же (и swap, и подчитку страниц из executables) - программы и правда могут встрять пока там их страницы кернель перетасует. Свою систему надо знать - и не идиотничать при использовании. Особенно упихиванием торентов на системный диск, что по любому гарантирует отличную скорость чтения всяких системных либ, элементов гуя и прочего, очень полезно для "отличного" юзерэкспериенса.

Ответить | Правка | К родителю #146 | Наверх | Cообщить модератору

184. "Новая версия BitTorrent-клиента Transmission 3.0"  –1 +/
Сообщение от пох. (?), 24-Май-20, 10:56 
> Это не 12309, тот о проблемах при записи.

нет, совершенно необязательно (он, в общем и целом, вероятнее всего _кэшем_ был вызван - который память жрал, вымывался быстрее чем заполнялся и не работал) - и даже если возникал при записи, а transmission при verify таки и пописывает, помечая валидные чанки, то это обязательно дожна была быть именно запись при активном линейном чтении, забивающем кэш, а не запись из, скажем, сетевой карты - там ничем не воняло.

> Хотя назвать цать багов одним именем - замечательный способ чтобы их никто никогда не исправил.

баг был один - резкая деградация системного планировщика disk io. Причем с совершенно точно известным местом, где его еще не было - 2.6.18 Место где он возник - неизвестно, потому что он у пользователей возник - у божка "всеработало", и ему было наплевать. А мы уже к тому времени давно выучили что "stable api is nonsense, стабильное ведро в вашем дистрибутиве" - и получили подарочек при апгрейде дистрибутивов, когда версия скакнула не на единичку, попутно изменились версии всего на свете в userland, и размер изменений был уже абсолютно неразгребаемым.

Как поступают в этом случае люди, заинтересованные в качестве своего продукта? Правильно: добиваются воспроизводимости (вплоть до выклянчивания доступа или присылке почтой конкретного системника где проявляется, если у самих не получается воспроизвести), хватаются за плешь "кля, как мы ТАКОЕ сотворили?!" - и, отложив все нужные и важные полировки глюкал, начинают поштучно накатывать патчи, пока не получится поймать проблему.

Как поступил божок? Правильно - забил хер, это вообще не его проблема, пусть это...как его - комьюнити разбирается. Он архистратиг и архитектор (и уже одобрил кучу правок в архитектуре, которые откатывать не планирует - он вообще откатывать правки не умеет, поскольку не умеет пользоваться vcs по назначению. Только вперед, к неведомой цели.)

Комьюнити, как могло (не имея возможности откатить правки!) что-то где-то пыталось латать - поскольку по прежнему было непонятно, какое из миллиона изменений вызвало катастрофу.

Периодически находили новый концептуальный ляп, очевидно портящий производительность - радостно исправляли, и объявляли проблему решенной - через неделю выясняя, что нет, опять не угадали - лучше стало, но как в 2.6.18 - не стало.

> Свою систему надо знать - и не идиотничать при использовании.

а сказку про "настоящую многозадачную операционную систему" - рассказывать про проклятую-венду, угу.

Проблема только что у некоторых оказалась долгая память - и они отлично помнили, что когда-то у них система занималась проблемой планирования, вполне удачно - а не ты должен был вместо нее думать, на какой бы диск что бы такое положить, чтоб ей жилось легче.

P.S. http://bugzilla.kernel.org/show_bug.cgi?id=12309
вот тебе отношение божка и его присных к пользователям продукта и умение признавать обсеры.
Надо еще на вебархив наехать, dmca там какой вспомнить или еще чего.

Ответить | Правка | Наверх | Cообщить модератору

205. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от Михрютка (ok), 24-Май-20, 14:08 
>>>вот тебе отношение божка и его присных к пользователям продукта и умение признавать обсеры.

Надо еще на вебархив наехать, dmca там какой вспомнить или еще чего.

так а фули, превратили багзиллу в гостевуху, туда даже индусские спам-боты срать начали. я б тоже закрыл нафиг, там уже лет десять как осмысленных комментаторов не осталось.

Ответить | Правка | Наверх | Cообщить модератору

213. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от Аноним (213), 24-Май-20, 17:30 
> Надо еще на вебархив наехать, dmca там какой вспомнить или еще чего.

Да зачем, немного подобломали пиарщикам MS кайф и нормально. А кому надо именно баги, именно чинить, глядишь наконец научатся писать по 1 багу на 1 проблему, а не разгружать мусоровоз в ближайший двор.

Ответить | Правка | Наверх | Cообщить модератору

209. "Новая версия BitTorrent-клиента Transmission 3.0"  +3 +/
Сообщение от Аноним (209), 24-Май-20, 16:19 
> нет, совершенно необязательно

Его и его механизм весьма детально разжевали в LKML. И, естественно, починили. Заколоченая как 12309 инкарнация была именно проблемой того что случается при активной записи на медленный стораж, когда ядро отращивает адский буфер, проги просят память - ща дадим, погодите, только выжмем буфер. Они и ждут пока гигаз выдавит все это и отдаст память.

> (он, в общем и целом, вероятнее всего _кэшем_ был вызван - который память жрал,
> вымывался быстрее чем заполнялся и не работал) -

В конкретно 12309 кэш как таковой виноват только тем что он вообще есть и место собой в системной памяти видите ли занял, тогда как это можно отобрать и софту отдать. А то что все это совсем не быстро в определенной конфигурации и программы взвисают...

В случае торентов, кстати, системный кэш на таком паттерне доступа дуреет, поэтому мало-мальски вменяемые клиенты, включая сабж, реализуют менеджмент кеширования с своим программным буфером + кучу трюков с хинтованием чего они намереваются. Без этого для операционки оно выглядит как хаотичное рандомное чтение и запись, получается кошмар.

> и даже если возникал при записи, а transmission при verify таки и пописывает,

При verify пишутся какие-то крохи, в resume файле - что-то типа bit map какие части проверены.

> помечая валидные чанки, то это обязательно дожна была быть именно запись при активном
> линейном чтении, забивающем кэш,

Там крохи какие-то, несколько кило. И пишется resume файл не на каждый пук, его вроде подбуферизовывают и лишь изредка синкают. Может потому и "теряют X мегабайт" если клиент некорректно вырубился не скинув это (затронутые чанки не засчитаются за проверенные). Рехэш разумеется найдет данные если хэш блока верный.

> а не запись из, скажем, сетевой карты - там ничем не воняло.

Если уже пора лить данные, но их нет - туповэйтинг. Если винч загнали в режим когда он головами все время мотает, так будет и много. По поводу чего и идея отрастить пребуфер, чтобы на каждого желающего был солидный кус, чтобы диск не дергался мелкими рандомными доступами "200 чуваков хотят здесь и сейчас 200 разных кусков" - механика в таком виде обвалится по скорости в плинтус.

> баг был один - резкая деградация системного планировщика disk io.

Как планировщик IO вообще поможет, если в 12309 прога встряла при выделении себе памяти и ядро вкалывает чтобы память очистить? Пока оно не отожмет у кеша память - прога не разморозится, хоть там что. Единственная альтернатива - сообщить ей что запрошенное выделение памяти не удалось, но тогда прога вообще скорее всего упадет/словит SIGSEGV. А какие варианты?!

Фикс был в лимитировании размера кэша для тормозных сторажей, так что системная память во первых не выжирается в такой ситуации, во вторых выжимка занимает меньше времени. Эта инкарнация и починилась.

А прочие "12309-like" - другие взаимодействия. Так что если кто валил все баги в 1 кучу - ну тогда и кукуйте без фикса. Быть тупицами вообще так себе.

> Причем с  совершенно точно известным местом, где его еще не было - 2.6.18

Учитывая что народ под 12309 понимает пару десятков инкарнаций совершенно разной фигни, с разным механизмом возникновения... ну вот ты планировшик приплел, хоть я и не понимаю как он поможет именно 12309 кэш быстрее конфисковать в пользу программы, хоть там что. Он же не разгонит тормозной стораж.

> возник - у божка "всеработало", и ему было наплевать.

Задеклареный баг исследовали и починили, а если кто думал под шумок вывалить туда 20 других багов и сказать что это то же самое - ага, ща, это так не работает. И хрен воспроизведешь даже если захочешь.

> версия скакнула не на единичку, попутно изменились версии всего
> на свете в userland, и размер изменений был уже абсолютно неразгребаемым.

Любителей допущений которые они сами себе возомнили надо почаще обламывать, тогда они либо сделают выводы и угомонятся, либо их уволят. В любом случае проблема отпадет.

> Как поступают в этом случае люди, заинтересованные в качестве своего продукта? Правильно:
> добиваются воспроизводимости

Кто и в каком объеме это должен делать? До каких пор? И кто оплатит весь этот банкет? Хотя-бы миллионы возможных комбо железок и время на возню со всем этим парком? Даже сверхжирные коммерческие корпы занимаются качеством до известного предела и не бита сверх необходимого минимума. Бабло видите ли считают.

А по логике вещей, у кого проблема тот и суетится. Вплоть до высылки конфиги деву или оплаты выезда дева или хотя-бы доступа к конфиге. Блин, чудес не бывает и если у девов оно не воспроизводится (очень частый случай) - да, дальнейшее не совсем просто. Это либо диагностируется тем кому оно надо либо он что-то придумывает чтобы мощно подыграть/мотивировать минимально заинтересованным в этом.

> (вплоть до выклянчивания доступа или присылке почтой конкретного
> системника где проявляется, если у самих не получается воспроизвести),

А девам то чего клянчить? Это не у них проблема а у того чувака. Вот он пусть и предлагает доступы и вообще всячески способствует. В конечном итоге чья проблема тот и суетится больше всех, имхо.

> и важные полировки глюкал, начинают поштучно накатывать патчи, пока не получится
> поймать проблему.

Если заниматься подобными вещами, можно всю жизнь гоняться за привидениями, чего доброго вообще глюками железа, а код писать - да ну нафиг, да? Правда дев при этом становится страдальцем фигней, бесполезным для окружающих. И никто не вдупляет зачем ему за такое например деньги платить.

> пусть это...как его - комьюнити разбирается. Он архистратиг и архитектор (и
> уже одобрил кучу правок в архитектуре, которые откатывать не планирует -

Собственно он для того и нужен. А сделать из него ломового кодера и багрепродусера - блин, ну это ж тебе не СССР где полагали что гнать профессоров на картошку эффективно, там у людей все дома по части управления проектами.

> он вообще откатывать правки не умеет,

Git log не подтверждает этот тезис.

> поскольку не умеет пользоваться vcs по назначению. Только вперед, к неведомой цели.)

Торвальдс накодил git и не умеет им пользоваться. Нимб не жмет, гуру vcs?!

> Комьюнити, как могло (не имея возможности откатить правки!) что-то где-то пыталось латать
> - поскольку по прежнему было непонятно, какое из миллиона изменений вызвало катастрофу.

Железо и софт стали сложными, требования и приоритеты изменились, скелеты в шкафу местами остались, а возможных комбинаций квинтиллионы. То что в каких-то краевых случаях что-то работает как-то не так удивляться может только рак. И если кто думает что это уникально для линуха - там вон прогер из майкрософта высказал совсем другие идеи. И почему-то не в пользу винды.

> Периодически находили новый концептуальный ляп, очевидно портящий производительность
> - радостно исправляли, и объявляли проблему решенной - через неделю выясняя,
> что нет, опять не угадали - лучше стало, но как в 2.6.18 - не стало.

Этот ваш 2.6.18 на половине актуального железа тупо не работал. И никак не могу вспомнить никакой особой low latency у того ядра.

> а сказку про "настоящую многозадачную операционную систему" - рассказывать про
> проклятую-венду, угу.

Чудес не бывает. Если винч положить до состояния когда он по всему блину в час по чайной ложке телепает, грех удивляться старту программ полчаса, ведь системные либы наверное из астрала прочитаются? И прочие файлы с иконками и каким еще барахлом не требуют IO. Только не говори что ты никогда не видел допустим тормозящую винду, где реакции на переключение окошка можно минутами ждать.

- Доктор, когда я так делаю, мне больно!
- А вы так не делайте!

> - а не ты должен был вместо нее думать, на какой
> бы диск что бы такое положить, чтоб ей жилось легче.

Тут рассказывали не так давно что система, блабла, тупит, эн минут, если память кончается. Даже тест выложили. Я им и померил у меня - через 5 секунд OOM killer пристрелил проблемный процесс и был таков. Нет, конечно если хочется демонстративно прострелить пятку и верещать, это можно. Но мне кажется что есть менее мучительные способы достичь просветления.

> P.S. http://bugzilla.kernel.org/show_bug.cgi?id=12309

Можно подумать я это не видел. Еще и смежные дебаты в LKML, чтоли, по поводу что за баг.

> Надо еще на вебархив наехать, dmca там какой вспомнить или еще чего.

Торвальдсу то? С чего? Он вроде хоть и едкий чувак, но обычно по делу.

Ответить | Правка | К родителю #184 | Наверх | Cообщить модератору

218. "Новая версия BitTorrent-клиента Transmission 3.0"  +/
Сообщение от пох. (?), 24-Май-20, 18:30 
> Его и его механизм весьма детально разжевали в LKML. И, естественно, починили.

в который раз? ;-) Там в том самом запрещенном теперь к изучению смертными тикете было аж три "починили". И по мелочи еще кучка.

Причем не починилось оно что-то нифига.

> В конкретно 12309 кэш как таковой виноват только тем что он вообще есть и место собой в
> системной памяти видите ли занял, тогда как это можно отобрать и софту отдать.

причем - не по делу занял, угу - у нас идет его вымывание (поскольку мы линейно читаем больше, чем в него в принципе поместилось бы).

> А то что все это совсем не быстро в определенной конфигурации

ну вот я не понимаю, какое такое управление памятью в 2007м году могло быть "небыстро", учитывая что памяти той хорошо если четыре гигабайта?
Оно ж не секунды тупило, а десятки минут.

С моей точки зрения там было именно что сломано разом несколько сложных взаимозавязанных на другие фичи в ядре механизмов, и выглядело это именно как полный п-ц. Потому пару из них починили - вместо полного наступил такой, не очень откормленный, но больше было похоже на то, что проблему загнали под ковер.

В моем лично случае остатки проблемы ушли только с отказом от ext3 с ее журналом. Что сильно изменило вообще все поведение системы.

> Кто и в каком объеме это должен делать? До каких пор? И кто оплатит весь этот банкет?

те кому just for fun интересно сделать нечто приличное, а не на от...сь, "уменявсеработает", не?

> Торвальдс накодил git и не умеет им пользоваться. Нимб не жмет, гуру vcs?!

говен кусок он накодил - да, потому что не умел пользоваться vcs и не понимал, зачем все остальные ими пользовались. Если вы опоздали родиться и пропустили те десять лет - ничем не могу помочь.

В результате тривиальные вещи делаются через задницу, потому что оно автоматизирует совершенно идиотский способ работы с кодом. Зато вполне отражающий личные качества божка, ага.

> Этот ваш 2.6.18 на половине актуального железа тупо не работал. И никак не могу вспомнить

у меня никогда не было такого странного железа - что я делал не так?

> никакой особой low latency у того ядра.

еще раз - речь не о low latency, которая в миллисекундах, а о полной неработоспособности системы с нулевой реакцией на раздражители десятки минут - при работе некоторого процесса, вполне тривиально образовывавшегося. Такого п-ца в 2.6.18 таки не было, и тогда в этом мог убедиться каждый, просто откатив ядро - к счастью, до shittyd, не позволяющего это сделать, было еще десять лет.

> Только не говори что ты никогда не видел допустим тормозящую винду, где реакции на
> переключение окошка можно минутами ждать.

только вот для этого надо загнать ее в глубокий своп, запустив больше программ чем в принципе может поместиться в память,и при этом заставив их каким-то образом не лежать мирно в свопе, а активно конкурировать за ресурсы. То есть надо стараться (обычно при уже тормозящей и свопящейся системе запустить что-то большое - как раз тот случай, когда к нам пожалует oom-killer).

Двигая окошки в эксплорере - добиться такого эффекта нельзя. А с 12309 именно что можно было похожим образом, при нуле запущенных тяжелых программ.

Ну я хрен знает почему это не было поводом все отложить и начать устранять регрессию, для тех кто считает что делает что-то для людей.

>> P.S. http://bugzilla.kernel.org/show_bug.cgi?id=12309
> Можно подумать я это не видел.

я уже вижу, что не видел. Нажми ссылку - удивишься.
При сталине так не было, да.


Ответить | Правка | Наверх | Cообщить модератору

261. "Новая версия BitTorrent-клиента Transmission 3.0"  +1 +/
Сообщение от Аноним (-), 25-Май-20, 11:49 
> в который раз? ;-) Там в том самом запрещенном теперь к изучению
> смертными тикете было аж три "починили". И по мелочи еще кучка.

С учетом сложности и многообразия современного железа и числа возможных комбо, почему-то 'аж' применительно к 'три "починили"' не находит понимания.

> Причем не починилось оно что-то нифига.

Скорее всего не починилось то что похоже на вид но с другим механизмом возникновения. Обычная ситуация в разработке.

> причем - не по делу занял, угу - у нас идет его вымывание

Теоретически по делу: подбуферизовал тормозной носитель, для чего и создан, так что запись завершилась быстрее. Практически вылез злой побочный эффект в определенных конфигурациях и обстоятельствах. Заранее все и вся такого плана предусмотреть довольно сложно.

> (поскольку мы линейно читаем больше, чем в него в принципе поместилось бы).

Именно 12309 в оригинале был вообще про запись, оно на свое горе помещалось и много, выжрав кучу памяти под буфер, надолго, хренотнимешь. Попытки отнять и ставили колом на цать минут если не повезло.

> ну вот я не понимаю, какое такое управление памятью в 2007м году
> могло быть "небыстро", учитывая что памяти той хорошо если четыре гигабайта?

Как, как. Кидаем пару гигз на флеху с записью мег в секунду, они буферизуются, теоретически их можно отобрать. Кому-то начинает хотеться приличный кус, ядро пытается отобрать. По мегу в секунду. За это время набежит еще желающих, особенно если офигевший юзер дергаться начал. Проги и висят тряпочками. Как альтернатива можно сказать что выделение не удалось, тогда посыпятся как горох. Для любителей такого варианта есть ZFS :P

С точки зрения юзера: всего-то фоточки на флеху пульнул. Фоты улетели в миг, хоть флеха кал. Юзер занялся своими делами, но почему-то все стало клинить. Неудачное для конфиги и кейса взаимодействие фич.

> Оно ж не секунды тупило, а десятки минут.

Ну так если там желающие допустим гиг памяти занятый буферами хотят, а флеха мег в секунду на запись, ты и подождешь выжимки минуток 20. Тогда как раз флехи были тормозные, юзеры и огребли по максимуму.

> больше было похоже на то, что проблему загнали под ковер.

А для меня это выглядит примерно так: изначально алгоритмы кодили под другие реалии. А тут пришли новые реалии, предъявились ручкой грабель по лицу, показав что в вон той ситуации сочетание той идеи с этой реализацией ведет себя неудачно, оказывается. Пришлось придумывать как вкостылить.

> В моем лично случае остатки проблемы ушли только с отказом от ext3
> с ее журналом. Что сильно изменило вообще все поведение системы.

Сейчас 2020 год. Я не понимаю смысл в EXT3. Если так нравится выводок EXT, в EXT4 много нововведений разгоняющих его. Но 12309 по идее от типа ФС не особо зависел, важен сам факт что в buffers много невыжатого для медленного стоража висело и кто-то захотел на свое горе памяти.

> от...сь, "уменявсеработает", не?

Ну так они себе fun и делают. Собственно ты единственный кого я знаю кому не нравится линух но кто с ним работает. Вот прямо так.

> говен кусок он накодил - да, потому что не умел пользоваться vcs

Лично я рад этому факту - мне с его vcs как-то удобнее стало. Можно номарльно контролировать версии в моих проектах без сношений с всякими мускус-серверами, или чем еще. Оно даже позволяет взять лаптоп в охапку и покодить вон там под деревцом. Даже если там нет ни намека на интернет. И при этом со мной остаются все фичи VCS, в отличие от онлайн-чотам-доступа, умеющего в основном 1) тормозить и 2) превращаться в тыкву.

> и не понимал, зачем все остальные ими пользовались. Если вы опоздали
> родиться и пропустили те десять лет - ничем не могу помочь.

Да не, не опоздал. И таки считаю что git был очень большим апгрейдом воркфлоу и взаимодействий. В том числе и для лично меня.

> совершенно идиотский способ работы с кодом. Зато вполне отражающий личные качества божка, ага.

Я не нахожу торвальдсовские воркфлоу идиотскими, скорее, дьявольски эффективными и весьма логичными. Наверное именно поэтому гит и захватил планету. А идиотизм, имхо, центральныйсервер головного мозга. Прибивает на гвозди один единственный возможный воркфлоу и от него ни на шаг. Мышление в стиле майкрософта образца 95 года.

> у меня никогда не было такого странного железа - что я делал не так?

Наверное, поселился на складе со старым железом. Я как-то не представляю себе как 2.6.18 даже чисто теоретически сможет мне раскочегарить, допустим, GPU выпущенный цать лет опосля этой даты.

> еще раз - речь не о low latency, которая в миллисекундах,

Насколько я понимаю, если сискол сейчас на стороне ядра, и ядро non-preemptible, то это не "миллисекунды", а в общем то, "сколько получится". Если получится больше - весь мир все же подождет. Потому что если ядро себя вытряхнуть не изволит, остальные и подавно без шансов. А то что обычно сисколы срабатывают быстро - да, но в общем случае это ниоткуда не следует. Это очень вольное и абстрактное допущение. Игнор этого периодически приводит к интересному юзер экспериенсу.

А когда ядро может себя выпнуть и заняться чем-то еще, если оказалось что предыдущее занятие слишком долгое - это очень хорошо. Обидно когда ядро канифолит мозг по причине "дурные абастракции". Полезно для избавления от "дискетку доформатирую и покажу многозадачность".

> просто откатив ядро - к счастью, до shittyd, не позволяющего это
> сделать, было еще десять лет.

А разработчики железа тоже на 10 лет в анабиоз впали? По ним не заметно.

> за ресурсы. То есть надо стараться (обычно при уже тормозящей и
> свопящейся системе запустить что-то большое - как раз тот случай, когда
> к нам пожалует oom-killer).

В винде вроде нет oom killer как такового. В какой-то момент проги начинают получать отлупы о нехватке памяти да и все дела. И таки до как минимум семеры стараться особо не надо было - достаточно уйти из браузера в ворд, полчаса попечатать - а потом переключение обратно займет секунд 30. В течение которых вместо браузера абстрактный трупик. И я не знаю можно ли это вообще как-то настраивать. В >=win8/2008 это вроде улучшили, но, имхо, это юзай. И html5 кирпичи и какие там еще кейлогеры с эрзац-wsl.

> Двигая окошки в эксплорере - добиться такого эффекта нельзя.

Я прекрасно видел как FF всвопливается взад секунд так 30. И даже не потому что памяти мало, просто его посчитали неиспользуемым за полчаса и выгрузили зачем-то. И конечно он не может ничего делать пока его из свопа вытаскивают, по примерно тем же причинам что и в линухе. И я бы сказал что недееспособная 30 секунд программа меня "несколько" напрягает.

> А с 12309 именно что можно было похожим образом, при нуле запущенных тяжелых программ.

Именно вот тасканиями окошек? Ну черт знает. Это хорошо провоцирует жирное выделение памяти где-то?

> Ну я хрен знает почему это не было поводом все отложить и начать устранять регрессию,
> для тех кто считает что делает что-то для людей.

Именно 12309 в его виде разжеваном LKML ... даже и не регрессия вроде. Скорее внезапное обнаружение того факта что имевшиеся алгоритмы жестко лажают в определенной ситуации.

> я уже вижу, что не видел. Нажми ссылку - удивишься.

Ага, уже.

> При сталине так не было, да.

Да, при нем тебя наверное просто расстреляли за саботаж.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру