The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Разработчики Ubuntu проанализировали эффективность включения PGO-оптимизации"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Разработчики Ubuntu проанализировали эффективность включения PGO-оптимизации"  +/
Сообщение от opennews (??), 20-Ноя-24, 09:49 
Компания Canonical опубликовала результат оценки изменения производительности при пересборке пакетов с включением оптимизации на основе результатов профилирования кода (PGO - Profile-guided optimization), позволяющей генерировать более оптимальный код на основе анализа особенностей выполнения программы. В ходе проделанной работы был сделан вывод, что включение PGO-оптимизации позволило на 5-7% снизить нагрузку на CPU и ускорить время сборки...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=62262

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Аноним (1), 20-Ноя-24, 09:49 
Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов.
Ответить | Правка | Наверх | Cообщить модератору

4. "Разработчики Ubuntu проанализировали эффективность включения..."  +25 +/
Сообщение от Аноним (4), 20-Ноя-24, 10:03 
Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык.
Ответить | Правка | Наверх | Cообщить модератору

5. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Аноним (1), 20-Ноя-24, 10:06 
Это надо переписывать. Поверь, бесплатное ускорение это очень выгодно. А если пользователь ждёт завершения, ещё и приятно.
Ответить | Правка | Наверх | Cообщить модератору

43. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Бывалый Смузихлёб (ok), 20-Ноя-24, 13:45 
только оно не бесплатное
Ответить | Правка | Наверх | Cообщить модератору

44. "Разработчики Ubuntu проанализировали эффективность включения..."  +4 +/
Сообщение от Аноним (1), 20-Ноя-24, 13:58 
> только оно не бесплатное

Ничего не надо делать, пару команд в сборочный скрипт добавить. Прочее ускорение потребует рефакторинга кода, изменения структур данных, замены компонентов и так далее. Добавить пару команд и задействовать компилятор более полноценно, это, фактически, бесплатно. И максимально универсально.

Ответить | Правка | Наверх | Cообщить модератору

59. "Разработчики Ubuntu проанализировали эффективность включения..."  –3 +/
Сообщение от Аноним (59), 20-Ноя-24, 23:30 
Переписывать дорого. А надеяться на всякие хаки которые позволяют выжать из питона ещё десяток процентов, при том что он отстаёт от компилируемых языков в десятки раз и не умеет в многопоточность - глупо. Единственная правильная стратегия - на питоне ничего не писать с самого начала.
Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

66. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (66), 21-Ноя-24, 12:01 
>Это надо переписывать.

На питоне изначально не надо писать, тогда и переписывать не придётся

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

9. "Разработчики Ubuntu проанализировали эффективность включения..."  +2 +/
Сообщение от Аноним (9), 20-Ноя-24, 10:17 
Время первого запуска возрастает до бесконечности. Не самый лучший способ.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

15. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Аноним (15), 20-Ноя-24, 10:36 
Ага, на ассемблер, но есть нюанс...
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

19. "Разработчики Ubuntu проанализировали эффективность включения..."  –4 +/
Сообщение от Аноним (19), 20-Ноя-24, 10:42 
Ассемблер может что ускорить только путем срезания острых углов дополнительных проверок. По факту путем снижения безопасТности.
Ответить | Правка | Наверх | Cообщить модератору

32. "Разработчики Ubuntu проанализировали эффективность включения..."  –2 +/
Сообщение от Аноним (32), 20-Ноя-24, 11:34 
> Ассемблер может что ускорить только путем срезания острых углов
> дополнительных проверок. По факту путем снижения безопасТности.

Как показала соседняя новость с питонокодом в needrestart'е убунт - там тоже с безопасностью не очень оказалось. Оказывается ненужные проверки можно срезать и на питоне. Ну и что что всякая лабуда атакующего под рутом в результате выполняется?! Зато прогер времени себе сэкономил на кодинге проверок!

Ответить | Правка | Наверх | Cообщить модератору

56. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от Аноним (-), 20-Ноя-24, 22:20 
Не только, он ещё может и манипулировать памятью так как ни в одном языке вы это не сделаете. Только  человек не компилятор. Если человек где-то маленький участок кода и может оптимизировать, а вот огромный кусок кода переработать человеку уже не так просто. Именно поэтому и нужны языки программирования.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

31. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (-), 20-Ноя-24, 11:33 
> Самый лучший способ ускорить питоновские приложения -- это переписать их на другой язык.

Редхат что-то такое и начал наконец для своего пакетника. Правда, на цать лет позже всех остальных. Энтерпрайзный софт как он есть - кормить клиентуру заплатившую миллионы максимально глюкавым, тормозным и непотребным гуано, "с лопаты". Энтерпрайз в интерьере.

В то время как даже комьюнити смогло написать apt на плюсах нормальных, так что работает в разы шустрее и RAM жрет в разы меньше.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

41. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Соль земли (?), 20-Ноя-24, 12:58 
Лучший способ написать хорошее приложение - это сначала написать плохое. Прогресс невозможен без ошибок.
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

58. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от YetAnotherOnanym (ok), 20-Ноя-24, 23:19 
Нет. Написав плохое приложение, вы не напишете хорошее, если не будете к этому страмиться. Поэтому лучший способ написать хорошее приложение - стремиться написать хорошее приложение.
Ответить | Правка | Наверх | Cообщить модератору

8. "Разработчики Ubuntu проанализировали эффективность включения..."  +4 +/
Сообщение от Аноним (-), 20-Ноя-24, 10:16 
> Питон раза в 2 ускоряется в пго билде с парой дополнительных флагов.

Это вы по тем графикам вывод сделали? Обожаю графики где ось начинается не с ноля, сразу иследователи такие важные и нужные. А реально эти 5% разглядеть на фоне нормального графика...

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

17. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (1), 20-Ноя-24, 10:39 
Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных. Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы. Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле.
Ответить | Правка | Наверх | Cообщить модератору

28. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (-), 20-Ноя-24, 11:24 
> Нет конечно, эти лалки открыли для себя пго 10 лет спустя после всех остальных.
> Именно поэтому какой-то смысл нести деньги есть только тем, у кого имеются разрабы.
> Ну, хотя бы, и шляпе. А эти имитируют бурную деятельность на самом деле.

Шляпа как видим тоже - та еще шляпа. Ибо теперь это IBM и ваш чемодан денег им уже не очень интересен, сдалась им мелочевка всякая. Вот если вы товарный состав подгоните - так и быть, вы их клиент.

А без этого можете бесплатно покамикадзить тестовым манекеном в федоре. Ух какая благодать! А, вот, еще центос стрем - для манекенов переживших первый раунд краштестов.

Ответить | Правка | Наверх | Cообщить модератору

21. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Archer73 (ok), 20-Ноя-24, 10:57 
Скачал Python 3.10, и он ПО УМОЛЧАНИЮ собирался с PGO (Скомпилился, долго выполнял тестовые расчеты, перекомпилился используя результаты профилирования)
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

22. "Разработчики Ubuntu проанализировали эффективность включения..."  –2 +/
Сообщение от Аноним (1), 20-Ноя-24, 11:05 
Да, но периодически проблемы с компиляторами всплывают до сих пор. Корпы хотят, чтобы собиралось шлангом, и ломают сборку гцц. А бинарные билды часто не оптимизированы, в той же федоре стали нормально собирать только несколько лет назад.
Ответить | Правка | Наверх | Cообщить модератору

26. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Аноним (19), 20-Ноя-24, 11:17 
Так Федора сама по себе тестовая сборка, зачем там была нужна оптимальность непонятно.
Ответить | Правка | Наверх | Cообщить модератору

27. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от Аноним (1), 20-Ноя-24, 11:23 
У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это бесплатное ускорение по сути, никаких недостатков (ну, кроме времени компиляции и необходимости гонять профилирование).
Ответить | Правка | Наверх | Cообщить модератору

29. "Разработчики Ubuntu проанализировали эффективность включения..."  –4 +/
Сообщение от Аноним (-), 20-Ноя-24, 11:28 
> У них почти все скрипты на питоне были. Включая пакетный менеджер. Пго это
> бесплатное ускорение по сути, никаких недостатков (ну, кроме времени
> компиляции и необходимости гонять профилирование).

Я наелся такого ускорения от редхата и свалил на дебианы и убунты. Потому что делать микро-VM по приципу 1 VM на сервис когда пакетник жрет больше RAM чем сервис - ну вот ой, нерационально.

Как мне кажется, за цать лет транснациональная корпа могла бы разок сделать пакетник нормально а не маяться такой отборной дурью вместо этого.

Ответить | Правка | Наверх | Cообщить модератору

48. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от _ (??), 20-Ноя-24, 19:02 
Как только ты свалил, они с yum перешли на dnf.
Наверное надо сказать тебе "спасибо!" или поругать что так долго не уходил :)
Ответить | Правка | Наверх | Cообщить модератору

51. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (51), 20-Ноя-24, 21:37 
> Как только ты свалил, они с yum перешли на dnf.

А до этого они перешли на yum c up2date. Хрен редьки не слаще. Что так дрянь что сяк. Через цать лет до них даже что-то доходить стало.

Но попробовав apt мне что-то вон то юзать уже совсем не хотелось. От слова вообще.

> Наверное надо сказать тебе "спасибо!" или поругать что так долго не уходил :)

Даже не знаю. Но вот что я знаю - так это то что технология жива теми кто ее практикует. И в этом смысле мы посмотрим какое семейство технологий победит :)

Ответить | Правка | Наверх | Cообщить модератору

24. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (24), 20-Ноя-24, 11:09 
Задача не ускорить сам Python, а ускорить сборочное окружение, собирающее Python и другие пакеты.
Ответить | Правка | К родителю #21 | Наверх | Cообщить модератору

36. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от пгуыыцрщ (?), 20-Ноя-24, 11:57 
-fno-semantic-interposition ?
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

39. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (1), 20-Ноя-24, 12:26 
Да, -fno-plt и -fdevirtualize-at-ltrans ещё. Раньше, помню, -fwhole-program давала хорошую оптимизацию, но там не универсально и только сишные проги собирались в итоге. А так я -fipa-pta тоже использовал универсально, но лто становится несколько неподъёмным для больших прог, решил отказаться.
Ответить | Правка | Наверх | Cообщить модератору

2. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (2), 20-Ноя-24, 09:57 
Ещё интресно, какой эффект от включения оптимизаций под конретный процессор.
Ответить | Правка | Наверх | Cообщить модератору

11. "Разработчики Ubuntu проанализировали эффективность включения..."  +8 +/
Сообщение от Минона (ok), 20-Ноя-24, 10:22 
Поставь Генту -- узнаешь.
Ответить | Правка | Наверх | Cообщить модератору

47. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (47), 20-Ноя-24, 17:21 
https://www.phoronix.com/news/Intel-Linux-3888.9-Performance
Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

7. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от Аноним (7), 20-Ноя-24, 10:11 
Ничего эффективнее распределенной компиляции еще не придумали. В условиях технологической отсталости - это единственный способ повышения скорости сборки пакетов. ICECC - рулит.
Ответить | Правка | Наверх | Cообщить модератору

10. Скрыто модератором  +/
Сообщение от Аноним (-), 20-Ноя-24, 10:17 
Ответить | Правка | Наверх | Cообщить модератору

38. Скрыто модератором  –1 +/
Сообщение от пох. (?), 20-Ноя-24, 12:03 
Ответить | Правка | Наверх | Cообщить модератору

50. Скрыто модератором  –1 +/
Сообщение от Аноним (50), 20-Ноя-24, 19:14 
Ответить | Правка | Наверх | Cообщить модератору

65. Скрыто модератором  +/
Сообщение от пох. (?), 21-Ноя-24, 10:15 
Ответить | Правка | Наверх | Cообщить модератору

52. Скрыто модератором  +/
Сообщение от Аноним (-), 20-Ноя-24, 21:43 
Ответить | Правка | К родителю #38 | Наверх | Cообщить модератору

64. Скрыто модератором  +/
Сообщение от пох. (?), 21-Ноя-24, 10:14 
Ответить | Правка | Наверх | Cообщить модератору

12. "Разработчики Ubuntu проанализировали эффективность включения..."  +5 +/
Сообщение от Аноним (12), 20-Ноя-24, 10:24 
Бить надо за такие графики с отсеченным нулем. Желательно не только по лицу. Там разница всего на 5-6%, но график сделан так чтобы потрясти воображение разницей на глаз этак на 50%. И только внимательный рассмотрит оси, начнет чего-то подозревать и потом наткнется на эти самые скромные 5% под рисунком. Для понимания достаточно было бы одной простенькой таблички вместо всех этих 4-х графиков.
Ответить | Правка | Наверх | Cообщить модератору

16. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (16), 20-Ноя-24, 10:37 
Какая разница, они же не продают эти PGO-оптимизации.

Во-вторых какой тогда смысл в графике, если разницу между столбцами надо через лупу наблюдать?

Ответить | Правка | Наверх | Cообщить модератору

18. "Разработчики Ubuntu проанализировали эффективность включения..."  +6 +/
Сообщение от Аноним (19), 20-Ноя-24, 10:39 
Ты на правильном пути, мой юный падаван. График не нужен.
Ответить | Правка | Наверх | Cообщить модератору

13. "Разработчики Ubuntu проанализировали эффективность включения..."  +2 +/
Сообщение от Аноним (19), 20-Ноя-24, 10:27 
> Сборочные работы, ранее выполняемые за сутки, при задействовании PGO-оптимизации стали выполняться на два часа быстрее

Я конечно понимаю что большинство местной аудитории гуманитарии и в расчеты не обучены и округляют в зависимости от фазы Меркурия. Но как 5% ускорение дало 2 часа быстрее когда при самых грубых расчетах это 1 час. А при чуть более точных 1 час 12 минут? Да даже округление округления до 6% ну никак не даёт морального права округлять до 2 часов.

Ответить | Правка | Наверх | Cообщить модератору

23. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (24), 20-Ноя-24, 11:08 
60*0.07*24 = 100.8 мин.
Ответить | Правка | Наверх | Cообщить модератору

25. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (19), 20-Ноя-24, 11:15 
Подгонять под результат меня и в школе и институте учили, но на графиках явно пишут что там 5% 2 часа это либо менеджера обмануть или менеджер кого-то пытается обмануть или препода обмануть, но зачем?
Ответить | Правка | Наверх | Cообщить модератору

37. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от пох. (?), 20-Ноя-24, 12:02 
> Подгонять под результат меня и в школе и институте учили, но на
> графиках явно пишут что там 5% 2 часа это либо менеджера
> обмануть или менеджер кого-то пытается обмануть или препода обмануть, но зачем?

performance review сам себя не пройдет.

Ответить | Правка | Наверх | Cообщить модератору

20. "Разработчики Ubuntu проанализировали эффективность включения..."  +2 +/
Сообщение от Аноним (20), 20-Ноя-24, 10:52 
А может они померят разницу не в виртуалке? Да не, бред какой-то
Ответить | Правка | Наверх | Cообщить модератору

35. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от пох. (?), 20-Ноя-24, 11:50 
я что-то вообще не понял кто у них на ком стоял. Они _виртуалку_ пересобрали с pgo чтобы внутри пересобирать что-то с чем-то ? Или qemu? Или вот что? Чтобы - что?


В общем, какой-то васян похоже просто развлекался от нечего делать, но выдал на гора целое "исследование" ни о чем.

Ответить | Правка | Наверх | Cообщить модератору

45. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от гулигули (?), 20-Ноя-24, 15:56 
Да, пересобрали виртуалку, в которой собирают пакеты под risc-v (для дистриба на risc-v).
Оказалось чуть быстрее.
Ответить | Правка | Наверх | Cообщить модератору

33. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (33), 20-Ноя-24, 11:40 
Зачем собирать питон когда его можно скачать?
Ответить | Правка | Наверх | Cообщить модератору

49. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Аноним (50), 20-Ноя-24, 19:10 
Поставь Gentoo по классике, поймёшь.
Ответить | Правка | Наверх | Cообщить модератору

53. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (-), 20-Ноя-24, 21:45 
> Поставь Gentoo по классике, поймёшь.

Ога, когда система портажей на этом самом питоне с очередным питоном вдруг не станет работать - ты познаешь тао во всей его красоте. Или это дао было? :)

Ответить | Правка | Наверх | Cообщить модератору

55. "Разработчики Ubuntu проанализировали эффективность включения..."  +1 +/
Сообщение от Вы забыли заполнить поле Name (?), 20-Ноя-24, 22:03 
> когда его можно скачать?

А вдруг там троян? Ну и оптимизаций нет под себя

Ответить | Правка | К родителю #33 | Наверх | Cообщить модератору

57. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (-), 20-Ноя-24, 22:28 
А вы реально смотрите весь код каждого пакета перед компиляцией? Может проблема в том что нет доверенного источника такого пакета? Вот каждый что-ли должен перепроверять один и тот же код? И это при том что у каждого разный опыт и знания касательно безопасности.
Ответить | Правка | Наверх | Cообщить модератору

61. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Вы забыли заполнить поле Name (?), 21-Ноя-24, 07:24 
>  Вот каждый что-ли должен перепроверять один и тот же код?

Да. Это как доказательство теоремы. Можно асистентом прувером воспользоваться еще.

Ответить | Правка | Наверх | Cообщить модератору

40. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от InuYasha (??), 20-Ноя-24, 12:37 
Ну.... играл я с этим когда-то. Но в моих непредсказуемых случаях от него толку было ещё меньше. Лучше векторизацию подкрутить было. Но в целом вещь нужная.
Ответить | Правка | Наверх | Cообщить модератору

42. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (42), 20-Ноя-24, 13:39 
Самый быстрый способ сборки есть но он не кому не доступен , но когда будете готовы в это влить денег то получите эту сверх штуку
Ответить | Правка | Наверх | Cообщить модератору

54. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (-), 20-Ноя-24, 21:46 
> Самый быстрый способ сборки есть

Есть. Apt-get называется. Суть сводится к тому что проц по черному грела - билдферма. А остальным осталось скачать и распаковать :)

Ответить | Правка | Наверх | Cообщить модератору

46. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от Аноним (46), 20-Ноя-24, 16:49 
В Debian такие оптимизации еще нескоро попадут? А в Arch уже попали?
Ответить | Правка | Наверх | Cообщить модератору

60. "Разработчики Ubuntu проанализировали эффективность включения..."  +/
Сообщение от Аноним (60), 21-Ноя-24, 00:46 
PGO-оптимизация - это как CD-диск, так писать не грамотно.
Ответить | Правка | Наверх | Cообщить модератору

62. "Разработчики Ubuntu проанализировали эффективность включения..."  –1 +/
Сообщение от Аноним (62), 21-Ноя-24, 08:46 
Таки, или PG-оптимизация, или PGO, CD или C-диск.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру