The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

Выпуск глобальной децентрализованной файловой системы IPFS 0.7, opennews (?), 25-Сен-20, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


46. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от anonymous (??), 26-Сен-20, 13:01 
Про что речь? Вот у меня в разогретом состоянии (давно запущен):
VmRSS:     47532 kB
Ответить | Правка | Наверх | Cообщить модератору

49. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 26-Сен-20, 13:12 
> Про что речь? Вот у меня в разогретом состоянии (давно запущен):

Запустил я его как-то, палочкой потыкать, ничего не шарил пока, оставил запущенным, за ночь выжрал 300МБ, тупо ничего не делая. При этом Transmission с парой сотен торрентов около 15МБ. Да даже Deluge (битторрент клиент на питоне) мало потреблял (50МБ может быть, не помню, давно его не юзал).

Ответить | Правка | Наверх | Cообщить модератору

50. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от anonymous (??), 26-Сен-20, 13:23 
Мне кажется, что у вас что-то пошло не так. Конкретно этот ноут я приобрёл несколько месяцев назад, и с первого дня там стоит IPFS, и жрёт он обычно где-то 50MiB. Бывают пиковые потребления сильно больше, но это очень короткосрочно.

А когда это было?

Ответить | Правка | Наверх | Cообщить модератору

51. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 26-Сен-20, 13:26 
> А когда это было?

Весной 2019.

Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от anonymous (??), 26-Сен-20, 15:26 
Я не спорю, мне искренне любопытно. Поэтому ещё вопрос: а измеряли как? :)
Ответить | Правка | Наверх | Cообщить модератору

59. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 26-Сен-20, 18:03 
> Я не спорю, мне искренне любопытно. Поэтому ещё вопрос: а измеряли как?
> :)

Не помню, но обычно я смотрю htop, top или ps aux. Столбец RES/RSS, естественно.

Ответить | Правка | Наверх | Cообщить модератору

63. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (9), 26-Сен-20, 22:18 
>Столбец RES/RSS, естественно

Санитары, этот меряет память по rss! Срочно, вяжите, пока не убежал!

Ответить | Правка | Наверх | Cообщить модератору

64. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 26-Сен-20, 22:21 
> Санитары, этот меряет память по rss! Срочно, вяжите, пока не убежал!

Я пробовал мерить по virt, как это распространено среди наркоманов, но мне что-то не зашло.

Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  –1 +/
Сообщение от Аноним (9), 26-Сен-20, 22:35 
>> Санитары, этот меряет память по rss! Срочно, вяжите, пока не убежал!
> Я пробовал мерить по virt, как это распространено среди наркоманов, но мне
> что-то не зашло.

Ты что-то перепутал, среди наркоманов распространено мерять по rss. Пользы примерно столько же, сколько и от vsize.

Ответить | Правка | Наверх | Cообщить модератору

68. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  –2 +/
Сообщение от BrainFucker (ok), 26-Сен-20, 22:42 
> Ты что-то перепутал, среди наркоманов распространено мерять по rss. Пользы примерно столько
> же, сколько и от vsize.

О, неужели ты особый вид упоротых, меряющих по shared? )) Ну и с чем там шарит память процесс на Go, если других таких нет?

Ответить | Правка | Наверх | Cообщить модератору

70. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (9), 26-Сен-20, 23:54 
Нет, я особый вид адекватных пользователей, которые знают, что реально потребляемую память так узнать никогда не получится. Если тебе нужны данные, от которых можно отталкиваться, можно взять PSS, но это тоже весьма примерно и не учитывает многие ресурсы, например, вытесненный в своп мусор среди прочего.
Ответить | Правка | Наверх | Cообщить модератору

72. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от BrainFucker (ok), 27-Сен-20, 00:02 
> не учитывает многие ресурсы, например, вытесненный в своп мусор среди прочего.

Facepalm.jpg Зачем мне учитывать мусор в свопе при измерении потребляемой памяти?

Ответить | Правка | К родителю #70 | Наверх | Cообщить модератору

73. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от Аноним (9), 27-Сен-20, 00:27 
Ну, например, затем, что часть данных может оказаться совершенно не нужна в процессе работы (даже если это не утечка) и будет вытеснена под потенциально более полезные данные вроде кэшей ос. Если смотреть на rss, то достаточно часто будет встречаться ситуация, когда занято под 20 gb rss, когда памяти всего 12 (включая своп). При этом, по факту половина из 8 ещё и свободна, а в свопе какие-то 200 mb. Как считать своп я не представляю, ядро вроде нормальной статистики по нему не даёт, а ведь он ещё и пожат может быть
Ответить | Правка | К родителю #72 | Наверх | Cообщить модератору

74. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 27-Сен-20, 00:52 
RSS не учитывает своп, замечено на практике. А вот включено ли shared в RSS, зависит от измерялки. Например у htop и top включено, а в ksysguard нет (в смысле, ksysguard вычитает shared из rss).
Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

77. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от anonymous (??), 27-Сен-20, 14:01 
А если swap выключен? :)
Ответить | Правка | К родителю #74 | Наверх | Cообщить модератору

80. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от anonymous (??), 27-Сен-20, 14:12 
Вы знаете способ адекватнее? Во-первых лично у меня swap выключен (и работает oomd, да), вступать в этот холивар не хочу, но мне проще просто купить ОЗУ на свой ноут, чем заморачиваться с проблемами swap.

RSS как раз даёт более ли менее именно реальное потребление, а не какие-то левые map-ы и вообще всякую неиспольземую память (на системе с overcommit). У нас, например, asterisk любит потреблят >100GiB виртуальной памяти на системе с 4GiB ОЗУ -- ничего, нормально работало и не swap-илось :)

Ответить | Правка | К родителю #63 | Наверх | Cообщить модератору

82. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (9), 27-Сен-20, 17:07 
Если своп у тебя отключён и приложения регулярно умирают, ты тем более должен уже знать о бесполезности rss -- это информация не поможет тебе предсказать, когда память кончится, и что-нибудь опять умрёт, если только oomd не оперирует rss в своих решениях, тогда возможно. А виртуальная память вообще ни о чём не говорит, прямо сейчас я пишу это в браузере в котором 1 процесс 100 гигов и таких процессов десятки. У хромиума процессы по скромнее, по 4 гига виртуальной памяти.
Ответить | Правка | Наверх | Cообщить модератору

90. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от anonymous (??), 02-Окт-20, 10:06 
Честно говоря, я увидел в вашем комментарии много воды и ни одного аргумента. Вы можете всё же как-то предложить более эффективный способ быстро проверить потребление памяти приложением и обосновать его? Иначе ни о чём :)
Ответить | Правка | Наверх | Cообщить модератору

78. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от anonymous (??), 27-Сен-20, 14:01 
ОК, спасибо :)
Ответить | Правка | К родителю #59 | Наверх | Cообщить модератору

62. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (9), 26-Сен-20, 22:16 
У трансмиссии (демон) на паре тысяч файлов уже сотнями исчисляется. У остальных, правда, ещё хуже. Питон памяти никогда не будет потреблять столько же сколько си (и любой другой компилируемый язык), если будет делать ровно то же самое, я гарантирую тебе это. Банально оверхэд очень большой, поэтому данных в памяти обычно меньше держат, из-за чего ружно дополнительное время, когда они понадобятся. Не знаю, что ты сравниваешь, программы разные, и делают совершенно разные вещи абсолютно по-разному.
Ответить | Правка | К родителю #49 | Наверх | Cообщить модератору

65. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от BrainFucker (ok), 26-Сен-20, 22:27 
> Не знаю, что ты сравниваешь, программы разные, и делают совершенно разные вещи абсолютно по-разному.

Это такая субъективная оценка польза/ресурсы. А какие там технические оправдания, не интересно. Не удивлюсь если это особенность работы Go.

Ответить | Правка | Наверх | Cообщить модератору

79. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +1 +/
Сообщение от anonymous (??), 27-Сен-20, 14:07 
> Не удивлюсь если это особенность работы Go.

Я вижу много предвзятого отношения к Go. Количество лишней потребляемой памяти там можно регулировать через `GOGC`, по умолчанию там стоит 100%, что говорит о том, что в целом target-потребление -- вдвое больше, чем необходимый bare minimum. Вы вполне можете сделать GOGC=10, что за-enforce-ит количество мусора не более 10%. Хотя, конечно, возможны временные отклонения.

Есть ещё некоторые детали, вроде `pclntab`, но это обычно просто несущественно в сравнении в потреблением самого application-а. Если бы у меня был доступ к вашему instance, я бы объяснил на что память была расходована. Но если не говорить про мусорную память (см. GOGC выше), то всё же 99%, что это особенность именно реализации IPFS.

Ответить | Правка | Наверх | Cообщить модератору

83. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (26), 27-Сен-20, 18:48 
Выходит память изрядно и непрогназируемо мусорится и программист не поймёт почему. Нормальное такое, инженерное отношение. Я не программист, но со стороны это выглядит как трэш какой то под рюмку водки.
Ответить | Правка | Наверх | Cообщить модератору

91. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от anonymous (??), 02-Окт-20, 10:09 
Она мусорится настолько, насколько разрешили, и вполне предсказуемо обычно, и легко узнать почему она мусорится (в go есть развитый tooling для этого). И Go -- это не единственный язык с GC ;)
Ответить | Правка | Наверх | Cообщить модератору

75. "Выпуск глобальной децентрализованной файловой системы IPFS 0..."  +/
Сообщение от Аноним (-), 27-Сен-20, 07:35 
В RetroShare тоже сотнями исчисляется. Только расшаренных файлов - миллион.
Ответить | Правка | К родителю #62 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру