The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск cache-bench 0.1.0 для исследования эффективности кэширования файлов при нехватке памяти"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск cache-bench 0.1.0 для исследования эффективности кэширования файлов при нехватке памяти"  +/
Сообщение от opennews (?), 04-Июн-21, 16:24 
cache-bench - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций чтения в условиях нехватки памяти. Код открыт под лицензией CC0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=55273

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –6 +/
Сообщение от Рева RarogCmex Денисemail (?), 04-Июн-21, 16:24 
Интересно, сколько он будет мои 48Гб на сервере тестировать.
Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +11 +/
Сообщение от commiethebeastie (ok), 04-Июн-21, 16:31 
Понты уровня сiло.
Ответить | Правка | Наверх | Cообщить модератору

3. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +8 +/
Сообщение от Ананомизец (?), 04-Июн-21, 16:35 
фсяко быстрие чем маи 512Г
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

4. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от быдлоюзер (?), 04-Июн-21, 16:38 
У меня 26гб озу. За две недели работы платформы отображающей много графиков цен криптовалют, своп распух до 78гб.
Вроде всё устраивает, но иногда при начале "тяжелого свопинга" платформа не отвечает несколько минут, рвётся связь с серверами и у меня получаются пропуски на граффиках цен. Установив zram "дело улучшилось раза скажем в два с половиной".
Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих? Чтобы устранить "эффект недоступности" платформы во время "тяжёлого свопинга"
Ответить | Правка | Наверх | Cообщить модератору

6. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от Аноним (6), 04-Июн-21, 16:47 
Если это жава, возможно, поможет uksm и openj9 -- в теории, потребление памяти упадёт очень значительно, и своп будет использоваться более эффективно.
Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от быдлоюзер (?), 04-Июн-21, 16:49 
Платформа sierrachart сделана на чистом c++ для винды, работает через wine
Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от НяшМяш (ok), 04-Июн-21, 18:45 
Может быть утекает сам wine. Один раз столкнулся с утечкой GDI объектов - программа просто переставала перерисовываться и замечали это не сразу, а в логах сыпались ошибки. Пофиксили с помощью winetricks gdiplus. Может и с этим софтом тоже похожая история приключилась.
Ответить | Правка | Наверх | Cообщить модератору

10. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:26 
>Поможет ли мне этот скрипт подобрать правильные значения vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих?

Да, поможет. Впрочем, скажу тебе и так:

- ставь swappiness не ниже 100 при использовании zram

- если система на HDD, то можно swappiness и в 150-190 выкрутить (начиная с ядер 5.8)

см актуальную док https://github.com/torvalds/linux/blob/master/Documentation/...

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

11. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –2 +/
Сообщение от Амоним (?), 04-Июн-21, 17:30 
Копать в сторону drop cache    и  memory compaction / fragmentation.  Дело вовсе не в нехватке памяти, а в её фрагментации. Теоретически ядро с этим  само справляется, фактически приходится ему помогать - принудительно сбрасывать (файловый) кэш и утрабмовывать (дефрагментировать) свободную память.  Смотреть в /proc/buddyinfo
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

13. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от Амоним (?), 04-Июн-21, 17:36 
Правильнее будет сказать - дело не только в нехватке памяти, но и в её фрагментации.
Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:38 
При наличии zram основной причиной тормозов при своппинге как раз является истощение чистых файловых кэшей - приходится часто дёргать медленный диск на каждый чих. Тут как раз поможет именно увеличение своппинес, чтоб ценный кэш не выбрасывался из памяти.
Ответить | Правка | К родителю #11 | Наверх | Cообщить модератору

19. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +1 +/
Сообщение от Аноним (19), 04-Июн-21, 18:46 
Попробуй вот этот
https://gist.github.com/iavael/f64f392d61d452f247c87b90f5b4b...

Только учитывай, что запускать его нужно в системе после некоторой работы под штатной нагрузкой, но в которой еще не заканчивалась доступная оперативная память (в которой active память еще не вытеснялась в своп).

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

22. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от Аноним (22), 05-Июн-21, 02:58 
Спасибо. А в каких единицах выводится Swapsize?
Ответить | Правка | Наверх | Cообщить модератору

27. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от быдлоюзер (?), 05-Июн-21, 17:57 
Открытие графиков при запуске программы занимает минут 40, съев всё озу и наполняя своп до 17гб. И начинается штатная работа, в процессе которой за 2 недели своп наполняется до 80гб.
Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

25. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от edo (ok), 05-Июн-21, 13:45 
>  не отвечает несколько минут

Hdd? На ssd такого не встречал

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

26. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от быдлоюзер (?), 05-Июн-21, 14:01 
Hdd
Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +3 +/
Сообщение от Аноним (8), 04-Июн-21, 17:01 
О каждом своём наколеночном скрипте теперь буду новость на опеннете писать.
Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:08 
Если полезный скрипт - почему бы и нет?

Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU.

cache-bench позволяет наглядно демострировать влияние swappiness на скорость некоторых файловых операций при нехватке памяти.

Ответить | Правка | Наверх | Cообщить модератору

12. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +2 +/
Сообщение от Аноним (8), 04-Июн-21, 17:36 
>Например, с помощью cache-bench установлено, например, что Multigenerational LRU Framework, недавно опубликованный гуглом, не вполне корректно работает со swappiness, точнее то, что swappiness (от 1 до 200) очень слабо влияет на результат, в отличие от тестов с применением классического LRU.

С помощью скрипта, которому меньше дня? Может стоило новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить?

Ответить | Правка | Наверх | Cообщить модератору

15. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:41 
Скрипту месяц, просто не был опубликован.
Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:42 
>новость написать про ошибки в Multigenerational LRU Framework лучше, чем одноразовый скрипт пиарить?

Разрепорчу в лкмл, потом и сюда новость кину

Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

17. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 04-Июн-21, 17:51 
уже было на лоре https://www.linux.org.ru/news/opensource/16350636
Ответить | Правка | Наверх | Cообщить модератору

20. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от Annoynymous (ok), 04-Июн-21, 20:42 
На ЛОР-е r-test, здесь cache-bench.

Если это шутка такая, то я её не понимаю.

Ответить | Правка | Наверх | Cообщить модератору

24. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  –1 +/
Сообщение от foo (?), 05-Июн-21, 03:20 
> На ЛОР-е r-test, здесь cache-bench.

cache-bench - это переименованный r-test. См описание и код.

Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск cache-bench 0.1.0 для исследования эффективности кэши..."  +/
Сообщение от adolfus (ok), 07-Июн-21, 00:27 
Что такое директория? Директрисса, что ли?
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру