The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"RapidDisk 1.0 - новая реализация RAM-диска для Linux"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от opennews on 08-Авг-11, 16:14 
В рамках проекта RapidDisk (http://wiki.petroskoutoupis.com/index.php5?title=RapidDisk) (rxdsk) подготовлен (http://blog.petroskoutoupis.com/?p=425) модуль ядра Linux с реализацией нового виртуального диска, хранящего данные в ОЗУ. Ключевыми особенностями RapidDisk является возможность лёгкого создания и удаления виртуальных дисков, быстрое изменение размера RAM-диска на лету в любой момент без потери данных, поддержка прозрачного сжатия данных (используется метод LZO) и обеспечение коррекции ошибок (для контроля целостности используется SHA-256). После создания RAM-диска независимо от заданного размера используется минимальное количество физической памяти,  память расходуется по мере заполнения RAM-диска.   В будущем планируется обеспечить возможность динамического изменения размера RAM-диска.


Проект изначально был разработан для использования в высоконагруженных системах, например, для таких применений как хранение кэша. Созданный при помощи RapidDisk виртуальный диск работает о...

URL: http://blog.petroskoutoupis.com/?p=425
Новость: http://www.opennet.me/opennews/art.shtml?num=31428

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +1 +/–
Сообщение от white_raven email on 08-Авг-11, 16:14 
"для контроля целостности используется SHA-256" накуя спрашивается? память с ECC глючит? ну тогда никакая сха не поможет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +2 +/–
Сообщение от Andrey Mitrofanov on 08-Авг-11, 16:29 
>память с ECC глючит?
>сха не поможет.

Не-не-не, всё не так, как на самом деле! У него на вики написано -- "Error-Correction (SHA-256)". А уж как "эррор-корекшин", sha-256 всяко круче какого-то ecc! Даже если мы и не узнаем никогда, как это -- sha и, вдруг, корекшин...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

6. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  –1 +/–
Сообщение от Stax (ok) on 08-Авг-11, 17:19 
А может это защита от эксплоитов? Ну, чтобы через /dev/mem битики не подправили..
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

9. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от anonymous from da LOR on 08-Авг-11, 17:49 
Ну, чтобы хотя бы знать, что всё плохо.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

25. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +1 +/–
Сообщение от Аноним (??) on 09-Авг-11, 01:06 
А какие материнки для десктопов поддерживают ECC? Для десктопов это очень редкое явление.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

29. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  –2 +/–
Сообщение от Аноним (??) on 09-Авг-11, 09:58 
300 моделей к вашим услугам:
http://market.yandex.ru/guru.xml?CMD=-RR=0,0,0,0-PF=2142560456~EQ~sel~x1348466349-PF=2142560456~EQ~sel~x1877159666-PF=2142560390~EQ~sel~x1356182800-PF=2142560390~EQ~sel~x8235633-PF=2142560390~EQ~sel~x7043993-PF=2142560390~EQ~sel~x4988414-VIS=160-CAT_ID=754893-EXC=1-PG=10&hid=91020
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

31. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +2 +/–
Сообщение от Аноним (??) on 09-Авг-11, 16:32 
Выбрать народные ASUS, Gigabyte, MSI и получится 12 плат, из которых половины нет в продаже.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

2. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +3 +/–
Сообщение от Аноним (??) on 08-Авг-11, 16:17 
зачем хранить раздел подкачки на виртуальном диске в RAM?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 16:20 
> зачем хранить раздел подкачки на виртуальном диске в RAM?

Чтобы сжатие использовать, swap очень хорошо жмется. Например, есть 4 Гб, выделяем 2 Гб под своп в рамдиске с сжатием и получаем 5 Гб виртуального ОЗУ без особой потери производительности.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

18. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +1 +/–
Сообщение от Аноним (??) on 08-Авг-11, 20:44 
Хм...стоит обсудить =) Как мне помниться своп служит для представления виртуальной памяти. А из ОЗУ при нехватке места, данные сливаются в виртуальную память. Своп как я понимаю хочется замаписть в ОЗУ. Эт Perpetuum Mobile получается какой-то =)
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

21. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 21:34 
> Хм...стоит обсудить =) Как мне помниться своп служит для представления виртуальной памяти.
> А из ОЗУ при нехватке места, данные сливаются в виртуальную память.
> Своп как я понимаю хочется замаписть в ОЗУ. Эт Perpetuum Mobile
> получается какой-то =)

Мне вот тоже кажется, что для приложений, которым это действительно нужно, выгоднее увеличить их собственные кеши в памяти, а остальное отдать ОС на откуп. Конечно если эти самые приложения умеют сжимать кеши.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 21:35 
>> Хм...стоит обсудить =) Как мне помниться своп служит для представления виртуальной памяти.
>> А из ОЗУ при нехватке места, данные сливаются в виртуальную память.
>> Своп как я понимаю хочется замаписть в ОЗУ. Эт Perpetuum Mobile
>> получается какой-то =)
> Мне вот тоже кажется, что для приложений, которым это действительно нужно, выгоднее
> увеличить их собственные кеши в памяти, а остальное отдать ОС на
> откуп. Конечно если эти самые приложения умеют сжимать кеши.

Или например увеличить размеры кеша ФС.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

27. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от rshadow (ok) on 09-Авг-11, 01:49 
Чет вас понесло куда-то. Использую аналогичный zram несколько месяцев на десктопе с 2Гб оперативы. Полет нормальный.

P.S. Свап обычно сжимается раз в 5 =) Так что считайте прибыль ...

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

4. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от VoDA (ok) on 08-Авг-11, 16:23 
чтобы можно было его сжать. в итоге больше приложений влезает в тот же объем ОЗУ и работает быстрее, чем с реальным swap on HDD.

PS написано на одном из сайтов в новости ;)

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

10. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от pavlinux (ok) on 08-Авг-11, 17:50 
Э,... типа CONFIG_ZRAM  

tristate "Compressed RAM block device support"
        depends on BLOCK && SYSFS
        select XVMALLOC
        select LZO_COMPRESS
        select LZO_DECOMPRESS
        default n
        help
          Creates virtual block devices called /dev/zramX (X = 0, 1, ...).
          Pages written to these disks are compressed and stored in memory
          itself. These disks allow very fast I/O and compression provides
          good amounts of memory savings.
          It has several use cases, for example: /tmp storage, use as swap
          disks and maybe many more.
          See zram.txt for more information.
          Project home: http://compcache.googlecode.com/

Только SHA256 нету, но от битой памяти спасёт только замена.
Да и битые ячейки уже сам контроллер помечает и туда не пишет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

16. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Wormik (ok) on 08-Авг-11, 19:06 
Pavlinux, если будешь сравнивать этот виртуальный диск с обычным, напиши результаты!
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

26. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +1 +/–
Сообщение от pavlinux (ok) on 09-Авг-11, 01:18 
> Pavlinux, если будешь сравнивать этот виртуальный диск с обычным, напиши результаты!

См. внизу. Фуфло это, в прямом смысле, там в коде только скелет блочного устройства,
который понимает только read() и write()

  

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

11. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +3 +/–
Сообщение от Аноним (??) on 08-Авг-11, 18:07 
Олол.
>Ключевыми особенностями RapidDisk является <…> быстрое изменение размера RAM-диска на лету в любой момент без потери данных, <…> В будущем планируется обеспечить возможность динамического изменения размера RAM-диска.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Dmitry email(??) on 08-Авг-11, 18:20 
быстрое не динамическое
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

17. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 20:00 
Разве "на лету" не означает "динамическое"?
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

19. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 20:47 
> Разве "на лету" не означает "динамическое"?

Нет, "на лету" - это изменение по запросу, но без остановки работы, а динамическое - это автоматическое расширение по мере надобности.

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

14. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 08-Авг-11, 18:30 
Интересно - а есть ли в линухе RAM диски с синком на HDD и планируют ли ето здесь?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

15. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Ананимуз on 08-Авг-11, 18:45 
Ссылки к новости, п.4.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

20. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от all_glory_to_the_hypnotoad (ok) on 08-Авг-11, 20:59 
[петросян]и есть ли в линуксе фс на диске с возможностью кеширования часто используемых блоков в памяти[/петросян]
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

23. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от pavlinux (ok) on 08-Авг-11, 23:41 
> [петросян]и есть ли в линуксе фс на диске с возможностью кеширования часто
> используемых блоков в памяти[/петросян]

лучше кэшировать пиксели монитора, их там много, а цвета всего три - RGB :)
  

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

28. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Аноним (??) on 09-Авг-11, 09:08 
Это элементарно пишется rc-шным скриптом, если есть ramdiskadm, к примеру.
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

24. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +3 +/–
Сообщение от pavlinux (ok) on 09-Авг-11, 00:12 
>[оверквотинг удален]
> сжатия данных (используется метод LZO) и обеспечение коррекции ошибок (для контроля
> целостности используется SHA-256). После создания RAM-диска независимо от заданного размера
> используется минимальное количество физической памяти,  память расходуется по мере заполнения
> RAM-диска.   В будущем планируется обеспечить возможность динамического изменения размера
> RAM-диска.

Это какая-то децкая поделка, в коде ВООБЩЕ НЕТ НИ слова про SHA и LZO
Работают только два сикала - read() и write(), остальные оно тупа не умеет.
mkswap отрабатывает, swapon отваливается "unsupported command"
mkfs.xxx - работают, mount -t xxx ... - КУЙ!

Кто новость писал, отрывайте себе яйцы - это галимый Пиар!

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

33. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от pavlinux (ok) on 09-Авг-11, 16:41 
>>[оверквотинг удален]
> Это какая-то децкая поделка,

Кстати, лучше не ставьте, даже если скомпилите и запустите,
минут через 20  оно фризит всю систему. :)

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

34. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от Анонимко on 09-Авг-11, 17:42 
Павел, респект и уважуха вам за ваши исследования. :)
Кстати, как пользоваться ZRAM в штатном ядре той же ubuntu 10.04?
Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

35. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от log (ok) on 09-Авг-11, 18:12 
Попробуйте compcache + m-a
Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

36. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от pavlinux (ok) on 10-Авг-11, 07:12 
> Павел, респект и уважуха вам за ваши исследования. :)
> Кстати, как пользоваться ZRAM в штатном ядре той же ubuntu 10.04?

У меня такой скриптик, где-то в /etc/init.d/boot.local (SuSE 11.4)


 /sbin/modprobe -q zram > /dev/null 2>&1;
 if [ -e /dev/zram0 ]
    then
        /sbin/swapoff /dev/sdb3 > /dev/null 2>&1
        echo 1 > /sys/block/zram0/reset
        echo $((128*1024*1024)) > /sys/block/zram0/disksize;
        echo 1 > /sys/block/zram0/initstate
        /sbin/mkswap /dev/zram0
        /sbin/swapon /dev/zram0 >/dev/null 2>&1; 
        /sbin/sysctl -w vm.swappiness=32
 fi

Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

30. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от dsaas on 09-Авг-11, 14:27 
а зачем SHA это же криптографический хеш ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

32. "RapidDisk 1.0 - новая реализация RAM-диска для Linux"  +/–
Сообщение от pavlinux (ok) on 09-Авг-11, 16:39 
Обычная контрольная сумма, только замороченная, необратимая, и почти без коллизий.

  

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей 		Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру