The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей"  +/
Сообщение от opennews (??), 21-Ноя-22, 22:52 
Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0...

Подробнее: https://www.opennet.me/opennews/art.shtml?num=58165

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения [Сортировка по времени | RSS]


1. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +23 +/
Сообщение от Аноним (1), 21-Ноя-22, 22:52 
"наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"

идея поражает своей новизной

Ответить | Правка | Наверх | Cообщить модератору

2. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  –4 +/
Сообщение от анонимус (??), 21-Ноя-22, 22:56 
и че дальше?
Ответить | Правка | Наверх | Cообщить модератору

4. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +19 +/
Сообщение от Аноним (4), 21-Ноя-22, 23:23 
Очевидно, что всё будет храниться в памяти, ssd станет вечным, а скорость неописуемой. Всё как ты хотел. Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей скоростью и надёжностью.
Ответить | Правка | Наверх | Cообщить модератору

7. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от анонна (?), 21-Ноя-22, 23:54 
верно и при этом производители памяти смогут хорошо навариться на увеличенном её расходе = требования к железу станут опять выше. как видим и производителям и этим махинаторам все на руку)) ура прогресс.. или регресс? в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" системы придумали? ждем ноухау - разделяемые куски операционной системы)) ну там системд-ядро или системд выполняющая его функции? короче все счастливы и у всех есть повод поживиться еще раз))
Ответить | Правка | Наверх | Cообщить модератору

51. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от n00by (ok), 22-Ноя-22, 09:36 
> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
> системы придумали?

Для борьбы с «ожирением» производителей проприетарного ПО.

Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.

Ответить | Правка | Наверх | Cообщить модератору

63. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от анонна (?), 22-Ноя-22, 11:54 
>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>> системы придумали?
> Для борьбы с «ожирением» производителей проприетарного ПО.
> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.

тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и прочие удовольствия. при этом шла статическая линковка либ и как результат одна и таже либа грузилась по несколько раз (в разные ячейки памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве флатпак и прочие не идут сейчас по той же старой стезе? как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают? эта затея явно важна и принята производителями и не важно , что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она именно что зашла.

Ответить | Правка | Наверх | Cообщить модератору

87. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от n00by (ok), 24-Ноя-22, 11:18 
>>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>>> системы придумали?
>> Для борьбы с «ожирением» производителей проприетарного ПО.
>> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
>> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
>> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
>> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.
> тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может
> это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и
> прочие удовольствия.

Это было "лишь бы не как в Венде", где исполняемые образы не читались целиком в память, а отображались, и неизменяемые страницы просто отбрасывались. Либо смотрели в будущее, понятно же было, что объёмы ОЗУ растут и подход Linux в итоге окажется чуть быстрее в работе.

> при этом шла статическая линковка либ и как результат
> одна и таже либа грузилась по несколько раз (в разные ячейки
> памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве
> флатпак и прочие не идут сейчас по той же старой стезе?
> как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают?
> эта затея явно важна и принята производителями и не важно ,
> что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она
> именно что зашла.

Да просто сравните размер исполняемого файла chromium или firefox с объёмом памяти, что они потребляют при запуске. Мегабайт и гигабайт. Не играет роли, считать .so или нет. А вот если 64-х разрядные указатели в графах сократить до 32-х - может сэкономиться процентов эдак 20.

Ответить | Правка | Наверх | Cообщить модератору

27. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (-), 22-Ноя-22, 02:04 
> Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей
> скоростью и надёжностью.

Вот только после ребута или слета питания будет какая-то подстава, которой SSD не подвержен.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

44. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от пох. (?), 22-Ноя-22, 09:10 
Он еще худшей подвержен - вообще может в тыкву превратиться если в этот момент обновлялись страничные таблички.

Так что все норм. Да и судя по спецификации и примеру применения - там никто и не заметит.

Системы мониторинга, ага. Которым нужно ssd а лучше nvdimm. Ну мы поняли, поняли, у кого такие системы и что они "мониторят".

Ответить | Правка | Наверх | Cообщить модератору

64. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (64), 22-Ноя-22, 12:30 
Не разрешайте уборщице грызть силовой кабель.
Ответить | Правка | К родителю #27 | Наверх | Cообщить модератору

40. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (40), 22-Ноя-22, 08:02 
Очевидно что ты вообще не знаешь как работает вытеснение памяти, элементарный своп, как кэшируют данные с диска все современные ОС, СУБД, ну и вообще непонятно, что ты знаешь кроме как начёсывать своё ЧСВ этими высерами
Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

59. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (59), 22-Ноя-22, 11:17 
ramdisk? не, не слышал
Ответить | Правка | Наверх | Cообщить модератору

43. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от Аноним (43), 22-Ноя-22, 09:06 
Кэш в Linux давно уже отправил в ОЗУ и ssd-шка стала спать больше кота.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

49. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от лютый ж.... (?), 22-Ноя-22, 09:30 
>В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.

и оно положит случайные куски базы, индексов или journal в ОЗУ. что же может пойти не так? )

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

62. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от пох. (?), 22-Ноя-22, 11:24 
Вроде все ж норм - как раз неслучайные, а только нужные. Ну, нужные по мнению разработчиков неведомой хрени, так что неизвестно что хуже.

Ответить | Правка | Наверх | Cообщить модератору

58. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от An onymous (?), 22-Ноя-22, 10:58 
> "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"
> идея поражает своей новизной

Острословы не прочитали про NVDIMM?

Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

68. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (68), 22-Ноя-22, 14:09 
Что еще ждать от современных разработчиков, не способных придумать ничего новее чем кэшировать данные в озу.
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

76. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от вася (??), 23-Ноя-22, 21:47 
они кешируются в чужой ОЗУ
Ответить | Правка | К родителю #1 | Наверх | Cообщить модератору

3. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +2 +/
Сообщение от pashev.ru (?), 21-Ноя-22, 23:21 
В чём суть «оптимизаций»? Есть сравнения с другими? Насколько дольше проживёт флэшка с этой библиотекой, чем с другой?
Ответить | Правка | Наверх | Cообщить модератору

14. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +2 +/
Сообщение от AleksK (ok), 22-Ноя-22, 00:28 
> Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУ

Почти все актуальные операционные системы так делают. Более у того у всех жестких дисков хоть HDD хоть SSD есть кэш под эти цели.

Ответить | Правка | Наверх | Cообщить модератору

45. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +3 +/
Сообщение от пох. (?), 22-Ноя-22, 09:13 
> Почти все актуальные операционные системы так делают.

они в отличие от этой хрени немного не в курсе формата данных, поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя ключи которые понадобятся вотпрямщас а до значений может и не дойдет даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и она вообще не нужна.

Но учитывая описываему сферу применения - конечно, вряд ли это хоть что-то разумное.

Ответить | Правка | Наверх | Cообщить модератору

55. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от AleksK (ok), 22-Ноя-22, 10:28 
> они в отличие от этой хрени немного не в курсе формата данных,
> поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя
> ключи которые понадобятся вотпрямщас а до значений может и не дойдет
> даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и
> она вообще не нужна.

Это понятно, но те же SQL серверы без проблем могут засунуть в память чуть ли ни всю базу если объем памяти позволяет.

Ответить | Правка | Наверх | Cообщить модератору

61. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от пох. (?), 22-Ноя-22, 11:23 
ага, причем у них в памяти будет не дурацкий key-value, а результат обработки сложных запросов. Но для того что эти тут планируют собирать - им не надо sql.

Ответить | Правка | Наверх | Cообщить модератору

78. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (78), 24-Ноя-22, 00:54 
Отстал ты от прогреcса, тенденция сейчас, а уже как 5 лет назад появилась SSD без своей памяти бараньей (RAM) выпускать. Емею такой SSD, купил из-за цены, нет это не производитель такой мало известный это тенденция такая как я понял выпускать SSD только c flash памятью. Ноль у SSD RAM памяти ноль. Для точности нодо смотреть какой сейчас процент в продаже таких SSD без RAM пямяти.
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

79. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (78), 24-Ноя-22, 00:58 
Я уже и забыл знал я, что SSD покупаю без своей у этого SSD RAM памяти или нет. Может и не знал.
Ответить | Правка | Наверх | Cообщить модератору

80. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (78), 24-Ноя-22, 01:00 
Вроде знал так как изучал, что покупаю. Забыл как было.
Ответить | Правка | Наверх | Cообщить модератору

82. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (-), 24-Ноя-22, 01:34 
Возможное я не правильно называю наличие в дисках DRAM памяти кешем. Есть такая информация. "Контроллер SSD-накопителя. Чем производительнее контроллер, тем выше будет скорость как до заполнения SLC-кэша, так и после.
Наличие DRAM-буфера на накопителе. В этом буфере находится таблица с адресами данных в ячейках NAND памяти SSD. А это позволяет не считывать данные лишний раз для проверки. Поэтому при наличии DRAM-буфера скорости накопителя выше как до заполнения SLC-кэша, так и после"
Ответить | Правка | К родителю #78 | Наверх | Cообщить модератору

84. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аоним (?), 24-Ноя-22, 02:09 
Все мои слова не совсем к месту. Кеш это кеш, а буфер это буфер.
Ответить | Правка | К родителю #78 | Наверх | Cообщить модератору

88. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (88), 25-Ноя-22, 21:55 
Кэш.
Ответить | Правка | Наверх | Cообщить модератору

81. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (-), 24-Ноя-22, 01:11 
Или может имелось ввиду SLC-кэш? Или обстрактно любой кеш в дисках?
Ответить | Правка | К родителю #14 | Наверх | Cообщить модератору

19. Скрыто модератором  +4 +/
Сообщение от Аноним (19), 22-Ноя-22, 00:48 
Ответить | Правка | Наверх | Cообщить модератору

24. Скрыто модератором  +3 +/
Сообщение от Аноним (-), 22-Ноя-22, 01:19 
Ответить | Правка | Наверх | Cообщить модератору

29. Скрыто модератором  +1 +/
Сообщение от Аноним (-), 22-Ноя-22, 02:06 
Ответить | Правка | Наверх | Cообщить модератору

30. Скрыто модератором  +1 +/
Сообщение от Аноним (30), 22-Ноя-22, 02:11 
Ответить | Правка | Наверх | Cообщить модератору

35. Скрыто модератором  +4 +/
Сообщение от Аноним (35), 22-Ноя-22, 03:22 
Ответить | Правка | Наверх | Cообщить модератору

31. Скрыто модератором  –1 +/
Сообщение от Аноним (31), 22-Ноя-22, 02:37 
Ответить | Правка | К родителю #24 | Наверх | Cообщить модератору

38. Скрыто модератором  +/
Сообщение от Аноним (-), 22-Ноя-22, 06:32 
Ответить | Правка | Наверх | Cообщить модератору

39. Скрыто модератором  +/
Сообщение от Аноним (39), 22-Ноя-22, 07:34 
Ответить | Правка | К родителю #31 | Наверх | Cообщить модератору

48. Скрыто модератором  +/
Сообщение от пох. (?), 22-Ноя-22, 09:29 
Ответить | Правка | Наверх | Cообщить модератору

47. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (43), 22-Ноя-22, 09:27 
Сейчас объём оперативной памяти так и говорит "кинь в меня кэш"
и ZRAM очень довольно рациональная технология: зачем свапится на диск, когда много ОЗУ.. можно ещё и пожать там.
Можно ещё совсем поехать: собрать свой Live дистрибутив Linux со всеми необходимыми прогами, закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.
Ответить | Правка | Наверх | Cообщить модератору

50. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +2 +/
Сообщение от лютый ж.... (?), 22-Ноя-22, 09:33 
>закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.

SSD и так проживёт намного дольше обычного НЖМД ) особенно если купить нормальный типа samsung evo. не понимаю эти все приседания насчёт ресурса ССД в бытовом применении.... я даже не уверен, что ты сможешь специально ресурс такого ССД выжрать, если задашься целью

Ответить | Правка | Наверх | Cообщить модератору

52. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (43), 22-Ноя-22, 09:53 
да тут не приседание с ресурсом, а скорее с мусором. тебе так хочется чтобы ссдшка пережевывала мусор?
Ответить | Правка | Наверх | Cообщить модератору

54. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (54), 22-Ноя-22, 10:21 
Так массово дохнут же. SSD живёт дольше только в ноутах ламерья, которые ноут с жёстким диском таскают (да ещё неаккуратно, размахивая ими и резко опуская на поверхности) во включённом состоянии, забывая о гироскопическом эффекте и о том, что головки на нанометры подходят к блинам (при этом бытовые вибрации дадут тряску на несколько нанометров (σ≈0.5 nm, но это СКО, а в распределении встречаются и 3σ, и даже 5σ), а небольшие удары столу - на десятки, даже на виброизолированном с помощью резины и пенопласта основании).
Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

69. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от анонимоузе (?), 22-Ноя-22, 14:31 
Нанометры там не просто воздуха, а воздушной подушки, то есть высокого давления. Потому система достаточно стабильно работает, и в спецификации на хдд указаны допустимые при работе ускорения. Что не говорит, конечно, что надо трясти, колотить или ронять хдд во время работы.
Ответить | Правка | Наверх | Cообщить модератору

71. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (71), 22-Ноя-22, 23:27 
Длина свободного пробега при атмосферном давлении ~100 nm, если между головкой и блином ~1 nm, то число Кнудсена ~100, то есть высокий вакуум.
Ответить | Правка | Наверх | Cообщить модератору

75. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от лютый ж.... (?), 23-Ноя-22, 18:12 
>Так массово дохнут же

ссылку покажешь на массовую гибель брендовых SSD? (желательно указанное выше samsung evo)

Ответить | Правка | К родителю #54 | Наверх | Cообщить модератору

56. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от pin (??), 22-Ноя-22, 10:37 
> зачем свапится на диск, когда много ОЗУ, ZRAM

swapoff, не?

Ответить | Правка | К родителю #47 | Наверх | Cообщить модератору

53. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от Аноним (54), 22-Ноя-22, 10:10 
>HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей.
>Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти

Пчёлы против мёда?

Ответить | Правка | Наверх | Cообщить модератору

57. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +1 +/
Сообщение от anonymous (??), 22-Ноя-22, 10:41 
для бигдаты же, её не становится меньше, надо всё покупать и покупать
Ответить | Правка | Наверх | Cообщить модератору

60. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от пох. (?), 22-Ноя-22, 11:21 
но она же не влезет на vmdimm?
Ответить | Правка | Наверх | Cообщить модератору

70. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Попандопала (?), 22-Ноя-22, 15:31 
Программисты наконец оптимизировали что-то там. Прогресс и киллерфича.  Пол чемодана ссд на всякий случай... теперь не нужно.
Ответить | Правка | Наверх | Cообщить модератору

73. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (-), 23-Ноя-22, 00:11 
Надо полчемодана оперативы.
Ответить | Правка | Наверх | Cообщить модератору

74. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Пастуховemail (?), 23-Ноя-22, 00:20 
Давайте в etcd затащим
Ответить | Правка | Наверх | Cообщить модератору

77. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от fuggy (ok), 23-Ноя-22, 22:45 
Это СУБД для ФС или ФС для СУБД. То ли это key-value db с REST интерфейсом, то ли это низкоуровневая библиотека для других СУБД.
Ответить | Правка | Наверх | Cообщить модератору

89. "Micron опубликовал движок хранения HSE 3.0, оптимизированный..."  +/
Сообщение от Аноним (89), 27-Ноя-22, 21:22 
Раньше были фс для флюш накопителей (f2fs или как оно?), теперь библиотека:)

Раньше говорили, что в ssd встраивают умные контроллеры и кэши большие можно и без спец фс.. теперь это.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру