Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0...Подробнее: https://www.opennet.me/opennews/art.shtml?num=58165
"наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"идея поражает своей новизной
и че дальше?
Очевидно, что всё будет храниться в памяти, ssd станет вечным, а скорость неописуемой. Всё как ты хотел. Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей скоростью и надёжностью.
верно и при этом производители памяти смогут хорошо навариться на увеличенном её расходе = требования к железу станут опять выше. как видим и производителям и этим махинаторам все на руку)) ура прогресс.. или регресс? в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" системы придумали? ждем ноухау - разделяемые куски операционной системы)) ну там системд-ядро или системд выполняющая его функции? короче все счастливы и у всех есть повод поживиться еще раз))
> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
> системы придумали?Для борьбы с «ожирением» производителей проприетарного ПО.
Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.
>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>> системы придумали?
> Для борьбы с «ожирением» производителей проприетарного ПО.
> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и прочие удовольствия. при этом шла статическая линковка либ и как результат одна и таже либа грузилась по несколько раз (в разные ячейки памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве флатпак и прочие не идут сейчас по той же старой стезе? как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают? эта затея явно важна и принята производителями и не важно , что изначально придумана энтузиастами и прочими свободными кодерами. производителям она именно что зашла.
>>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением"
>>> системы придумали?
>> Для борьбы с «ожирением» производителей проприетарного ПО.
>> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за
>> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте
>> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка
>> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.
> тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может
> это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и
> прочие удовольствия.Это было "лишь бы не как в Венде", где исполняемые образы не читались целиком в память, а отображались, и неизменяемые страницы просто отбрасывались. Либо смотрели в будущее, понятно же было, что объёмы ОЗУ растут и подход Linux в итоге окажется чуть быстрее в работе.
> при этом шла статическая линковка либ и как результат
> одна и таже либа грузилась по несколько раз (в разные ячейки
> памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве
> флатпак и прочие не идут сейчас по той же старой стезе?
> как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают?
> эта затея явно важна и принята производителями и не важно ,
> что изначально придумана энтузиастами и прочими свободными кодерами. производителям она
> именно что зашла.Да просто сравните размер исполняемого файла chromium или firefox с объёмом памяти, что они потребляют при запуске. Мегабайт и гигабайт. Не играет роли, считать .so или нет. А вот если 64-х разрядные указатели в графах сократить до 32-х - может сэкономиться процентов эдак 20.
> Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей
> скоростью и надёжностью.Вот только после ребута или слета питания будет какая-то подстава, которой SSD не подвержен.
Он еще худшей подвержен - вообще может в тыкву превратиться если в этот момент обновлялись страничные таблички.Так что все норм. Да и судя по спецификации и примеру применения - там никто и не заметит.
Системы мониторинга, ага. Которым нужно ssd а лучше nvdimm. Ну мы поняли, поняли, у кого такие системы и что они "мониторят".
Не разрешайте уборщице грызть силовой кабель.
Очевидно что ты вообще не знаешь как работает вытеснение памяти, элементарный своп, как кэшируют данные с диска все современные ОС, СУБД, ну и вообще непонятно, что ты знаешь кроме как начёсывать своё ЧСВ этими высерами
ramdisk? не, не слышал
Кэш в Linux давно уже отправил в ОЗУ и ssd-шка стала спать больше кота.
>В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE.и оно положит случайные куски базы, индексов или journal в ОЗУ. что же может пойти не так? )
Вроде все ж норм - как раз неслучайные, а только нужные. Ну, нужные по мнению разработчиков неведомой хрени, так что неизвестно что хуже.
> "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю"
> идея поражает своей новизнойОстрословы не прочитали про NVDIMM?
Что еще ждать от современных разработчиков, не способных придумать ничего новее чем кэшировать данные в озу.
они кешируются в чужой ОЗУ
В чём суть «оптимизаций»? Есть сравнения с другими? Насколько дольше проживёт флэшка с этой библиотекой, чем с другой?
> Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУПочти все актуальные операционные системы так делают. Более у того у всех жестких дисков хоть HDD хоть SSD есть кэш под эти цели.
> Почти все актуальные операционные системы так делают.они в отличие от этой хрени немного не в курсе формата данных, поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя ключи которые понадобятся вотпрямщас а до значений может и не дойдет даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и она вообще не нужна.
Но учитывая описываему сферу применения - конечно, вряд ли это хоть что-то разумное.
> они в отличие от этой хрени немного не в курсе формата данных,
> поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя
> ключи которые понадобятся вотпрямщас а до значений может и не дойдет
> даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и
> она вообще не нужна.Это понятно, но те же SQL серверы без проблем могут засунуть в память чуть ли ни всю базу если объем памяти позволяет.
ага, причем у них в памяти будет не дурацкий key-value, а результат обработки сложных запросов. Но для того что эти тут планируют собирать - им не надо sql.
Отстал ты от прогреcса, тенденция сейчас, а уже как 5 лет назад появилась SSD без своей памяти бараньей (RAM) выпускать. Емею такой SSD, купил из-за цены, нет это не производитель такой мало известный это тенденция такая как я понял выпускать SSD только c flash памятью. Ноль у SSD RAM памяти ноль. Для точности нодо смотреть какой сейчас процент в продаже таких SSD без RAM пямяти.
Я уже и забыл знал я, что SSD покупаю без своей у этого SSD RAM памяти или нет. Может и не знал.
Вроде знал так как изучал, что покупаю. Забыл как было.
Возможное я не правильно называю наличие в дисках DRAM памяти кешем. Есть такая информация. "Контроллер SSD-накопителя. Чем производительнее контроллер, тем выше будет скорость как до заполнения SLC-кэша, так и после.
Наличие DRAM-буфера на накопителе. В этом буфере находится таблица с адресами данных в ячейках NAND памяти SSD. А это позволяет не считывать данные лишний раз для проверки. Поэтому при наличии DRAM-буфера скорости накопителя выше как до заполнения SLC-кэша, так и после"
Все мои слова не совсем к месту. Кеш это кеш, а буфер это буфер.
Кэш.
Или может имелось ввиду SLC-кэш? Или обстрактно любой кеш в дисках?
Абсолютное не нужно. SSD это всё игрушки для тиктокеров, всю жизнь сидел на HDD, не вижу смысла менять.
Абсолютное не нужно. Hdd это всё игрушки для тиктокеров, всю жизнь сидел на перфокартах, не вижу смысла менять.
Вот тиктокеры проклятые, тумблерных регистров и лампочек на шине им мало, перфокарты подавай!
Вот мажоры тиктокеры эти, по абаку счетными палками стучу, а им паскалины подавай!
Вот тиктокеры, думают там, считают что-то! В первичном бульоне плаваю просто, лапками шевелю - я инфузория-туфелька.
Seagate выпустила самый быстрый HDD в мире — 18 Тбайт и 554 Мбайт/с
Можешь посчитать, во сколько раз дороже и громозще получится куча SSD на такой объём.
Это те что на алике 96Тб ssd за 10$ ? Хорошая вещь.
Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью?
Что там с энергопотреблением? Что с доступностью? Что со стоимостью?
И какой такой SSD по скорости сравним с этим HDD? И что там с нелинейными скоростями чтения/записи?
> Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью?мущина, проснитесь, вы обо...а, вы и не спите, смотрю?
> Что там с энергопотреблением? Что с доступностью? Что со стоимостью?
Да ничего особенного. Если тебе не нужны загадочные 500чегототам в секунду (а нужны они крайне редко при таких объемах) - https://www.amazon.com/dp/B09VCXWPQG/ - уже давно самый обычный банальнейший ширпотреб - двадцатки пока некоторый дефицит и из-за этого слегка оверпрайснуты, 18 стоят 300 проклятых баксов, которые как известно вообще бумага и ей только задницу вытирать можно.
Естественно, кому-то тут же пришла в голову идея раскрутить такой диск до 15000 и получить примерно те цифры ценой снижения надежности чтения.> И какой такой SSD по скорости сравним с этим HDD? И что
Никакой, поскольку нет никаких 20T ssd (какие-то полуэкспериментальные модельки не продаваемые в частные руки и ценой дороже самолета не в счет).
> там с нелинейными скоростями чтения/записи?
на фоне 20T тебе будет совершенно все равно.
Они и линейно читаются небыстро.
Сейчас объём оперативной памяти так и говорит "кинь в меня кэш"
и ZRAM очень довольно рациональная технология: зачем свапится на диск, когда много ОЗУ.. можно ещё и пожать там.
Можно ещё совсем поехать: собрать свой Live дистрибутив Linux со всеми необходимыми прогами, закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.
>закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.SSD и так проживёт намного дольше обычного НЖМД ) особенно если купить нормальный типа samsung evo. не понимаю эти все приседания насчёт ресурса ССД в бытовом применении.... я даже не уверен, что ты сможешь специально ресурс такого ССД выжрать, если задашься целью
да тут не приседание с ресурсом, а скорее с мусором. тебе так хочется чтобы ссдшка пережевывала мусор?
Так массово дохнут же. SSD живёт дольше только в ноутах ламерья, которые ноут с жёстким диском таскают (да ещё неаккуратно, размахивая ими и резко опуская на поверхности) во включённом состоянии, забывая о гироскопическом эффекте и о том, что головки на нанометры подходят к блинам (при этом бытовые вибрации дадут тряску на несколько нанометров (σ≈0.5 nm, но это СКО, а в распределении встречаются и 3σ, и даже 5σ), а небольшие удары столу - на десятки, даже на виброизолированном с помощью резины и пенопласта основании).
Нанометры там не просто воздуха, а воздушной подушки, то есть высокого давления. Потому система достаточно стабильно работает, и в спецификации на хдд указаны допустимые при работе ускорения. Что не говорит, конечно, что надо трясти, колотить или ронять хдд во время работы.
Длина свободного пробега при атмосферном давлении ~100 nm, если между головкой и блином ~1 nm, то число Кнудсена ~100, то есть высокий вакуум.
>Так массово дохнут жессылку покажешь на массовую гибель брендовых SSD? (желательно указанное выше samsung evo)
> зачем свапится на диск, когда много ОЗУ, ZRAMswapoff, не?
>HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей.
>Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памятиПчёлы против мёда?
для бигдаты же, её не становится меньше, надо всё покупать и покупать
но она же не влезет на vmdimm?
Программисты наконец оптимизировали что-то там. Прогресс и киллерфича. Пол чемодана ссд на всякий случай... теперь не нужно.
Надо полчемодана оперативы.
Давайте в etcd затащим
Это СУБД для ФС или ФС для СУБД. То ли это key-value db с REST интерфейсом, то ли это низкоуровневая библиотека для других СУБД.
Раньше были фс для флюш накопителей (f2fs или как оно?), теперь библиотека:)Раньше говорили, что в ssd встраивают умные контроллеры и кэши большие можно и без спец фс.. теперь это.