The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Опубликована платформа SEF для программно управляемых Flash-накопителей

12.12.2023 22:53

Организация Linux Foundation представила первый выпуск открытой платформы для программно управляемых Flash-накопителей SEF (Software Enabled Flash), построенной на основе кода, переданного компанией KIOXIA (до переименования Toshiba Memory Corporation), в которой в 1980 году была изобретена Flash-память. Исходные тексты инструментария написаны на языке Си и распространяются под лицензией BSD.

Инструментарий включает в себя набор патчей для ядра Linux, блочный драйвер для устройств SEF (Software Enabled Flash), утилиты для управления из командной строки, паравиртуализированные SEF-драйверы для QEMU, библиотека с API для разработки приложений, патчи для nvme-cli и FIO, добавляющие поддержку SEF. SDK также включает эталонную реализацию программного уровня FTL (Flash Translation Layer), обеспечивающего трансляцию команд блочных устройств в обращения к фактическому чипу Flash-памяти, сборку мусора и распределение данных по ячейкам памяти. FTL реализует поддержку гибкого размещения данных (FDP - Flexible Data Placement), зонирования (ZNS - Zoned Namespace) и спецификации NVMe.

В обычных Flash для внешних систем накопитель представляет собой чёрный ящик, часть памяти в котором резервируется под служебные операции, показатели производительности непостоянны и возникают непредсказуемые задержки из-за внутренней активности контроллера, например, во время сборки мусора. В отличие от традиционных Flash-накопителей, распределением данных, изоляцией сбойных блоков и сборкой мусора в которых занимается прошивка контроллера, накопители с поддержкой SEF позволяют вынести логику низкоуровневой работы с чипом Flash-памяти на сторону программного обеспечения и операционной системы.

SEF даёт возможность напрямую управлять физическим размещением данных, менять алгоритмы распределения нагрузки, управлять приоритетами и QoS, избавиться от дополнительного слоя трансляции блоков, задействовать всю доступную память, добиться предсказуемой работы с накопителем и разделить накопитель на виртуальные устройства, изолированные на уровне ввода/вывода и имеющие разный приоритет в обработке. Предложенный в SEF подход позволяет снизить накладные расходы и повысить эффективность взаимодействия с накопителем за счёт адаптации к текущим потребностям логики сборки мусора, резервирования памяти и распределения блоков для снижения износа.

Например, SEF позволяет нормализовать производительность в условиях использования массива из приобретённых в разное время накопителей с отличающимися характеристиками. Для накопителей, которые преимущественно используются только для чтения, благодаря SEF можно использовать более простые алгоритмы распределения блоков и уменьшить память, резервируемую для служебных целей.

  1. Главная ссылка к новости (https://www.linuxfoundation.or...)
  2. OpenNews: WD разрабатывает NVMe-драйвер на языке Rust. Эксперименты с Rust во FreeBSD
  3. OpenNews: Western Digital опубликовал специализированную ФС Zonefs для зонированных накопителей
  4. OpenNews: Первый выпуск OpenDaylight, открытой платформы для создания SDN-сетей
  5. OpenNews: Уязвимость в NAND Flash может привести к повреждению чужих данных на SSD-накопителях
  6. OpenNews: Доступен набор утилит для управления SSD-накопителями - nvme-cli 2.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/60278-sef
Ключевые слова: sef, sdk, flash, linux
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (119) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:41, 12/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Ничего не понятно, но очень интересно.
     
     
  • 2.3, Аноним (3), 00:15, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +9 +/
    Все прекрасно понятно: накопитель сознательно превращается в максимально тупое устройство, не пытающееся проявлять разум, проявлять который теперь будет хост, которым мы рулим.
     
  • 2.5, Kuromi (ok), 00:18, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Идея в том чтобы вытащить всю ту логику что сейчас делает контроллер, вроде выравнивания износа в драйвер на хосте. С одной стороны это хорошо, например позволит избавиться от слоев трансляции реальных адресов по которым лежать данные на флеше в "виртуальные", что выдает контроллер симулируя что-то HDD-подобное, например, позволит более четко понимать состояние флеш-памяти, степень износа. С другйо стороны потребуются новые файловые системы, и слегка оптимизированными вроде f2fs тут не отделаешься, потребуется что-то вроде JFFS2 чтобы разумно распоряжаться ресурсами NAND.

    Зато (голой) скорости прибавится вполне вероятно и наконец-то SSD перестанут умирать внезапно.

     
     
  • 3.12, Аноним (-), 00:42, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Куча флех и ссдшек помирает из-за скоропостижной кончины контроллера.
    Отсюда вопрос, а где хранить метаданные для такой системы? (аналогичные тем, что были в контроллере)
    На другом хдд наверное будет слишком медленно, на ссдшке... тут мы получаем проблему Quis custodiet ipsos custodes )

    Возможно, для такого можно брать какую-то крутую дорогую памть типа MRAM/ReRAM, но это не моя сфера, так что возможно я пишу чушь.

     
     
  • 4.18, Kuromi (ok), 02:33, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Хороший вопрос. Либо на хосте либо на самом устройстве либо отдельно выделенная зона на том же устройстве, в идеале аппаратно независимая.
    С другой стороны, а о каких метаданных особо будет идти речь? Слоя трансляции не будет, данные о износе?
     
     
  • 5.51, Анонимусс (?), 13:57, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да, под метадатой я имел в виду данные о износе, информацию о разделении на виртуальные накопители, их приоритетность и тд.
    Так же в статье упоминяется, что могут использоваться различные алгоритмы - этот код тоже нужно где-то хранить.
     
  • 4.34, Tron is Whistling (?), 09:49, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Метаданные внезапно хранятся всё в том же флеше.
     
     
  • 5.86, Kuromi (ok), 15:59, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Метаданные внезапно хранятся всё в том же флеше.

    В обычных SSD - да, да и сама прошивка чаще всего - тоже. Поэтому слеты таблицы трансляции и прошивки - самая частая причина смерти.

     
  • 4.56, Аноним (56), 14:44, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >помирает из-за скоропостижной кончины контроллера.

    А тут не будет контроллера, значит помирать контроллер не может

     
     
  • 5.87, Kuromi (ok), 16:03, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >>помирает из-за скоропостижной кончины контроллера.
    > А тут не будет контроллера, значит помирать контроллер не может

    Контроллер какой-то все равно будет, ты же не пишешь в ячейки напрямую, просто он станет проще и глупее. Уже не будут нужны наборная RAM чтобы хранить таблицу (а это, внезапно 1Мб на 1Гб NAND), не будет нужно хранить прошивку в устройстве, хитрые алгоритмы коррекции, правда все равно будет нужно распознавать уровни заряда ячейки, что тоже требует "ума".

     
  • 4.61, Аноним (61), 16:30, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Контроллер там живее всех живых, если умирает контроллер - устройство вообще при... большой текст свёрнут, показать
     
     
  • 5.63, Аноним (-), 16:57, 13/12/2023 Скрыто ботом-модератором     [к модератору]
  • +1 +/
     
     
  • 6.71, Аноним (61), 19:22, 13/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 7.75, Аноним (-), 21:25, 13/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 8.80, Аноним (61), 23:11, 13/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 9.100, Аноним (-), 01:08, 15/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 7.76, Аноним (-), 21:26, 13/12/2023 Скрыто ботом-модератором     [к модератору]
  • +1 +/
     
  • 7.88, Kuromi (ok), 16:20, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Если в SSD встроен кэш статический динамический как в у Самсунг или есть SLC... большой текст свёрнут, показать
     
  • 5.73, Вася (??), 20:04, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >Контроллер там живее всех живых, если умирает контроллер - устройство вообще признаков жизни не подаёт! Такое ну оооочень редко встречается.

    редко встречается??? я ниразу не видел чтобы флеш память накрылась внезапно- только когда выжрала ресурс и заблокировалась запись. Зато у меня есть несколько знакомых (не 1 или 2, а больше) у которых сдох ссд с концами за долго до исчерпания ресурса сдох контроллер. У меня тоже сдох контроллер на нвме ссд у которого здоровья было 80% и данные все накрылись. Теперь я когда знакомым собираю комп обязательно ставлю жесткий диск и говрю хранить все важные данные только нанём и бакапить в облако. ССД оказались не хранилищем информации, а всего лишь временным кэшем для системы вроде оперативки, но дешевле и менее надёжным.

     
     
  • 6.84, Аноним (84), 13:44, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Я именно об этом и написал Ну согласен на SSD стараются не допускать, чтобы ... большой текст свёрнут, показать
     
     
  • 7.96, Аноним (96), 20:09, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Если бы я на него торренты качал

    Это жеж гораздо более лёгкая нагрузка, чем типичная для системного диска.

     
  • 7.110, torvn77 (ok), 22:20, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > У меня вот SSD уже 10 лет стоит, ресурс 98%, записано ~30ТБ.

    Не знаю как современные контроллеры, а раньше контроллер убивался достаточно просто.  
    Несколько раз отлрматировал диск с посекторной записью и всё, контроллер превращается в глючный постоянно повисающий утюг.  
    Если не нравится форматирование то можно взять другой диск и "забекапить все файлы" или несколько раз снять образ.


     
  • 6.109, torvn77 (ok), 22:11, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >Теперь я когда знакомым собираю комп обязательно ставлю жесткий диск и говрю хранить все важные данные только нанём

    Будто и у hdd он сдохнуть не может.  
    Единственный плюс в том что hdd в теории должкн переживать длительное отключение, в то время как современная память теряет заряд за несколько месяцев или даже недель.  

    > и бакапить в облако.

    Надо делать либо raid10, либо raid 5 или 6.  
    (помимо резервирования уменьшается скорость чтения с отдельного диска и как следствие меньше греется контроллер)

     
  • 5.83, Аноним (83), 11:57, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Когда слишком много bad-block'ов появляется - заканчиается место для ремапов и контроллер переводит диск в режим read-only

    Блин хоть бы раз увидеть такое живъем. Обычно либо не определяется вообще, либо читается и пишется но некоторые куски не читаются(либо читаются но со скоростью в несколько килобайт и то при помощи танцев с бубном)

     
     
  • 6.89, Kuromi (ok), 16:23, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Когда слишком много bad-block'ов появляется - заканчиается место для ремапов и контроллер переводит диск в режим read-only
    > Блин хоть бы раз увидеть такое живъем. Обычно либо не определяется вообще,
    > либо читается и пишется но некоторые куски не читаются(либо читаются но
    > со скоростью в несколько килобайт и то при помощи танцев с
    > бубном)

    Было было. У меня так пара карт памяти безмолвно перешли в режим read-only, причем когда ты записываешь файл на такую флешку оно вроде как все пишется, только обнови  каталог и там пусто. Это очень прикольно когда ты ходишь с фотоаппаратом и мертвой картой.

    Самсунговские NVME Evo Plus  из-за бага в прошивке в прошлом году массово уезжали в read-only с ресурсом 0% (причем почти новые).

     
  • 3.43, Аноним (-), 11:57, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Так там же FTL выложен Так можно косплеить хоть блочный девайс, или что там удо... большой текст свёрнут, показать
     
  • 3.49, Бывалый смузихлёб (?), 12:50, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Зато (голой) скорости прибавится вполне вероятно

    Учитывая что для возни с банками твердотельника выделен контроллер( отдельный многоядерный проц со специфическими аппаратными блоками ) и отдельная ОЗУ, то перенос всего этого на сторону компа и ОС относительно "голой" прошивки едва ли повысит скорость работы при прочих равных( включая нагрузку на ЦП )

     
     
  • 4.64, Аноним (-), 17:00, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > и ОС относительно "голой" прошивки едва ли повысит скорость работы при
    > прочих равных( включая нагрузку на ЦП )

    Вот ща бы при многоядерниках даже в телефоне проц только и экономить. Если даже пара ядер целиком уйдет под обслугу этого - кто вообще это заметит? Заодно и алгоритмы могут быть попродвинутее, ядра в мелком чипе в пластиковом корпусе в TDP жестко ограничены, тем более что рядом флеш который нагрев не любит (как следует нагрев флеш его вообще можно стереть).

     
     
  • 5.69, Бывалый смузихлёб (?), 18:27, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Если на обслуживание 1 накопителя уйдёт 2 ядра, то на 2 накопителя уйдёт уже 4 я... большой текст свёрнут, показать
     
     
  • 6.77, Аноним (-), 21:39, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ну так там и проц поди будет минимум ядер на 16 Вон там амд с интелем соревную... большой текст свёрнут, показать
     
     
  • 7.91, Kuromi (ok), 17:00, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Там запретили асинхронный TRIM т е команды на TRIM идут вместе обычными на чте... большой текст свёрнут, показать
     
     
  • 8.119, Аноним (-), 22:45, 17/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 9.122, Kuromi (ok), 23:05, 17/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 10.124, Аноним (-), 00:28, 18/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 11.125, Kuromi (ok), 00:36, 18/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
     
  • 12.126, Аноним (96), 04:12, 18/12/2023 Скрыто ботом-модератором     [к модератору]
  • +/
     
  • 4.90, Kuromi (ok), 16:28, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А вы уверены что они выкинут вообще все, включая процы контроллера Прошлый раз ... большой текст свёрнут, показать
     
  • 3.74, Аноним (74), 21:16, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну хоть одна здравая идея.
    Или вендоры настолько косячат, что силы молчать нет? Просто аналогичная боль могла (и есть) с g-list и p-list у HDD,  однако, тут полная молчанка за редкими исключениями, вроде, тем на форумах https://superuser.com/questions/1612557/how-to-move-g-list-bad-sectors-into-p-
    и низовых технологических утилит, которые из простых смертных мало кто видел.
     

  • 1.2, нокия (?), 23:51, 12/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    всё понятно. где купить?
     
     
  • 2.4, Аноним (3), 00:18, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Обращайтесь в KIOXIA, они выпускают
    https://www.prnewswire.com/news-releases/software-enabled-flash-support-announ
     
  • 2.7, Аноним (-), 00:26, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ты хотел сказать "скачать и собрать"?
    Насколько я понал - то ты подключаешь кучу разномастных накопителей и получаешь виртуальную флешку.
    И там играться с параметрами использования, алгоритмами и всем прочим.
     
     
  • 3.35, Аноним (35), 09:52, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > то ты подключаешь кучу разномастных накопителей и получаешь

    от ворот поворот, т.к. контроллер там старой закалки

     
  • 3.60, Аноним (3), 16:24, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Нет, нужны специальные накопители с поддержкой этой фичи. В существующих накопителях контроллер просто не поймёт, чего от него хотят.
     

  • 1.6, Шарп (ok), 00:24, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –13 +/
    >инструментария написаны на языке Си

    Жаль. А ведь технология подавала надежды. Но с таким инструментарием оно способно только на создание CVE.

     
     
  • 2.9, Аноним (-), 00:29, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Но с таким инструментарием оно способно только на создание CVE.

    Зато каких эпичных!
    Просто представь лицо юзера, когда вся порнуха исчезнет с его home-NAS, заботливо собранного из хддшек и флешек найденных на помойке!

    Есть надежда, что под БСД лицензией код будет более академическим, чем в ядре линукса.
    И что они используют какуюто методологию типа мисры или хотя бы пишут тесты.

     
     
  • 3.25, nox. (?), 07:07, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > более академическим

    Это когда своим трудом не могут заработать, поэтому учат студентов?

     
     
  • 4.40, 1 (??), 11:07, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    учить студентов - тоже работа.

    А так ... это же со времён СССР - "Не можешь работать - учи, не можешь учить - управляй"

     
  • 3.52, Аноним (52), 14:04, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В ядре Линукса код используется практически, а академический так и остаётся в академиях.
     
  • 2.44, Аноним (-), 11:58, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Жаль. А ведь технология подавала надежды. Но с таким инструментарием оно способно
    > только на создание CVE.

    Ну ты можешь на шарпе написать фирмварь накопителя и системный софт. Посмотрим что получится как раз.

     

  • 1.8, Аноним (8), 00:27, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    > первый выпуск открытой платформы для программно управляемых Flash-накопителей SEF (Software Enabled Flash)

    который отправляет zfs и прочие ненужные усложнённые фс на свалку истории

     
     
  • 2.45, Аноним (-), 12:01, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > который отправляет zfs и прочие ненужные усложнённые фс на свалку истории

    Глядя на то как btrfs запилил поддержку Zoned - на минуточку, это почти ответка к тому интерфейсу уже и есть :))

    Если что - Zoned применяется в том числе и флешовыми девайсами как более тонкий уровень в контроллере, где ФС/ОС явно в курсе что у накопителя есть регионы, в которые можно только последовательную запись, а чтобы перезаписать - надо очистить зону. Это так то представление семантики операций Erase/Program флеша через довольно тонкий уровень ремапа, хотя черепице тоже подошло.

     
     
  • 3.54, Аноним (8), 14:14, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Это так то представление семантики операций Erase/Program флеша через довольно тонкий уровень ремапа

    в btrfs cow само по себе прекрасно ложится на флеши - запись всегда в новую область последовательно а вот всякие виртуальные устройства с разным приоритетом и контрольные суммы - нафиг не нужны в фс, SEF всё сделает

     
     
  • 4.66, Аноним (66), 17:09, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В случае btrfs чексуммы дают дополнительные возможности Скажем, копий может быт... большой текст свёрнут, показать
     
     
  • 5.70, Аноним (8), 18:40, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > В случае btrfs чексуммы дают дополнительные возможности. Скажем, копий может быть и 2 (или даже 3 или 4!) - и при факапе чексуммы можно еще и закопировать блок с другого устройства.

    а смысл держать 4 копии в одном месте - есть распределённые фс, а так у тебя электричество кончится и ни одной не прочитаешь

    > можно динамически отращивать или уменьшать емкость, прям на ходу, добавлением или выниманием девайса.

    с SEF скорей всего так тоже можно иначе в чём смыл его "гипермасштабируемости"

     
     
  • 6.78, Аноним (-), 21:57, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну например если есть 4 накопителя, можно метаданные для надежности как RAID1C... большой текст свёрнут, показать
     
     
  • 7.82, Аноним (8), 08:14, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >  Не очень понимаю как такое знание должно транслироваться на ТОТ уровень. Как это в ФС выглядит - это как раз понятно. "device add -> +N места".

    не понимаю в чём сложность что диск стал больше - воткнули новый диск, через cli-утилиту сказали sef-у вон от того диска приплюсуй вон к тому, тому, тому логическим, resize налету даже ext4 поддерживает

     
     
  • 8.120, Аноним (-), 22:55, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А данные с старого диска на новый - телепортируются А оба диска на пару как 1 с... большой текст свёрнут, показать
     
     
  • 9.130, Аноним (8), 23:44, 18/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    во первых зачем телепортировать - устройства логические, ты LBA видишь снаружи, ... текст свёрнут, показать
     
     
  • 10.131, Аноним (-), 01:14, 19/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Есть минимум 3 причины закопировать или переместить данные на другой накопитель ... большой текст свёрнут, показать
     
     
  • 11.133, Аноним (8), 01:37, 19/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    последний абзац новости намекает что всё это есть, мне лень погружаться... текст свёрнут, показать
     
  • 4.99, Аноним (96), 22:08, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > в btrfs cow само по себе прекрасно ложится на флеши

    На голые флеши его класть нельзя, flash translation layer для выравнивания износа всё ещё нужен, поэтому толк от последовательной записи (в смысле дружбы с флешами)... только в более лёгкой адаптации под ZNS?

    Насколько оно вообще хорошо ложится, показывает величина write amplification и у CoW ФС она больше, чем у других (может, из-за обычных для них наворотов типа дублирования метаданных). Для хорошего укладывания надо разделить потоки записи, тут или ZNS поможет, или, теоретически, не-CoW ФС, где у контроллера SSD остаётся подсказка, где данные горячие, а где холодные, чтобы их не смешивать в одном блоке.

     
     
  • 5.101, Аноним (8), 10:21, 15/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Насколько оно вообще хорошо ложится, показывает величина write amplification и у CoW ФС она больше, чем у других (может, из-за обычных для них наворотов типа дублирования метаданных).

    дело не в cow а в том что монстрофс с cow хранят снапшоты - для пользователя кажется что диск наполовину занят а для контроллера диск забит под завязку, он в фоне перекидывает занятые блоки на новое место для выравнивания износа, это эквивалентно как если фс не поддерживает TRIM

     
     
  • 6.102, Аноним (96), 11:52, 15/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > дело не в cow а в том что монстрофс с cow хранят снапшоты

    Нет, это дело ещё более опциональное, чем дублирование метаданных, а коровья сущность всё-таки на write amplification влияет.

     
     
  • 7.103, Аноним (8), 12:48, 15/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > а коровья сущность всё-таки на write amplification влияет

    только в лучшую сторону, например специальная фс для nand ubifs - спроектирована по заказу Nokia, дураки наверно проектировали с cow :)

     
     
  • 8.105, Аноним (96), 22:10, 15/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Я с обобщениями ещё вот где напортачил Write amplification на практике могут оп... большой текст свёрнут, показать
     
     
  • 9.106, Аноним (8), 11:38, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    тоже мне бином ньютона - что мешает считать обращения к логическим блокам а не т... текст свёрнут, показать
     
  • 4.111, torvn77 (ok), 22:33, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > и контрольные суммы - нафиг не нужны в фс,
    > SEF всё сделает

    Не согласен, очень удобно когда ФС знает что и как прочиталось и может сама откорректировать ошибку.

     
     
  • 5.114, Аноним (8), 11:31, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > очень удобно когда ФС знает что и как прочиталось и может сама откорректировать ошибку

    можешь взять результат ECC у контроллера да и zfs ошибки не корректирует - тебя кто-то обманул

     
     
  • 6.115, torvn77 (ok), 11:55, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> очень удобно когда ФС знает что и как прочиталось и может сама откорректировать ошибку
    > можешь взять результат ECC у контроллера да и zfs ошибки не корректирует
    > - тебя кто-то обманул

    Ты о разных версиях zraid забыл.  
    Ну и в любом случае,
    1. выявление факта порчи хорошо само по себе.  
    2. подсчёт хешсуммы надёжнее проверки чётности

     
     
  • 7.116, Аноним (8), 13:43, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    zfs не корректирует ошибки, она другую копию может дать но для этого надо диск в два раза больше и похорошему надо на разных дисках хранить и на разных компьютерах
     
     
  • 8.117, torvn77 (ok), 21:50, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Может откоректировать через исключающее ИЛИ ... текст свёрнут, показать
     
     
  • 9.127, Аноним (8), 12:40, 18/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Она может взять избыточную копию если она есть или у раида запросить если он ест... текст свёрнут, показать
     
     
  • 10.128, torvn77 (ok), 16:36, 18/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Контрольная сумма нужна чтобы понять что блок имеет повреждение, а потом чтобы п... текст свёрнут, показать
     
     
  • 11.129, Аноним (8), 17:53, 18/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    сколько можно восстановить зависит от алгоритма FEC и количества избыточной инфо... текст свёрнут, показать
     
     
  • 12.132, Аноним (-), 01:22, 19/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    А RAID1 какой - очень полезен на тот случай если это не прокатило, или девайс вз... большой текст свёрнут, показать
     
     
  • 13.134, Аноним (8), 02:05, 19/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    про код Хэмминга я имел ввиду не используют в nand - сейчас в ходу tlc qlc с огр... текст свёрнут, показать
     

  • 1.10, Аноним (10), 00:35, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >набор патчей для ядра Linux

    ... которые почему-то не в мэйнлайне.

     
  • 1.11, Аноним (11), 00:36, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    не понял. А jffs2, которая работает поверх голых mtd-устройств? В чем новизна-то?
     
     
  • 2.13, Аноним (8), 00:43, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > А jffs2, которая работает поверх голых mtd-устройств?

    так и останется для голых mtd устройств

    > В чем новизна-то?

    очевидно SEF это не голое mtd устройство

     
  • 2.46, Аноним (-), 12:02, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > не понял. А jffs2, которая работает поверх голых mtd-устройств? В чем новизна-то?

    Ты наверное не видел как JFFS2 работает на больших устройствах. И сколько времени может занять монтирование файлухи крупнее пары гигз.

     
  • 2.92, Kuromi (ok), 17:03, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > не понял. А jffs2, которая работает поверх голых mtd-устройств? В чем новизна-то?

    Это не голое mtd, это скорее его эволюционное развитие с учетом опыта SSD. Хотят взять лучшее отовсюду.

     

  • 1.17, Аноним (1), 01:37, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • –9 +/
    Локальные хранилища -- прошлый век. Нужна нативная интеграция с облаками без всяких посредников хоть в виде ссд и хдд.
     
     
  • 2.19, Аноним (19), 04:03, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Нужна, но для этого нужны соответствующие скорости передачи данных и энергонезависимая оперативная память, а по-хорошему ещё и энергонезависимые ЦПУ. Но пока этого всего даже на горизонте не видно, так что локальный NAND-кэш ещё надолго с нами.
     
  • 2.28, ryoken (ok), 07:53, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Локальные хранилища -- прошлый век. Нужна нативная интеграция с облаками без всяких
    > посредников хоть в виде ссд и хдд.

    Вот завтра дядя на экскаваторе тяпнет кабель твоего прова и привет облакам. А послезавтра Вася-электрик не тот рубильник дёрнет.

     
     
  • 3.67, Аноним (19), 17:52, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Если кабель провайдера экскаватором тяпнуть, облачное хранилище никуда от этого не исчезнет. Ну посидишь без любимого сериала день, авось не одичаешь. На крайний случай в библиотеке вайфай есть, поработать хватит. А без электричества компьютер и вовсе бесполезен, что с дисками, что без.
     
  • 3.79, Аноним (-), 22:11, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Вот завтра дядя на экскаваторе тяпнет кабель твоего прова и привет облакам.
    > А послезавтра Вася-электрик не тот рубильник дёрнет.

    Тут вот какие-то добрые дяди на 2 дня суперстар вырубили. А у других соответственно вырубилась база налоговиков, обмен любезностями. Намекающий что - вот - можно на пару дней без интернета остаться на весь город, если добрые хакеры в гости на "коммутатор" сотовой сети зашли.

     
  • 2.33, Прыгающий Ленивец (?), 09:22, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Нужна так смонтируй ядиск по WebDAV да пользуйся
     
     
  • 3.50, glad_valakas (?), 13:56, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    тонко !
    в то время как яндекс всеми силами стремится всех пересадить на свой
    фирменный клиент и удушить доступ по WebDAV.
     
  • 2.36, Аноним (36), 09:54, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Это все может работать в гибридном режиме. Первично конечно локальное хранилище.
    А отрицание его - крайняя мера.. т.е. если данные не нужны, то пожалуйста интегрировай хоть куда.

     
  • 2.37, Аноним (8), 10:15, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Локальные хранилища -- прошлый век

    нет, но со временем локальная память будет энергонезависимая RAM без дурацких атавизмов типа zfs - можете отнести мои слова в банк!

     
  • 2.38, Аноним (38), 10:50, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Облако - это всего лишь локальное хранилище кого-то другого.
     
     
  • 3.39, Аноним (36), 10:54, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Самое лучшее определение
     
  • 2.47, Аноним (-), 12:05, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Локальные хранилища -- прошлый век. Нужна нативная интеграция с облаками
    > без всяких посредников хоть в виде ссд и хдд.

    Ну конечно, здорово же если чужой дядя все потер и аккаунт индейца забанил с аргументом что ему не нравится морда лица, профита с сервиса что-то маловато, или что там еще, а оспорить это - можно путем написания в спортлото.

     
  • 2.53, тов. майор (?), 14:08, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +3 +/
    >Нужна нативная интеграция с облаками без всяких посредников хоть в виде ссд и хдд.

    Одобряю! Всегда заботящийся о вас, тов. майор.

     
     
  • 3.72, glad_valakas (?), 19:25, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Одобряю! Всегда заботящийся о вас, тов. майор.

    и видеонаблюдение в туалетах ведется тоже для заботы о вашей безопастности.

     
  • 2.93, Kuromi (ok), 17:07, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Локальные хранилища -- прошлый век. Нужна нативная интеграция с облаками без всяких
    > посредников хоть в виде ссд и хдд.

    Да да да, как раз недавно на Ютубчике шитсторм был, на тему того что Гугль Драйв потерял кучу данных пользователей (корейцев в основном) и тут ВНЕЗАПНО оказалось что по User Agreement Google вообще ничего никому не гарантирует, а сохранность файлов и резервные копии это проблема исключительно клиента. ДАЖЕ на платных тарифах.

    Кто-то там потерял какие-то важные (для них) документы, вроде домашней бухгалтерии, им сказали "ну сорян" и закрыли тикет как solved.

    "Cloud is another man computer" внезапно.

     
  • 2.113, Neon (??), 00:25, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В век взаимных санкций и торговых войн облака плохая идея.
     

  • 1.30, Аноним (30), 09:06, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Такое было бы удобно для превращения отстойных SMR hdd дисков в обычные меньшего объёма или нормализации скорости их работы с использованием CoW подходов
     
     
  • 2.41, 1 (??), 11:10, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Ну такое удобно для построения СХД, где главное - это ПО, а не 2 ПО одна железка (одно ПО в диске).
    Не даром же все энтерпрайзные СХД требовали своей "тупой" прошивки дисков, чтоб те чего не удумали ...
     
  • 2.48, Аноним (-), 12:06, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Такое было бы удобно для превращения отстойных SMR hdd дисков в обычные
    > меньшего объёма или нормализации скорости их работы с использованием CoW подходов

    ЧСХ в btrfs - zoned mode support завез - только подумайте - WD :))

     
     
  • 3.94, Kuromi (ok), 17:12, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    >> Такое было бы удобно для превращения отстойных SMR hdd дисков в обычные
    >> меньшего объёма или нормализации скорости их работы с использованием CoW подходов
    > ЧСХ в btrfs - zoned mode support завез - только подумайте -
    > WD :))

    А это потому что WD увязли в SMR, воти  приходится теперь трепыхаться. Сигейт пошел по пути HAMR, а у WD не получается. Ждемс когда Сигейт начнет отгружать HAMR и посмотрим как они себя ведут и доедут ли до обычных пользователей. От SSD народ уже не отучишь, конечно, исход все равно любопытен.

     
     
  • 4.97, Аноним (96), 20:50, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > А это потому что WD увязли в SMR

    Эти слова подразумевают, что WD наращивает или будет наращивать ёмкость за счёт SMR, а Seagate - нет, а это не так.

    И WD сейчас из 24 ТБ CMR делает 28 ТБ SMR, и Seagate. В roadmap'е WD нет дальнейшего уплотнения SMR, там CMR на 30+ ТБ за счёт "ePMR 2" (ну и признаётся отставание по HAMR).
    https://www.anandtech.com/show/18908/western-digital-estimates-hamr-hdds-to-em

     
     
  • 5.98, Аноним (96), 20:57, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Точнее говоря, SMR у WD останется в самых ёмких дисках, а у Seagate в 2024 такие диски должны быть с HAMR и без SMR.
     

  • 1.55, YetAnotherOnanym (ok), 14:35, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > вынести логику низкоуровневой работы с чипом Flash-памяти на сторону программного обеспечения и операционной системы

    Ой, ну спасибо! Раньше ОС прочла-записала и дальше свои задачи считает, а теперь 3-гигагерцовый 8-ядерник будет лично судьбой каждого байта заниматься, высчитывать для каждой операции записи, что в какой блок оптимальнее запихнуть, чтобы износ флэш-чипа уменьшить.

     
     
  • 2.58, Аноним (56), 14:50, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Раньше в телефонах/планшетах голую NAND-флешку ставили, ещё на той производительности тогдашных SoC, и тогда андроиды шустрее работали чем нынешные на всяких UFS
     
  • 2.68, Аноним (19), 17:55, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это решение не для твоего локалхоста, а для программно определяемых систем хранения данных, хостов виртуальных машин и тому подобного. На локалхосте у тебя как был обычный NVMe, так и дальше будет.
     
     
  • 3.85, YetAnotherOnanym (ok), 14:29, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    В том виде, в каком это описано - это именно для локалхоста, который не несёт сколь-нибудь серьёзной нагрузки, когда можно позволить себе загрузить свой писслейк задачей управлять распределением данных по чипам. Когда нужна эффективность - такие задачи перекладываются на контроллер.
     
  • 3.95, Kuromi (ok), 17:15, 14/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Это решение не для твоего локалхоста, а для программно определяемых систем хранения
    > данных, хостов виртуальных машин и тому подобного. На локалхосте у тебя
    > как был обычный NVMe, так и дальше будет.

    Я пологаю что это не только энтерпрайз, но и общий поворот\шажок в развитии Flash. Вполне возможно что подобное со временем вытеснит "классику" с блочными устройствами  и черными ящиками. Когда - это другой вопрос, некоторые апологеты SSD предполагали что HDD уже годы как должны быть мертвы как класс.

     

  • 1.57, Аноним (56), 14:46, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Неужели наконец доделают поддержку NAND-памяти в mainline linux для старых allwinner планшетов?
     
     
  • 2.123, Аноним (-), 23:08, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    Да ее вроде доделали, но 1 У HW randomizer затыкающего чувствительность хлип... большой текст свёрнут, показать
     

  • 1.59, Аноним (59), 15:30, 13/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > В обычных Flash для внешних систем накопитель представляет собой чёрный ящик, часть памяти в котором резервируется под служебные операции, ... В отличие от традиционных Flash-накопителей, распределением данных, изоляцией сбойных блоков и сборкой мусора в которых занимается прошивка контроллера

    Как дампануть эту прошивку флешки, SSD?

     
     
  • 2.65, Аноним (66), 17:09, 13/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Как дампануть эту прошивку флешки, SSD?

    Пара самых очевидных способов...
    1) JTAG.
    2) BootROM.

    Конечно же простых и очевидных методов никто не даст. Но если вы пошаритесь по специфичным форумам - даже найдете примеры HOW TO, а то и пинауты JTAG, служебной сериальной консоли, команды, или что вы там хотели. Готовое решение мало кто даст, они денег стоят и продаются ремонтерам и датарекам.

     

  • 1.81, Аноним (1), 00:50, 14/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Такое решение давно напрашивалось. Получается теперь можно убрать с накопителей всю лишнюю обвязку, а задачи управления всем массивом накопителей можно переложить, например, на отдельную плату расширения. Дешевле, надёжнее, гибче.
     
     
  • 2.108, Айнаниммм (?), 15:10, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    И полность несовместимо с огромным количеством устройств. А ещё производительность центрального процессора нужно увеличить, т.к. ему ещё стопка операций на выполнение прийдёт...
     

  • 1.104, Аноним (104), 13:57, 15/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто знает, в "флешках" и SD-картах есть встроенная балансировка износа?
     
     
  • 2.121, Аноним (-), 23:00, 17/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > Кто знает, в "флешках" и SD-картах есть встроенная балансировка износа?

    А вот ктулху его знает - от причуд конкретной фирмвари зависит. Сорцы оной нам выдать - забыли. Поэтому там что угодно может быть. В зависимости от производителя, модели, версии фирмвари и чего там еще.

     

  • 1.107, Айнаниммм (?), 15:07, 16/12/2023 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    сперва win-модемы, потом win-принтеры, теперь win-диски...
     
     
  • 2.112, torvn77 (ok), 22:43, 16/12/2023 [^] [^^] [^^^] [ответить]  
  • +/
    > сперва win-модемы, потом win-принтеры, теперь win-диски...

    Ну в случае дисков это хорошо.

     
  • 2.135, benu (ok), 14:51, 21/03/2024 [^] [^^] [^^^] [ответить]  
  • +/
    win-RAID пользуется успехом.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру