The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Идеи по поводу файловой системы ext4

30.06.2006 11:39

В обсуждении текущего состояния файловой системы ext3 в списке рассылки LKM были перечислены некоторые недостатки ext3 от которых давно хочется избавиться.

Главная цель - переход на 48 или 64-битные указатели, текущий лимит на размер раздела в 8 TB уже многих не устраивает.

Theodore Ts'o, один из основных разработчиков ext2/ext3, предлагает не резать по живому, а оставить код ext3 доступным только для исправления ошибок. Для реализации новых идей планируется на базе кода ext3 создать экспериментальную файловую систему ext3dev, которая после перехода в стабильную фазу будет переименована в ext4.

Основные опасения прямой модификации уже достаточно хорошо отлаженного кода ext3 связанны с понижением стабильности, нарушением совместимости и усложнением кода.

  1. Главная ссылка к новости (http://kerneltrap.org/node/677...)
  2. Ext3 for large filesystems
  3. Time for ext4?
  4. Последняя версия 48bit ext3 патчей
  5. Ext2/Ext3 improvement project (64bit патчи к ext3)
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/7809-ext2
Ключевые слова: ext2, ext3, ext4, linux, fs
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (54) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, fresco (??), 12:48, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Нда... В каким же монстром станет эта ext4, если будет поддерживать работу с разделами ext3
     
     
  • 2.11, Аноним (11), 17:40, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    это вы просто неграмотный совсем. читайте lkml. для поддержки нового формата потребовалось три if'а в старом коде и один новый файл.
     

  • 1.2, Аноним (-), 13:17, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно комуто из присутствующих надо раздел > 8 TB ?
     
     
  • 2.3, ABATAPA (?), 13:47, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Не все "суперхацкеры" за домашним компом.
     
     
  • 3.4, Аноним (-), 13:51, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    И за домашним уже скоро. У меня 2TB.
     
  • 2.14, бОПОЙН (?), 19:07, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    МНЕ!

    8Тб = 500*16. Т.е. 16 дисков по 500 Гиг. 500 Гиг уже в продаже, а через год, два они будут в любом декстопе. А дисковые полки по 12-15 дисков уже норма в серверных.

    Надо, надо поддержку разделов более 8 ТБ!

     

  • 1.5, Zlobec (?), 14:32, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что нет уже готовых файловых систем которые более удовлетворяют современным требованиям. Может лучше в них вложить ресурсы?
     
     
  • 2.7, fresco (??), 15:29, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Совершенно согласен. Лучше бы взялись за merging reiser4 и доработку VFS.
     
     
  • 3.9, Аноним (11), 17:35, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    возьмите и доработайте этот over-designed monster.
     
     
  • 4.37, fresco (??), 08:44, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Ой, ну как же я его доработаю. Я ж из простых, из деревенских. А тут настоящий кернел-хацкер нужен. Типо вас, наверное...
     
  • 2.10, Аноним (11), 17:37, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >А что нет уже готовых файловых систем которые более удовлетворяют современным требованиям.
    >Может лучше в них вложить ресурсы?

    есть, называется ext4. для приличия внимательно пост прочтите и по ссылкам сходите,
    преждем чем ахинею нести.

     

  • 1.6, Аноним (-), 14:44, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Reiser4 или reiserfs гораздо лучше.

    2TB это >=5HDD дома?

     
     
  • 2.12, GR (??), 18:18, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Теперь уже всего 3х750G .... А уж что следуюшим летом будет ....
     

  • 1.8, Exo (?), 16:24, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну почему же сразу монстром? Добавится полноценная поддержка 64bit-платформ, новые 64-битные указатели, правда до максимума возможностей этой системы уже очень трудно будет дойти (34'359'738'368 Тб вам не шутки). А насчет > 8 Тб, да, бывает требуется, не мне, но работающим с СУБД Oracle. Там БД в пол терабайта является базой среднего размера, а уж дойти до 8 - не проблема. Потому в свое время Oracle и пошла на разработку своей ФС.
     
  • 1.13, Genki5 (?), 18:43, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А как насчет той же ZFS?! "The file system itself is 128-bit, allowing for 256 quadrillion zettabytes of storage" Solaris ZFS Administration Guide, может стоит присмотреться к другим файловым системам ИМХО
     
     
  • 2.15, бОПОЙН (?), 19:08, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Месье уже перенес ZFS под Линукс?
     
  • 2.16, Аноним (11), 19:33, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    вам никто не мешает. приматривайтесь. а другие научились фильтровать булшит наподобие этих 128 бит.
     
     
  • 3.20, q (??), 20:38, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >вам никто не мешает. приматривайтесь. а другие научились фильтровать булшит наподобие этих
    >128 бит.

    Слушай, очередной Анонизм!

    Ты сам не пробовал эту файловую систему (ZFS). Так что не позорь то, о чем не знаешь.

     
     
  • 4.21, Аноним (11), 20:58, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    я сам читал о ней много. в том числе on-disk format. 128bit - это marketing BS. не нужно это никому на практике. вообще никому.
     
     
  • 5.46, nuclight (?), 15:24, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    >я сам читал о ней много. в том числе on-disk format. 128bit
    >- это marketing BS. не нужно это никому на практике. вообще
    >никому.

    О, а не поделитесь этим самым on-disk format ? Интересно почитать.

     

  • 1.17, Basmach (?), 19:42, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    у меня уже есть 4 по 500G, так что более 8T это еще как надо!!!!
     
     
  • 2.18, Doktor (??), 20:17, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Интересно что на этих 2T хранится, неужели зеркало sourceforge? А может все банальнее - порнуха?
    Нормальному пользователю хватит и 80Gb, все остальное - суета, или для серверных решений.
     
     
  • 3.27, devnull (??), 22:55, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    > Нормальному пользователю хватит и 80Gb, все остальное - суета,

       ftp://ftp.andr.ru/pub/music/
       ftp://ftp.andr.ru/pub/video/

     
     
  • 4.31, Genki5 (?), 23:27, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    гуд, подержи плиз еще открытыми эти шары )) я там се че-т пресмотрел
     
  • 3.44, DeadLoco (??), 23:10, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Большие хранилища - уже отнюдь не суета, а насущная необходимость, вызванная развитием местных IP-сетей. Сегодня, продавая доступ в сеть, домушник или провайдер не может не дать доступа к хранилищу тех же фильмов. Да и у меня на работе резервный бэкап собран из 8х250, а хочется 16х500 - в связи с производственной необходимостью.
     

  • 1.19, Slayer605 (?), 20:27, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    что мешает использовать XFS ?  там и громадные разделы и файлы
    http://oss.sgi.com/projects/xfs/
     
     
  • 2.22, Аноним (11), 21:08, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    мешает то, что она ужастно написана и у него никакой fsck, без которого не обойтись, если
    storage корраптит метаданные.
     
     
  • 3.23, Genki5 (?), 21:37, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    в ZFS тоже не нужен fsck,но она от этого не страдает, там есть Transactional Semantics и никакое выключение питание вам не страшно. А востановление так есть Self-Healing Data.
     
     
  • 4.24, Аноним (11), 21:52, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    бла-бла-бла. вы говорите про "бумажную" систему. никто ее еще серьезно не тестировал. а по части performance уже показано как она конкретно сосет. даже по сравнению с ufs.
     
     
  • 5.33, Genki5 (?), 23:47, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Вот вы гврите что не тестировали серьезно, а потом что сосет по части performance, ну тогда как можно опираться на не серьезные факты?! Да и раз не тестировали не значит что плохая.
     
     
  • 6.35, Аноним (11), 01:20, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    серьезно - это значит долго по времени и на разных приложениях. вот будет ей несколько годков в production, тогда да, серьзено. а performance уже меряли. сосала. так что работать над ней еще и работать.
     
     
  • 7.36, Genki5 (?), 08:04, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    может я плохо знаю историю, но не помню ничего что выпустила бы Sun и это потом сосало
     
     
  • 8.38, Аноним (11), 10:43, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    да много чего scheduling activations, например или priority paging ... текст свёрнут, показать
     
  • 3.25, pavlinux (??), 22:02, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    > и у него никакой fsck

    Это у Вас мозг никакой...  

    xfsutils - да, да, да... только там надо головой и ручками поработать, а не только ими за письку дёргать.

     
     
  • 4.26, Аноним (11), 22:22, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    давайте-давайте, работайте-работайте, ищите иноды в нескольких TB. и еще научитесь наконец обгонять ext3 в dbench. и покажите мне xfs, записывающую 1,5GB/s. потом и махайте руками.
     
  • 3.28, anonymous (??), 23:07, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    тогда JFS, fsck у него есть и отлично работает.
     
     
  • 4.30, Аноним (11), 23:16, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    http://www.bullopensource.org/ext4/
     

  • 1.29, echo (??), 23:16, 30/06/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    всё это прошлый век. повторяют одно и тоже, ничего нового
    сейчас уже по сети можно качать гигабит, а скоро можно будет все десять.
    современная fs должна быть: безопасной; распределённой; отказоустойчивой.
    это значит:
      1) средстваа шифрования должны быть встроены в саму ось
      2) длина провода до винтов и протокол обмена
        с ними не должны иметь значение. т.е. fs должа
        поддерживать монтирование девайсов по сети по любым
        доступным протоколам и проводам без посредников.
      3) средства избыточного кодирования и восстановления данных
         (RAID) втроены в саму fs, включены и работают по-умолчанию
          (как и шифрование)
    вот тогда это будет нечто. а эти ребята пальцем в носу ковыряются.

    вот есть нечто похожее, xFS и кластер NOW http://now.cs.berkeley.edu/Xfs/xfs.html

     
     
  • 2.32, Аноним (11), 23:29, 30/06/2006 [^] [^^] [^^^] [ответить]  
  • +/
    да, вы забыли, что она еще картошку должна чистить. www.lustre.org. живет поверх ext3. ибо layring.
     

  • 1.34, Basmach (?), 00:49, 01/07/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно что на этих 2T хранится, неужели зеркало sourceforge? А может все банальнее - порнуха?


    Нет не порнуха, все банально там бэкапы лежат

     
     
  • 2.40, odip (ok), 13:46, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    > Нет не порнуха, все банально там бэкапы лежат

    А бэкапы не порнухи ли лежат ? :)

     

  • 1.41, Аноним (-), 18:23, 01/07/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Чуваки, у меня уже 0.5 Tb дома.До восьми осталось ждать не сильно долго.История как почти с FAT16 - он тоже больше 2 гиг не умел.А когда-то 2 Гб казались такой огромной кучей данных...

    P.S. мне нравится Reiser4 - достойный ответ NTFS и провалившимся потугам сделать WinFS.Пример современной файловой системы с нормальным, эффективным и фичастым а не допотопным дизайном :)

     
     
  • 2.42, Аноним (11), 19:49, 01/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    единое дерево - это очень плохо для scalability. собственно v3 это уже продемонстрировала - v3 работает плохо на SMP (особенное если кол-во cpu >2) и кушает это cpu значительно, то есть для streaming writes типа видио/аудио подходит плохо.
     
     
  • 3.45, fresco (??), 13:23, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Чушь. Дело не в едином дереве, а отсутствии механизма блокирования узлов. В reiser4 эта проблема решена.

    Более подробно на русском:

    про reiserfs см. http://www.filesystems.nm.ru/reiserfs_layout.pdf
    про reiser4 см. "Системный администратор", апрель 2006, стр. 16-25.

     
     
  • 4.47, Аноним (11), 15:50, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    да-да, решено. вот покажут 1GB/s на одном камне, тогда решено, а пока только слова.
     
     
  • 5.50, fresco (??), 16:48, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    А кроме raw I/O кто-нибудь может показать такую пропускную способность?
     
     
  • 6.51, Аноним (11), 18:06, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    да, сам видел на ext3 + extents + delayed allocation. underlying storage - DDN9500.
     
     
  • 7.52, fresco (??), 18:39, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Думаю, reiser4 и XFS покажут себя не хуже.
     
     
  • 8.53, Аноним (11), 19:13, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    тут все просто сначала пусть показывают, потом руками машут xfs, например, сли... текст свёрнут, показать
     
  • 4.49, Аноним (11), 15:55, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    смешно. сначала создают проблему, потом пытаются решить. "наши люди"
     

  • 1.43, Аноним (-), 22:07, 01/07/2006 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Ну так пусть 1 CPU занимается файловой системой а остальные другим, как будто 1 CPU с файловой системой не справится.А так - рейзер кстати вроде и не позиционируется для особо-крутых стриминг серверов.А вот для 100k мелких файлов - самое оно.Покажите что-то лучше для хранения 100k файлов?А будете наглеть попрошу чтобы в 1 каталоге к тому же :)
     
     
  • 2.48, Аноним (11), 15:53, 02/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    вот на ext3+extents+delalloc+mballoc выжали порядка 1,2GB/s. покажите мне reiserfs, которая столько даст. со 100K в одном каталоге _легко_ справляется ext3. dir_index включите.
     
     
  • 3.54, I_Like_XFS (?), 00:53, 03/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    Как-то не прозвучало аргументированных возражений против надёжности, масштабируемости и быстродействия XFS и JFS. Так что, Ext4 - это просто развитие Ext3 (необходимое почитателям Ext3) или это насущная необходимость для всех, потому как в природе пока ничего подобного нет (я имею ввиду Линукс)? Под XFS+Oracle работают базы размером около 10Т без проблем (на хорошем железе). Итак?
     
     
  • 4.55, Аноним (11), 01:37, 03/07/2006 [^] [^^] [^^^] [ответить]  
  • +/
    ext4 - это развитие ext3. jfs/xfs не являются _очень_ надежными просто в силу динамического характера метаданных (инод). результатом этого динамического размещения является на порядок более слабый fsck, по сравнению e2fsck. по сути против этого на lkml не было возражений. плюс обе xfs/jfs перенесены в linux посредством выстраивания дополнительного уровня. это тоже плохо. код у обоих просто ужасен. есть достаточно людей заинтересованных в развитии ext3. если кому-то интересна xfs - пусть развивают.

    PS. http://www.xy1.org/linux-kernel@vger.kernel.org/msg01871.html

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру