URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 95141
[ Назад ]

Исходное сообщение
"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 29-Окт-13 15:09

Добрый день.
Коллеги, помогите выбрать ФС для раздела на 45Тб.
Раздел предназначен для хранения больших файлов (10-350Гб).
Критична надежность ФС.
ОС - Debian 6 x64. В машине 32Гб памяти.
Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется понимать на что ее менять.
Спасибо.

Содержание

Выбор ФС для раздела в 45Тб,1, 15:36 , 29-Окт-13
- Выбор ФС для раздела в 45Тб,lex284, 16:19 , 29-Окт-13
  - Выбор ФС для раздела в 45Тб,Stanislav, 17:00 , 29-Окт-13
    - Выбор ФС для раздела в 45Тб,lex284, 22:00 , 29-Окт-13
      - Выбор ФС для раздела в 45Тб,name, 14:51 , 30-Окт-13
      - Офф/2,Аль, 10:37 , 15-Ноя-13
  - Выбор ФС для раздела в 45Тб,gfh, 18:27 , 29-Окт-13
    - Выбор ФС для раздела в 45Тб,lex284, 22:03 , 29-Окт-13
      - Выбор ФС для раздела в 45Тб,gfh, 23:13 , 29-Окт-13
        
        Выбор ФС для раздела в 45Тб,lex284, 18:06 , 30-Окт-13
  - Выбор ФС для раздела в 45Тб,1, 22:27 , 29-Окт-13
    - Выбор ФС для раздела в 45Тб,lex284, 18:01 , 30-Окт-13
    - Выбор ФС для раздела в 45Тб,lex284, 18:31 , 30-Окт-13
      - Выбор ФС для раздела в 45Тб,1, 20:21 , 30-Окт-13
        
        Выбор ФС для раздела в 45Тб,lex284, 22:03 , 30-Окт-13
        
        Выбор ФС для раздела в 45Тб,Oinari, 08:13 , 31-Окт-13
        
        Выбор ФС для раздела в 45Тб,lex284, 10:14 , 31-Окт-13
Выбор ФС для раздела в 45Тб,Аноним, 20:24 , 29-Окт-13
- Выбор ФС для раздела в 45Тб,lex284, 22:07 , 29-Окт-13
  - Выбор ФС для раздела в 45Тб,Аноним, 06:51 , 30-Окт-13

Сообщения в этом обсуждении

"Выбор ФС для раздела в 45Тб"
Отправлено 1 , 29-Окт-13 15:36

> Добрый день.
> Коллеги, помогите выбрать ФС для раздела на 45Тб.
> Раздел предназначен для хранения больших файлов (10-350Гб).
> Критична надежность ФС.
> ОС - Debian 6 x64. В машине 32Гб памяти.
> Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после
> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
> понимать на что ее менять.
> Спасибо.
наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров рейд так что ему может быть фиолетово, в зависимости от запаса по iops'ам для твоих задач.

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 29-Окт-13 16:19

>[оверквотинг удален]
>> Раздел предназначен для хранения больших файлов (10-350Гб).
>> Критична надежность ФС.
>> ОС - Debian 6 x64. В машине 32Гб памяти.
>> Сейчас на разделе используется XFS. Точнее использовалась до вчерашней ночи( - после
>> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
>> понимать на что ее менять.
>> Спасибо.
> наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров
> рейд так что ему может быть фиолетово, в зависимости от запаса
> по iops'ам для твоих задач.
Что значит data=journal ?
ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые версии (а они в тестовом репозитории дебиана), то они собирают большие разделы. Но у меня они разваливались еще на тестировании..

"Выбор ФС для раздела в 45Тб"
Отправлено Stanislav , 29-Окт-13 17:00

glusterFS ?
Lustre ?

>[оверквотинг удален]
>>> перезагрузки сервера она не монтируется. Если не получится восстановить, то хочется
>>> понимать на что ее менять.
>>> Спасибо.
>> наверно ext4 data=journal, ток скорость упадет, но у тебя там приличных размеров
>> рейд так что ему может быть фиолетово, в зависимости от запаса
>> по iops'ам для твоих задач.
> Что значит data=journal ?
> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 29-Окт-13 22:00

> glusterFS ?
> Lustre ?
Это слишком круто для этой задачи. Мне всего то надо файлопомойка на одной машине.
И в идеале чтобы ФС не умирала от перезагрузки или выключения питания)

"Выбор ФС для раздела в 45Тб"
Отправлено name , 30-Окт-13 14:51

>> glusterFS ?
>> Lustre ?
> Это слишком круто для этой задачи. Мне всего то надо файлопомойка на
> одной машине.
> И в идеале чтобы ФС не умирала от перезагрузки или выключения питания)
для такого раздела самое оно, разве нет?
С одной стороны ничего не мешает запустить на одном сервере, с другой стороны позволит со временем сделать репликацию куда-нибудь.
У самого похожая задача, только со скромными 8ТБ, тоже не знаю куда податься.

"Офф/2"
Отправлено Аль , 15-Ноя-13 10:37

> на одной машине
Во вторую мировую, в т.ч., говорили в авиации: единица это двойка.

"Выбор ФС для раздела в 45Тб"
Отправлено gfh , 29-Окт-13 18:27

> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..
E2fsprogs 1.42 (November 29, 2011)
This release of e2fsprogs has support for file systems > 16TB.
Дистрибутивчик у вас старенький батенька.

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 29-Окт-13 22:03

> E2fsprogs 1.42 (November 29, 2011)
> This release of e2fsprogs has support for file systems > 16TB.
> Дистрибутивчик у вас старенький батенька.
Если мне не изменяет память, то как раз эти и ставил. В стабильном репозитории их не было(
Когда машина поднималась 7-го дебиана не было. Хотя даже сейчас дрова на контроллер под 7-й в непонятном состоянии

"Выбор ФС для раздела в 45Тб"
Отправлено gfh , 29-Окт-13 23:13

> Если мне не изменяет память, то как раз эти и ставил. В
> стабильном репозитории их не было(
> Когда машина поднималась 7-го дебиана не было. Хотя даже сейчас дрова на
> контроллер под 7-й в непонятном состоянии
http://packages.debian.org/ru/squeeze/e2fsprogs
e2fsprogs (1.41.12-4stable1)
Есть же backports, есть варианты поставить e2fsprogs из wheezy...

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 30-Окт-13 18:06

> http://packages.debian.org/ru/squeeze/e2fsprogs
> e2fsprogs (1.41.12-4stable1)
> Есть же backports, есть варианты поставить e2fsprogs из wheezy...
В бэкпортах под 6-й не нашел версию с поддержкой более 16Тб.
Из 7-го ставить не хочется - какое то неправославное решение получается) Как оно себя будет вести после установки непонятно.. Ту версию что ставил из тестового репозитория, сначала работала хорошо. Хотя я не исключаю проблему рук)

"Выбор ФС для раздела в 45Тб"
Отправлено 1 , 29-Окт-13 22:27

> Что значит data=journal ?
это опция монтирования, данные пишутся в лог вместе с метадаными, так либо применяется изменение данных целиком либо нет.
> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
> версии (а они в тестовом репозитории дебиана), то они собирают большие
> разделы. Но у меня они разваливались еще на тестировании..
давно?

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 30-Окт-13 18:01

>> ext4 смотрел недавно. Сейчас она может 15Тб массивы. Если брать более новые
>> версии (а они в тестовом репозитории дебиана), то они собирают большие
>> разделы. Но у меня они разваливались еще на тестировании..
> давно?
Где то полгода назад.

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 30-Окт-13 18:31

>> data=journal
XFS вроде не поддерживает такой параметр монтирования..

"Выбор ФС для раздела в 45Тб"
Отправлено 1 , 30-Окт-13 20:21

>>> data=journal
> XFS вроде не поддерживает такой параметр монтирования..
верно, он у ext4, поэтому и написал в связке. если есть возможность то попробуй такой вариант. с ним развалить систему должно быть много тяжелее

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 30-Окт-13 22:03

>>>> data=journal
>> XFS вроде не поддерживает такой параметр монтирования..
> верно, он у ext4, поэтому и написал в связке. если есть возможность
> то попробуй такой вариант. с ним развалить систему должно быть много
> тяжелее
Сейчас XFS удалось запустить без потери данных на ней. Пока оставлю ее, но при следующем падении, думаю, что буду менять.
Совет про data=journal попробую.

"Выбор ФС для раздела в 45Тб"
Отправлено Oinari , 31-Окт-13 08:13

> Сейчас XFS удалось запустить без потери данных на ней.
Как починили расскажите пожалуйста.

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 31-Окт-13 10:14

>> Сейчас XFS удалось запустить без потери данных на ней.
> Как починили расскажите пожалуйста.
Отмонтировал ФС и xfs_repair -L

"Выбор ФС для раздела в 45Тб"
Отправлено Аноним , 29-Окт-13 20:24

> Коллеги, помогите выбрать ФС для раздела на 45Тб.
> Раздел предназначен для хранения больших файлов (10-350Гб).
> Критична надежность ФС.
> ОС - Debian 6 x64. В машине 32Гб памяти.
Предлогаю солярку + ZFS. Как дисковый массив собран? Небойсь железный безумно дорогой рэйд контроллер? И запасного нет - поёлику дорого?

"Выбор ФС для раздела в 45Тб"
Отправлено lex284 , 29-Окт-13 22:07

> Предлогаю солярку + ZFS. Как дисковый массив собран? Небойсь железный безумно дорогой
> рэйд контроллер? И запасного нет - поёлику дорого?
Солярка не пойдет - унификация. Да и опыта с ней нет.
Массив аппаратный. Запасной контроллер есть) Но про массив не писал специально - вопрос только про ФС на раздел такого размера.
Есть опыт эксплуатации ZFS на массивах похожего размера?

"Выбор ФС для раздела в 45Тб"
Отправлено Аноним , 30-Окт-13 06:51

> Солярка не пойдет - унификация.
Тады - ой ...
>Да и опыта с ней нет.
Не боги горшки обсыкают :)
> Есть опыт эксплуатации ZFS на массивах похожего размера?
Был пул ~34-36Т. Но у меня специфика - это раздатчтик iSCSI volumes.