В связи с использованием в новых моделях жестких дисков Western Digital Caviar Green нестандартного размера сектора, увеличенного с 512 байт до 4 Кб, предпринята попытка (http://www.osnews.com/story/22872/Linux_Not_Fully_Prepared_f...) оценки степени поддержки таких дисков в Linux. В итоге были получены удручающие результаты: из-за отсутствия выравнивания записываемого кластера данных по границе физического сектора размером 4096 байт (выравнивание производится по 512-байтовым логическим секторам), наблюдается (http://bugs.gentoo.org/show_bug.cgi?id=304727) падение производительности более чем в три раза. Кроме того, при разбивке диска наблюдаются проблемы с вычислением оптимального смещения для первичного дискового раздела, который по умолчанию создается начиная с позиции LBA 63, оставаясь не выравненным по границе цилиндров.URL: http://www.osnews.com/story/22872/Linux_Not_Fully_Prepared_f...
Новость: http://www.opennet.me/opennews/art.shtml?num=25428
Ну чтож, ждем реакции разработчиков ядра. Не думаю, что сей насущный вопрос надолго останется без внимания...
Много "крутых" слов ни о чем.
Если бы сэр удосужился прочитать статью, а не лепил херь по принципу "первый нах",
то стало бы очевидно, что ядро тут как раз не при чем. Проблема в программах нарезки разделов, которые не учитывают физический размер сектора.
Просвещайтесь:
http://www.fcenter.ru/online.shtml?articles/hardware/hdd/28121
>Просвещайтесь:
>http://www.fcenter.ru/online.shtml?articles/hardware/hdd/28121Спасибо, обязательно просвячусь...
Опаньки... Может поэтому у меня винт 1.5T тормозит? При форматировании тормоза начинаются на 80 секторе при создании inodes...
почему то уверен, что соответствующие патчи радикально все улучшающие будут уже в следующем релизе
я совсем не в теме, поэтому спрашиваю, логическое взаимодействие с диском осуществляется только драйвером ОС или BIOS материнской платы/контроллера тоже должен поддерживать работу с сектором нестандартного размера?
BIOS большинству операционок нужен только для того, чтобы начать загрузку, дальше уже работают драйвера. Это хорошая новость.
"Умные" контроллеры со своим BIOS`ом и процессором (а ля RAID-контроллеры e.t.c.) скорее всего не учитывают существование "неправильных" дисков, т.е. будут тормозить или глючить до смены прошивки (если таковая возможна). Это плохая новость.P.S. Вообще, стандарт на 4К сектора еще чуть ли не в 2003 году был принят, так что это, по идее, не проблемы дисков WD :)
Интересно, у freebsd те же проблемы?
http://lists.freebsd.org/pipermail/freebsd-arch/2009-Decembe...Да, схожие с описанными здесь. Разработчики уже думают над решением этих проблем.
>Да, схожие с описанными здесь. Разработчики уже думают над решением этих проблем.Нет. Если верить этому: http://lists.freebsd.org/pipermail/freebsd-arch/2009-Decembe...
UFS runs incredibly well on 4k blocks, and we should exploit that
to the fullest extent, and if we really want to jerk chains, we should
push RAID3 in 4+2 and 8+3 configs aggressively, it performs great,
both under read and write, and Windows cannot do it.то все отлично.
Ну там довольно длинное обсуждение было, и судя по всему всё поддерживается, но не совсем так как хотелось бы. Надо в ркопашку ФС выравнивать и т. д. Поэтому насколько я помню дополнительные телодвижения от разработчиков всё таки потребуются.
А в чем преимущество 4096 сектора?
1. Увеличение объема жесткого диска за счет того, что меньше места расходуется на служебные нужды.
2. Увеличение шансов на восстановление неправильно считавшихся битов за счет того, что под контрольную сумму отводится больше места.
Linux, равно как и FreeBSD, отлично поддерживают сектора любого размера. Проблема в другом - их не поддерживает "другая ось", и ориентируясь на нее, производители жестких дисков над 4kb секторами сделали костыльную прослойку из-за которой ОС видны 8 512байтовыех секторов. Дальше - закон дырявых абстракций в действии. Под FreeBSD я никогда не выравнивал разделы по 63 секторам, во многом потому что никогда не использовал yблюдскую MBR разметку - это и без 4кб секторов было актуально на стрипах, иначе получался заметный оверхед.
А все что нужно сделать разработчикам - поменять дефолты на человеческие, и выковырять любые сообщения о "неверной геометрии" чтобы не смущать пользователей. Для FreeBSD это актуально - постоянно жалуются что sysinstall ругается на геометрию, когда никакой геометрии уже лет 5 как не существует.
Целиком поддерживаю. Кроме того, в freebsd-arch есть длинное обсуждение по этой теме:
http://lists.freebsd.org/pipermail/freebsd-arch/2009-Decembe...
"Другая ось" их таки поддерживает. Молчком, но поддерживает. Вместо MBR давно можно использоваться EFI.
>"Другая ось" их таки поддерживает. Молчком, но поддерживает. Вместо MBR давно можно
>использоваться EFI.самая свежая и перед этим - да.
а самая популярная - нет.
>это и без 4кб секторов было актуально на стрипахСм. тж. http://www.pythian.com/blogs/411/aligning-asm-disks-on-linux и другие ссылки внизу http://freesource.info/wiki/HCL/XranenieDannyx/SoftwareRAID (гругря "пропускаем первый мегабайт, если уж надо dos partition table").
Э-э-э-э , типа# mkfs.reiserfs -b 4096
# mkfs.ext[234] -b 4096 -I 4096
# mkfs.btrfs -s 4096
# mkfs.cramfs -b 4096
...
XFS только 2k понимает.
man mkfs.xfs
-s sector_size
The default sector_size is 512 bytes. The minimum value for sector size is 512; the maximum is 32768 (32 KiB).
>man mkfs.xfs
>-s sector_size
>The default sector_size is 512 bytes. The minimum value for sector
> size is 512; the maximum is 32768 (32 KiB).
>-i ?
-i inode_options
это размер индексного дескриптора
>-i inode_options
>это размер индексного дескриптораНу... для Линя минимальная лог. ед. это же инода.
Чудесно начинают работать харды, когда inode = sector = block (ака BLK_SIZE || PAGE_SIZE)
Итак? На чём сошлись?
/me как раз собирался взять такой диск от WD
>Итак? На чём сошлись?
>/me как раз собирался взять такой диск от WD/me мацал и такой и от самсунга. Опыт показал, что самсунг холоднее на боллее чем 10 градусов (два месяца аптайм), и на 10-20% производительнее в режиме NAS / динамические диски. Корейцы одерживают Win.
>>Итак? На чём сошлись?
>>/me как раз собирался взять такой диск от WD
>
>/me мацал и такой и от самсунга. Опыт показал, что самсунг холоднее
>на боллее чем 10 градусов (два месяца аптайм), и на 10-20%
> производительнее в режиме NAS / динамические диски. Корейцы одерживают Win.
>Что за модель? :) я хочу 1-1.5tb
>>Итак? На чём сошлись?
>>/me как раз собирался взять такой диск от WD
>
>/me мацал и такой и от самсунга. Опыт показал, что самсунг холоднее
>на боллее чем 10 градусов (два месяца аптайм), и на 10-20%
> производительнее в режиме NAS / динамические диски. Корейцы одерживают Win.
>IMHO. Диски от гнусмаса одноразовое гуано. Найти к ним tools для низкоуровневого форматирования невозможно так как компания позиционирует свое поделие так как я сказал.
Посему любая ошибка которая лечится такой тулзой заставляет эти диски, по причинине отсутствия оной, выкидывать на помойку.
>>осему любая ошибка которая лечится такой тулзой заставляет эти диски, по причинине отсутствия оной, выкидывать на помойку.Samsung, не Seagate - у них багов с переполнением логов и необходимости перепрошиваться пока не было. Вообще самые надёжные винты - проверено сервисом. Ручное вмешательство в их работу не требуется.
>Samsung, не Seagate - у них багов с переполнением логов и необходимости
>перепрошиваться пока не было. Вообще самые надёжные винты - проверено сервисом.Не могу согласиться -- угораздило купить один 2.5", после этого пришлось выгуглить, что прошивки у корейцев до сих пор сильно хромые насчёт ремапа. То есть пока всё хорошо -- ура, но вот когда начнётся плохо (наблюдается тенденция "вскоре после окончания гарантийного срока") -- может быть плохо совсем.
У Seagate ES.2 объёмами ~500--1000Gb были проблемы с задранной плотностью адаптивного форматирования первых треков -- поставщик советовал отбить первый гиг и не трогать. 7200.9 (200/400Gb как минимум) сыпались чуть ли не от прикосновения к верхней крышке, про терабайтники тоже много страшных отзывов -- решил не экспериментировать.
Так что кто как, а я из SATA предпочитаю Hitachi/WD.
> HitachiНу Hitachi - гно. В массиве из 6 дисков на 3 постоянно есть сектора, которые не читаются, но и не реаллокейтятся - выявляются ZFS scrub'ом. Т.е. по сути, не в составе RAID с избыточностью это г-но использовать нельзя. Просто курам на смех.
Я вот думаю что купить из 2TB - явно не хитачи, тем более у них 2TB убогие пятипластинчатые. Самсунги это х* с горы, к ним никакого доверия (тем более ecogreen F2 показывали падение скорости в 10 раз при многопоточном чтении. 2TB у них F3, но все же) - значит seagate или вестерны, третьего не дано.
>[...] Т.е. по сути, не в составе RAID с избыточностью
>это г-но использовать нельзя. Просто курам на смех. [...]
>Я вот думаю что купить из 2TB - явно не хитачи, тем
>более у них 2TB убогие пятипластинчатые.Вы, как бы это сказать помягче, "воинствующий чайник". :(
Во-первых -- есть проблемы, замените поштучно запасным и тащите по гарантии. Вне зависимости от производителя конкретного диска.
Во-вторых -- много пластин => много головок и треков под ними, что хуже по части механики, но повышает шанс попадания нужных данных без сика.
В-третьих, у hitachi унаследован ibm'овский микрокод -- и как раз у пятиблинников поведение на многопоточной нагрузке (или Ваш страйп хранит кэш /dev/random для одного пользователя?) обычно схожее на Ultrastar или вообще на SAS:
http://www.fcenter.ru/online.shtml?articles/hardware/hdd/278...JFYI, на ftp.linux.kiev.ua четыре диска из восьми (это уже третья пачка хитачей) -- как раз пятиблинные HDS721010KLA330, безупречно себя ведущие уже год под постоянной нагрузкой.
>значит seagate или вестерны, третьего не дано.
Успокойтесь, сядьте поудобней и почитайте хотя бы обзор по ссылке. Совпадает с моим опытом -- Hitachi или WD, а третьего в этом сегменте действительно толком нет. А жаль.
У меня на хозяйстве в разные годы бывали и те, и те, и те -- и сейчас есть разные; Seagate последние лет пять предпочитаю избегать, слишком проблемные, а сейчас ещё и ничем полезным не выдающиеся.
>Ну... для Линя минимальная лог. ед. это же инода.inode это не данные и даже не метаданные и тем паче не лог. ед. Это только дескриптор данных. Ко всему прочему в xfs inodes сгрупированы по 64 айнода. Плюс ко всему в описании xfs от sgi не двусмысленно записано
sb_inodesize
Size of the inode in bytes. The default is 256 (2 inodes per standard sector) but can be made as large as 2048 bytes when creating the filesystem.
Честно говоря не фкурю зависимость :)
[512][512][512][512][512][512][512][512][512][512][512][512][512][512][512][512]
[ 4096 ][ 4096 ]Если у меня фаил 4Mb + 256 бaйт - какая мне х... разница,
что диск за одно обращение впишет 256 + 3768 нулей, что 256 + 256 нулей.
Обращение-то одно? И пипец, с сектором в 4K, 3 кило с лишним потеряем.
> И пипец, с сектором в 4K, 3 кило с лишним потеряем.Всё, вурил, - народ перестал покупать диски,
теперь у населения 1G картинок будет занимать 4Gb.
нормальные ФС заполняют остатки блоков совмещая хвосты нескольких файлов в одном блоке. А так да - конечно же это опять мировой заговор производителей железа.
>нормальные ФС заполняют остатки блоков совмещая хвосты нескольких файлов в одном блоке.Только не ясно как работает диск при этом??? Ведь для него же одна логическая ед. это 1 сектор.
Можно, наверно как-то так...
[ 512 ][ 512 ][ 512 ][ 512 ][ 512 ][ 512 ][ 512 ][ 512 ]
[ 4096 ]
[sdfr00000000000000000000000000000000000000000000000000000000000000000]
считать сектор, если не все нули, тогда найти диапазон от 0 и до конца сектора.
записать в переменную 3768 байт и записать новую инфу обратно в этот сектор.
Жалко что харды не умеют журналировать :)
Они своим смартом занимаются, куда им ещё журналировать :)
>нормальные ФС заполняют остатки блоков совмещая хвосты нескольких файлов в одном блоке.Не знаю как "нормальные", а конкретно для reiserfs 3.6 рекомендуется -o notail.
А размер блока файловой системы у тебя тоже 512? :) Обычно больше. Зато тысяча четырехкилобайтных блока займет _физически_ на блине меньше места чем 8 тысяч 512-байтных блоков, поэтому и быстрее считается при прочих равных.
Как сказали знающие люди, parted уже умеет правильно работать с 4к сектором, шумиха высосана из пальца.
>Как сказали знающие люди, parted уже умеет правильно работать с 4к сектором,
>шумиха высосана из пальца.пруфф? ещё лучше если на релизченджлог, или на коммит мессадж.
Читаем каменты к статье по первой ссылке в новости.
или читаем на первоисточнике, http://www.gnu.org/software/parted/features.shtml :
Support for logical sector sizes not equal to 512А вот и цитата из FAQ (http://www.gnu.org/software/parted/faq.shtml):
Does GNU Parted support physical sector sizes not equal to 512?
Starting from 1.7, GNU Parted will automatically align partitions to the physical sector size reported by an ATAPI-compliant drive.
Замечу так же, что parted 1.7.1 лежит на ФТП с 27.05.2006, т.е. проблемы нет уже более двух с половиной лет. Но слоупоки, юзающие fdisk, такие слоупоки :)
Мне пару дней назад подарили такой 2Тб винт WD20EARS с 4Кб секторами. Жалко, что WD не оставила возможности выключить в своих винтах ублюдочный режим эмуляции 512-байтных секторов. Я бы предпочёл ручками выровнять разделы и создать ФС с 4Кб блоками, чем наблюдать падение производительности при записи мелких файлов.
>Мне пару дней назад подарили такой 2Тб винт WD20EARS с 4Кб секторами.
>Жалко, что WD не оставила возможности выключить в своих винтах yблюдочный
>режим эмуляции 512-байтных секторов. Я бы предпочёл ручками выровнять разделы и
>создать ФС с 4Кб блоками, чем наблюдать падение производительности при записи
>мелких файлов.Противоречия тут не находите?