|
2.2, ВовкаОсиист (ok), 11:29, 02/06/2012 [^] [^^] [^^^] [ответить]
| +3 +/– |
не идиоты же пишут, там куча реализаций крк32 под разные процессорные возможности.
| |
2.3, Анонимус_б6 (?), 11:29, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
видимо в зависимости от проца, я надеюсь он догадался поюзать все современные оптимизации?
| |
|
|
4.13, ананим (?), 13:04, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Да. В ядре.
Достаточно посмотреть его исходники. Или хотя бы 1 раз его собрать самому и посмотреть параметры.
Зыж
Кстати сабж — это один из пунктов в пользу монолитности ядра.
| |
4.28, BratSinot (?), 16:45, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Кстати сабж — это один из пунктов в пользу монолитности ядра.
В каком месте это вообще здесь уперлось? На микро/экзо/нано ядрах нет файловой подсистемы? Нет возможности использовать алгоритмы хеширования?
| |
|
5.31, Аноним (-), 17:03, 02/06/2012 [^] [^^] [^^^] [ответить]
| +3 +/– |
> подсистемы? Нет возможности использовать алгоритмы хеширования?
Там счет crc32 покажется ерундой на фоне постоянного переключения контесктов :)
| |
|
6.73, Аноним (-), 21:21, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
А разве такое выносится в отдельный процесс? Просто будет библиотека, оптимизированная для каждого процессора, со статической линковкой, которую подключат нужные компоненты микроядра.
| |
|
7.74, ананим (?), 21:39, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Вы вообще понимаете что говорите?
Где статическая (да и любая другая) линковка и где контекст выполнения.
| |
|
6.94, Voviandr (??), 23:43, 02/06/2012 [^] [^^] [^^^] [ответить] | +1 +/– | цитата Зубинского в контексте микторядра MINIX 3 За всякое улучшение надо п... большой текст свёрнут, показать | |
|
7.141, Аноним (-), 00:59, 04/06/2012 [^] [^^] [^^^] [ответить] | +3 +/– | Да забодали вы с вашими сферическими конями в вакууме Сделайте практическую реа... большой текст свёрнут, показать | |
|
|
9.166, Аноним (-), 02:29, 04/06/2012 [^] [^^] [^^^] [ответить] | –2 +/– | У меня есть валидное оправдание я на уровне инженерной интуиции вполне могу пре... большой текст свёрнут, показать | |
|
|
|
|
5.52, ананим (?), 18:58, 02/06/2012 [^] [^^] [^^^] [ответить] | +1 +/– | Куча профильных ошибок для специалиста если вы специалист В том то и дело что... большой текст свёрнут, показать | |
|
6.87, Аноним (-), 22:42, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> И они даже посикс (резко вспоминаем баг с крипто в фрибсд 2-а дня назад.
В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у него короткий. Уникальное сочетание отстойных свойств.
| |
|
7.106, Аноним (-), 09:31, 03/06/2012 [^] [^^] [^^^] [ответить]
| +2 +/– |
> В пингвине к счастью никто не страдает настолько упоротой некромансией чтобы использовать
> DES. DES вообще отстойный алгоритм: он и тормозной, и ключ у
> него короткий. Уникальное сочетание отстойных свойств.
Для вас это будет сюрпризом, но в библиотеке Glibc, которая используется почти во всех дистрибутивах Linux, в функции crypt по умолчанию используется как раз DES.
| |
|
8.130, Аноним (-), 22:11, 03/06/2012 [^] [^^] [^^^] [ответить] | +2 +/– | А причём тут glibc если crypt с DES это стандарт POSIX glibc наоборот добавляет... текст свёрнут, показать | |
|
|
|
|
|
|
2.6, Аноним (-), 12:04, 02/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
не должно просесть, здесь запись на диск намного тормознее вычисления crc
| |
|
|
|
5.35, Аноним (-), 17:32, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> А что покупают? SSD?
Примерно так. На механические диски цены после наводнения в тайване довольно конские.
| |
|
6.39, анон (?), 17:39, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
А как быть с большими объемами? Цены на SSD все еще довольно высокие.
Цены на HDD несколько снизились. Растущая конкуренция с SSD должна только способствовать снижению. В некоторой, не очень долгосрочной, перспективе все вернется на место. А пока я не вижу серьезной конкуренции между HDD и SSD при хранении большого количества данных (порядка ТБ).
ЗЫ И да, я админ локалхоста и в связи с этим имею ограниченные финансы.
| |
|
7.174, Аноним (-), 04:58, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> А как быть с большими объемами? Цены на SSD все еще довольно высокие.
Ну вот и выбираем между конскими ценами и еще более конскими :)
| |
|
|
|
|
3.17, Аноним (-), 14:58, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
угу. админ локал хоста замечен.
А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
| |
|
4.19, pavlinux (ok), 15:05, 02/06/2012 [^] [^^] [^^^] [ответить]
| –1 +/– |
А у меня дома RAID 60 на SAS SSD c суммарной записью 12Gb/s, (или мне это приснилось).
| |
|
|
6.143, pavlinux (ok), 01:01, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> а без SSD получить столько ?
Конечно нет, да и с SSD столько не получишь,
это ж маркетинг, как и 6Gb/s и 3Gb/s.
Реальные цифры, сейчас, это 600-800 Mb/s
| |
|
7.146, Аноним (-), 01:26, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
В моем случае увы не маркетинг. А реальная стойка с винтами - нечто типа того что продает netap
| |
|
|
|
4.30, Аноним (-), 16:59, 02/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
Если начальник не жмот, там и процы должны быть соответствующие.
| |
|
5.108, Аноним (-), 12:06, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
> Если начальник не жмот, там и процы должны быть соответствующие.
начальник не жмот - но вот в чем проблема - подсчет crc32 от такого потока - съедает 4 ядра и 12.
то есть сумарная производительность железки - падает ровно на столько же..
А ведь она могла бы заниматься еще чем-то - кроме как считать контрольные суммы.
Вторым аспектом - является дополнительная задержка - которую вносит эта операция в сумарное время выполнения. В случае MD операций - это очень важный показатель.
Хотя тем у кого обычный рабочий патерн куча больших файлов из которых читают (а не создают / удаляют постоянно временные файлы) - этого не понять.
| |
|
6.113, filosofem (ok), 13:07, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
А че за железка такая, у которой скорость рандомной записи на raid 6 сравнима со скорость подсчета crc? На массив из DDR дисков похоже =)
| |
|
7.179, Аноним (-), 09:54, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> А че за железка такая, у которой скорость рандомной записи на raid
> 6 сравнима со скорость подсчета crc? На массив из DDR дисков
> похоже =)
Можно сказать самосбор - аналоичный тому что продает NETAP. только у NETAP наружу выдается FC, а тут SAS шина.
| |
|
6.126, XoRe (ok), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
>> Если начальник не жмот, там и процы должны быть соответствующие.
> начальник не жмот - но вот в чем проблема - подсчет crc32
> от такого потока - съедает 4 ядра и 12.
По моему, в новости написано о том, что будет.
У вас, наверное реализовано что-то другое?
| |
|
7.178, Аноним (-), 09:52, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
У нас другое - но хорошо показывает использования CPU на больших потоках данных, для вычисления crc32 даже используя crc32_hw инструкцию в последних CPU имени интела.
| |
|
8.190, XoRe (ok), 17:56, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– |  А у вас проверяются данные, или мета данные Наверное, у вас данные - тогда поня... текст свёрнут, показать | |
|
|
10.213, XoRe (ok), 22:54, 08/06/2012 [^] [^^] [^^^] [ответить] | +/– |  Просто вы написали подсчет crc32 от такого потока - съедает 4 ядра и 12 Вы не... текст свёрнут, показать | |
|
|
|
7.181, Аноним (-), 10:01, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>>>> А что бы данный админ сказал о raid6 который имеет сумарную скорость записи 3ГБ/с ? и чтение около 6.
>>> Если начальник не жмот, там и процы должны быть соответствующие.
>> начальник не жмот - но вот в чем проблема - подсчет crc32
>> от такого потока - съедает 4 ядра и 12.
> По моему, в новости написано о том, что будет.
> У вас, наверное реализовано что-то другое?
Кстати в догонку - лучше бы сделали поддержку T10 DIF/DIX. Хотя бы половина задачи (проверка) выполнялась бы не CPU, а HBA или диском - все же достаточно разгрузило бы камешек.
| |
|
|
|
4.125, XoRe (ok), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> угу. админ локал хоста замечен.
> А что бы данный админ сказал о raid6 который имеет сумарную скорость
> записи 3ГБ/с ? и чтение около 6.
Ну, положим не ГБ, а Гб ...
Предполагаю, что сие можно будет отключить, когда оно будет реализовано.
| |
|
5.147, Аноним (-), 01:28, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> угу. админ локал хоста замечен.
>> А что бы данный админ сказал о raid6 который имеет сумарную скорость
>> записи 3ГБ/с ? и чтение около 6.
> Ну, положим не ГБ, а Гб ...
> Предполагаю, что сие можно будет отключить, когда оно будет реализовано.
Ну допустим именно 3ГБ/с - 4 контролера на 6 Gb/s и backplane на 24 sas диска
| |
|
|
3.32, Аноним (-), 17:04, 02/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
> не должно просесть, здесь запись на диск намного тормознее вычисления crc
А если pci-e ssd взять? :)
| |
|
4.55, Аноним (-), 19:45, 02/06/2012 [^] [^^] [^^^] [ответить]
| +9 +/– |
вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки может хватит мозги прочитать CRC чего там начали считать? Попробую напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO операцию.
| |
|
5.109, Аноним (-), 12:08, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд
> выдаёт 3гбс, другие ssd во все щели пихают. У кого-то таки
> может хватит мозги прочитать CRC чего там начали считать? Попробую
> напомнить - метаданных. Теперь посчитай сколько обновлений метаданных приходится на IO
> операцию.
на каждую операцию операцию с диском приходится ровно одна операция с MD.
видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу.
а значит выполняется операция записи в журнал и обновление метаданных на диске.
мисье этого не знал ?
| |
|
6.114, filosofem (ok), 13:17, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении к файлу.
Насчет упоротых соглашусь с предыдущим Анонимом.
| |
|
7.150, Аноним (-), 01:35, 04/06/2012 [^] [^^] [^^^] [ответить] | –1 +/– | gt оверквотинг удален Упроотые это все тестировали и писали реализаю этого ког... большой текст свёрнут, показать | |
|
8.180, Аноним (-), 09:56, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | gt оверквотинг удален ах да, забыл - когда у тебя один raid 5,6 тогда io AT д... большой текст свёрнут, показать | |
|
9.191, Аноним (-), 17:59, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | gt оверквотинг удален welcome to HPC world пример - Cray acceptance testing п... большой текст свёрнут, показать | |
|
|
11.203, Аноним (-), 12:07, 05/06/2012 [^] [^^] [^^^] [ответить] | +/– | вы твердо уверены что MD операции могут выполняться паралельно в одной директори... большой текст свёрнут, показать | |
|
|
|
|
|
6.131, Аноним (-), 22:14, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> на каждую операцию операцию с диском приходится ровно одна операция с MD.
> видимо все забывают что по умолчанию ext4 обновляет atime при каждом обращении
> к файлу.
Ты откуда вылез? ext уже лет 5 как монтируется по умолчанию с relatime
| |
|
5.144, Аноним (-), 01:03, 04/06/2012 [^] [^^] [^^^] [ответить]
| –1 +/– |
> вы все здесь какие-то все упоротые собрались. У какого-то придурка там рейд
> выдаёт 3гбс, другие ssd во все щели пихают.
А мы виноваты что технологии - вот они. Пошел в магазин да купил. Упоротый - это тот кто зациклился на своем ноутбучном венике и дальше своего носа ничего не видит.
> Попробую напомнить - метаданных. Теперь посчитай сколько обновлений
> метаданных приходится на IO операцию.
Для начала объясните:
1) Нафига?
2) Что это по вашему мнению покажет и докажет?
| |
|
6.196, all_glory_to_the_hypnotoad (ok), 23:38, 04/06/2012 [^] [^^] [^^^] [ответить]
| +2 +/– |
Я, честно говоря, свосем не понял вашего вопроса. А именно что вы там в магазине купите и что именно пояснить. Если не затруднит, то давайте не расчитывать на то, что я такой же аутист как и вы и пойму всё с двух слов.
Прежде чем ещё раз задавать мне по несколько раз один и тот же ответ, то потрудитесь, пожалуйста, оценить, сколько дополнительных IOPSов в % соотношении выдаст расчёт CRC метаданных в любимом для вас профиле нагрузке на ФС.
Или вам кажется, что достаточно сходить в магазин, купить чего-нить и устроить истерику на счёт 3гбс и CRC?
| |
|
|
|
|
|
1.5, Аноним (-), 11:53, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
И как оно будет работать? Ну вырубися у меня комп во время записи, файл не записался и что будет? Выяснит он, что контрольная сумма не сходится, но данные то потеряются?
Журналы то вообще я правильно понимаю? Есть 2 журнала, сначаа в первый пишется, что что файл такой-то изменился, потом он меняется (если в этот момент ошибка то во второй журнал не пишется и изменение потом откатывается) затем, если все ОК, то пишется во второй журнал.
| |
|
2.18, pavlinux (ok), 15:00, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> И как оно будет работать? Ну вырубися у меня комп во время
> записи, файл не записался и что будет?
Ну ёбни по диску кувалдой во время записи и проверь что будет. :)
CRC используются проверки корректности данных.
| |
|
3.37, Аноним (-), 17:35, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> CRC используются проверки корректности данных.
здесь — метаданных
| |
|
4.64, pavlinux (ok), 20:35, 02/06/2012 [^] [^^] [^^^] [ответить]
| –1 +/– |
>> CRC используются проверки корректности данных.
> здесь — метаданных
псевдо-, мета-, квази-, суб-, ... в общем данных.
| |
|
|
2.21, анон (?), 15:22, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Сохранность данных во время операций записи, связанная со сбоями оборудования, н... большой текст свёрнут, показать | |
|
3.41, Аноним (-), 17:40, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
В т ч забота ФС. Журналирование - попытка решить эту проблему. Не важно что отказало оборудование или софт повис.
Конечно можно обеспечить избыточность другим способом, в т ч рейдами и снэпшотами, но на каждый комп это не поставишь как и ибп.
| |
|
4.46, анон (?), 18:15, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Заботой ФС это было бы в том случае, если бы она это могла сделать хотя бы теоре... большой текст свёрнут, показать | |
|
5.98, Аноним (-), 01:36, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
А также ECC память, проверка целостности каждого блока данных записанного на диск (не помню как зовется технология) и еще много чего, но 100% гарантия вряд ли достижима на практике. Естественно, на серверах с важными данными девяток в этой цифре должно быть ооочень много.
ext4 работает на куче простых устройств и компов, стрелять из пушки во воробьям (внедряя абсолютно все технологии по защите данных) тоже не стоит.
| |
|
6.115, анон (?), 13:35, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Проверка целостности данных, на сколько я знаю, происходит при передаче через интерфейс диска и при считывании с диска (за счет этого работает внутренняя диагностика), так что за данные записанные/считанные с диска можно практически не беспокоиться. Про контроллеры и отслеживание ошибок в них ничего не знаю.
А на счет пушки и воробьев, то да, согласен полностью, от включения проверок всегда и везде большого толку не будет, а минусы в виде сложности (потенциально больше ошибок), тотальной "велосипедности", снижения производительности и гибкости, гарантированы.
| |
|
5.102, Аноним (-), 02:03, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> это сложная операция над большим количеством данных
Ман версионные FS. Никакой атомарности нам нахрен не нужно.
| |
|
6.110, анон (?), 12:41, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
На сколько понял, разница с обычными ФС только при изменении данных, т.е. они не изменяются, а создается измененная копия (версия). Как это решает проблему записи данных на диск непонятно. То, что ФС позволяет откатиться назад, к валидному состоянию, так это решает проблемы исключительно самой ФС и не решает проблемы пользователя, гарантируя целостность его данных.
| |
|
7.148, Аноним (-), 01:30, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | Да При том только измененных блоков И меняются структуры описывающие размещени... большой текст свёрнут, показать | |
|
8.167, анон (?), 02:32, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | В контексте обсуждений это та же хрень, что и с журналом, только сбоку Тут обсу... текст свёрнут, показать | |
|
|
6.152, Аноним (-), 01:37, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Ман версионные FS. Никакой атомарности нам нахрен не нужно.
С этой точки зрения атомарность - костылик обычным ФС по сути :). А у этих некое подобие оной само получается, за счет принципов работы.
| |
|
7.168, анон (?), 02:39, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> Ман версионные FS. Никакой атомарности нам нахрен не нужно.
> С этой точки зрения атомарность - костылик обычным ФС по сути :).
> А у этих некое подобие оной само получается, за счет принципов
> работы.
Атомарность - свойство, а не сущность, т.е. иными словами не может быть костылем по определению. Или я не понял что вы имеете под словом "костыль". А потом, какая разница введена она в дополнение к уже спроектированной архитектуре или заранее включена в нее при проектировании. Главное конечный результат.
ЗЫ Вы очень вольно разделяете "обычные ФС с костыликом" и "остальные". Так уж заведено, что универсальных и в то же время самых лучших вещей не бывает, так что где-то ZFS, а где-то и FAT лучший выбор.
| |
|
|
|
4.56, Аноним (-), 19:50, 02/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
Журнал решает совсем другую проблему - поддерживает целостность самой ФС, а не данных. Избыточность и сохранность уже существующих данных пока что умеет фс типа ZFS и прочие, которые умеют делать реплики на несколько физически разных носителя. И таки да, это забота ФС в частности, но не все это умеют
| |
|
3.129, Аноним (-), 20:43, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>Сохранность данных во время операций записи, связанная со сбоями оборудования, не забота ФС может есть и такие, но я о них не знаю, да и не интересовался)
кто сказал zfs?
| |
|
4.132, анон (?), 22:14, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
И она конечно гарантирует, что например при отключении питания все данные будут записаны? Не смешите.
| |
|
5.165, Аноним (-), 02:10, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> И она конечно гарантирует, что например при отключении питания все данные будут
> записаны? Не смешите.
Такие ФС гарантируют что у вас или уж старая версия файла, или новая. А не непойми что, когда половина новое а половина старое. Так что вообще фиг такой файл прочтешь.
| |
|
6.169, анон (?), 02:41, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> И она конечно гарантирует, что например при отключении питания все данные будут
>> записаны? Не смешите.
> Такие ФС гарантируют что у вас или уж старая версия файла, или
> новая. А не непойми что, когда половина новое а половина старое.
> Так что вообще фиг такой файл прочтешь.
К сожалению тут, как уже отписался выше на 1 пост, обсуждается мной озвученная ситуация с отключением питания.
| |
|
|
|
|
2.33, Аноним (-), 17:26, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Во первых, журнал - один В него сначала пишутся намерения Если облом на этой ф... большой текст свёрнут, показать | |
|
3.38, Аноним (-), 17:38, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
В COW тоже накладные расходы высокие. При изменении файла, он еще и копируется в другое место.
Я так понял, в ext4 журналируются только или в основном метаданные. По данным гугля это съедает 20% скорости. Сам гугль отказался от журналирования в чего-то редового, об этом писали.
| |
|
4.47, ананим (?), 18:34, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Глупости.
Пишется в новое место только блок/кластер/сектор(зависит от термина минимального объёма данных конкретной фс), который был подвергнут изменению.
Очевидно что это такой же объём, если бы он писался в тоже место.
| |
|
5.57, Аноним (-), 20:00, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
такой же объём для сектора, но никто не гранулирует по секторам. Грануляция идёт по кластерам (везде), но это не самое главное и мелочь. А главное, что одна операция COW, пусть даже одного кластера, может породить ещё целую кучу IOPSов т.к. это требует обновление "деревьев" карт и прочих метаданных. И тут именно IOPSы, не просто линейное чтение/запись, что может оказаться весьма затратным.
| |
|
6.80, ананим (?), 21:55, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
:D
Всё верно... почти.
Вот только всё ЭТО только отговорка от темы "перезаписи всего файла" :D
Зыж
"Пересборка деревьев и тд" в памяти и сброс потом (!!!) на диск не более затратен, чем тоже журналирование сабжа.
А местами и менее.
| |
|
7.83, ананим (?), 22:01, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Ззыж
> Грануляция идёт по кластерам (везде), но это не самое главное и мелочь.
Во-первых это вопрос терминологии.
Во-аторых размер сектора бывает разный. (А теперь и блока)
В-третьих блок в фс и блок на диске — разные понятия.
Мы говорим именно о блоке в фс (в zfs к примеру до 128кб. Или уже больше можно).
| |
|
8.149, Аноним (-), 01:32, 04/06/2012 [^] [^^] [^^^] [ответить] | –2 +/– | А все-равно тупо У нормальных людей нормальные экстентные аллокаторы уж давно, ... текст свёрнут, показать | |
|
7.86, Аноним (-), 22:36, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
какая разница где она происходит, этот процесс порождает несколько грязных кластеров которые тоже нужно сбрасывать.
| |
|
|
|
4.145, Аноним (-), 01:17, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | Никуда там файл не копируется При записи изменений 1 В сторонку пишется блок ... большой текст свёрнут, показать | |
|
|
|
1.14, АнонимЪ (?), 14:01, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Если формат метаданных изменился, значит получается несовместимость с предыдущими версиями ядра?
| |
|
2.23, анон (?), 15:31, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Вариант с простым игнорированием данной информации более ранними версиями Вами не рассматривается в принципе?
| |
|
1.15, anonymous (??), 14:14, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Не совсем понятно это чего ? Что разе ехт4(ехт2) не могла чекать данные ?
А другие фс ?
| |
|
|
3.92, anonymous (??), 23:33, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> разрушение метаданных может вынудить fsck порубить нормальные данные в капусту.
Это понятно. Понятно даже почему это было на кассетах от БК,
но как это может произойти на винте не очень понятно, кто поцарапает то его ?
P.S. Нужно было тогда уж не црц пихать а уж сразу пихать что то типа -
https://en.wikipedia.org/wiki/Reed–Solomon_error_correction вот тогда был бы профит !
| |
|
4.154, Аноним (-), 01:40, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Это понятно. Понятно даже почему это было на кассетах от БК,
Наверное потому что это файловой системой толком не являлось. А чексумм блоков сам по себе - не больно какая ракетная наука.
| |
|
|
|
1.24, dalco (ok), 15:39, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +1 +/– |
Да, посмотрели разработчики на ZFS/BTRFS и закричали "мы тоже такое себе хотим" :)
P.S. Если бы этот патч еще и контрольные суммы данных проверял - вообще бы красота была.
| |
|
2.26, анон (?), 15:46, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Да, посмотрели разработчики на ZFS/BTRFS и закричали "мы тоже такое себе хотим"
> :)
> P.S. Если бы этот патч еще и контрольные суммы данных проверял -
> вообще бы красота была.
Зачем это надо не расшифруете?
| |
|
3.34, Аноним (-), 17:31, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Зачем это надо не расшифруете?
Чтобы обнаруживать сбои накопителей или линков к ним, например. В момент их появления, а не когда половина файловой системы превратится в какие-то макароны.
| |
|
4.44, анон (?), 18:00, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Во первых, на сколько мне известно, хранимая на винте информация п у имеет избы... большой текст свёрнут, показать | |
|
5.51, dalco (ok), 18:43, 02/06/2012 [^] [^^] [^^^] [ответить] | +2 +/– |  К сожалению, нет гарантии, что на винте записаны те самые данные, что мы хотели ... большой текст свёрнут, показать | |
|
6.53, анон (?), 19:12, 02/06/2012 [^] [^^] [^^^] [ответить] | –1 +/– | Ошибки интерфейса отлавливаются точно см SMART Буферная память ЖД также може... большой текст свёрнут, показать | |
|
7.62, dalco (ok), 20:19, 02/06/2012 [^] [^^] [^^^] [ответить] | +4 +/– |  В идеальном мире из идеальных программ и идеальной аппаратуры вообще ни журналов... большой текст свёрнут, показать | |
|
8.65, анон (?), 20:35, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Я говорил о реально отслеживаемых ошибках, а не о способах их диагностирования ... большой текст свёрнут, показать | |
|
9.67, Аноним (-), 20:47, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | кто будет восстанавливать запорченные реплики нормальными Что вы тут вещаете эт... текст свёрнут, показать | |
|
10.70, анон (?), 20:57, 02/06/2012 [^] [^^] [^^^] [ответить] | –2 +/– | То, что я вещаю есть способ решения задачи То, что Вы говорите заметьте отсу... большой текст свёрнут, показать | |
|
9.69, dalco (ok), 20:56, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– |  Имеет, к сожалению Целостность FS от всего вышеперечисленного нехило зависит И... большой текст свёрнут, показать | |
|
10.72, анон (?), 21:10, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | А то, что все это зависит от прямости рук админа От этого она не должна защищат... большой текст свёрнут, показать | |
|
11.75, dalco (ok), 21:39, 02/06/2012 [^] [^^] [^^^] [ответить] | +1 +/– |  Хм, попробую объяснить последний раз Есть железо, НЕидеальное железо Есть FS... большой текст свёрнут, показать | |
|
12.78, анон (?), 21:54, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– | Все, что я узнал из вашего поста - не хочу знать где как и что работает, хочу вс... текст свёрнут, показать | |
|
13.95, mix (??), 23:47, 02/06/2012 [^] [^^] [^^^] [ответить] | +/– |  страшно похоже на знакомую на шкуре полемику ленивого по определению админа и ... текст свёрнут, показать | |
|
|
|
16.128, dalco (ok), 19:11, 03/06/2012 [^] [^^] [^^^] [ответить] | +1 +/– |  Господа, все довольно просто Были времена, когда мне действительно было интере... большой текст свёрнут, показать | |
|
17.133, анон (?), 22:29, 03/06/2012 [^] [^^] [^^^] [ответить] | +/– | Так с этого и надо было начинать ИМХО все хорошее начинается с велосипедов и не... текст свёрнут, показать | |
|
16.136, Аноним (-), 22:51, 03/06/2012 [^] [^^] [^^^] [ответить] | +2 +/– | Ваша точка зрения не требует знаний, она ровно такая же модная как и все здесь о... большой текст свёрнут, показать | |
|
17.138, анон (?), 22:56, 03/06/2012 [^] [^^] [^^^] [ответить] | +/– | Ваше мнение очень важно для нас Ждите, мы сами Вам позвоним ЗЫ Еще один аноним... текст свёрнут, показать | |
|
|
|
|
|
|
|
|
|
|
|
|
5.155, Аноним (-), 01:49, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | Даже круче ECC, которая при сбое чтения пытается скорректироваться самим винтом... большой текст свёрнут, показать | |
|
6.193, анон (?), 22:13, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | И что вам не понравилось, будет ошибка - сообщит, будет исправимая ошибка - не с... большой текст свёрнут, показать | |
|
5.197, all_glory_to_the_hypnotoad (ok), 23:53, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Сам винт определяет (диагностирует) испорченные данные о чем непременно сообщит о сбое контроллеру.
ему аналог CRC нужен совсем по другой причине. Чтение с физического носителя идёт с ошибками и сумму контроллер диска использует для N-кратного перечтения сектора. Только если после M попыток так и не удалось считать блок, то получается ошибка IO. Это рядовое событие для диска (в смысле, перечтение сектора) и здесь нет наложения "уровней", сумма на диске служит совсем иным целям.
| |
|
6.198, анон (?), 00:45, 05/06/2012 [^] [^^] [^^^] [ответить] | +/– | Во-первых, спасибо за детали работы, не знал, хоть к делу это и не имеет отношен... большой текст свёрнут, показать | |
|
|
8.204, анон (?), 13:54, 05/06/2012 [^] [^^] [^^^] [ответить] | +/– | Приведу ссылку http rlab ru doc s m a r t html 1511 и цитату Это лишь приме... большой текст свёрнут, показать | |
|
|
10.210, анон (?), 23:43, 05/06/2012 [^] [^^] [^^^] [ответить] | +/– | Вы либо студент-идиот, либо умело здесь им прикидываетесь Я разговариваю с вами... текст свёрнут, показать | |
|
|
|
|
6.199, анон (?), 00:47, 05/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Да, во избежание недопонимания из-за многабуков, обсуждаемые контрольные суммы относятся к данным пользователя ФС, а не к ее метаданным.
| |
|
|
|
|
2.59, Аноним (-), 20:02, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> P.S. Если бы этот патч еще и контрольные суммы данных проверял - вообще бы красота была.
ты же сам сбежишь от такой ФС первым.
| |
|
1.25, Crazy Alex (??), 15:44, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| –1 +/– |
Я один не вижу use case для этого? Там, где нужна надёжность, подсчётом контрольных сумм (всех! не только метаданных) занимается слой RAID, а где его нет - значит не больно-то и надо.
| |
|
|
3.42, Crazy Alex (??), 17:44, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Ну так вам либо хоть как-то важны данные (тогда их надо бэкапить или хотя бы резервировать и проверять не только метаданные) либо вы готовы их потерять раз в три года, что для домашних или офисных машин вполне норма. Рейд сейчас поднять - невелика проблема, чй, не 15 лет назад, когда для этого обязательно нужен был аппаратный контроллер.
| |
|
4.135, Аноним (-), 22:37, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер.
| |
|
5.162, Аноним (-), 02:03, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер.
Смотря где. В ряде случаев можно и без него. В том плане что это просто кучка sata или чего там еще, а не нечто умеющее RAID аппаратно.
| |
5.187, schwed (?), 14:02, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>И сейчас ничего не изменилось - по-прежнему нужен аппаратный контроллер
Изменилось - раньше он был _необходим_
| |
|
|
|
2.60, Аноним (-), 20:07, 02/06/2012 [^] [^^] [^^^] [ответить]
| –1 +/– |
придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
| |
|
3.79, Аноним (-), 21:54, 02/06/2012 [^] [^^] [^^^] [ответить]
| +2 +/– |
> придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и шестой уровни рейда?
| |
|
4.91, iZEN (ok), 23:26, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
> Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и шестой уровни рейда?
А это что-то меняет?
Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6), чего не может RAID-1? (Я совсем не имею в виду задействование ещё одного HDD и генерирование CRC в полосе RAID-5 _при_записи_). Давайте узнаем ваши познания в области RAID-5(-6), когда данные просто считываются с них: что у них по-другому, и чем они в чтении отличаются от RAID-1?
| |
|
5.93, Аноним (-), 23:40, 02/06/2012 [^] [^^] [^^^] [ответить]
| +2 +/– |
> что у них по-другому, и чем они в чтении отличаются от RAID-1?
Если не знаете - книжки почитайте, статьи. Зачем к людям-то приставать?
| |
5.156, Аноним (-), 01:52, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6),
> чего не может RAID-1?
Raid-6 может задетектить сбойный диск. Ценой за это является лишний шпиндель пущенный на коррекцию ошибок. Грубо говоря если есть N дисков одинакового размера, емкость RAID6 будет (N-2) * размер 1 диска. То-есть, если дисков 3 то эффективная емкость как у 1 диска. Если 4 - как у 2. Если 5 - как у 3. Так что конфиг с менее чем 4 дисками в RAID6 не имеет особого смысла.
| |
|
6.173, iZEN (ok), 03:50, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> Что конкретно, на ваш взгляд, при нормальной работе может _дополнительно_ обеспечить RAID-5(-6),
>> чего не может RAID-1?
> Raid-6 может задетектить сбойный диск.
Современные hard- и soft-контроллёры RAID-1 тоже. И что?
> Ценой за это является лишний шпиндель пущенный на коррекцию ошибок.
Эта цена при нормальном-то чтении? Но с какой стати?
Мне всегда думалось, что цену за коррекцию ошибок в RAID-5(-6) мы платим только в случае аварийной работы массива — при вылете одного (двух) носителей.
Полный страйп (набор) данных вместе с кодом его коррекции мы получаем одновременно со всех шпинделей, поэтому скорость чтения с исправного RAID-5(-6), действительно, почти прямо пропорциональна количеству дисков в массиве, при этом код коррекции не используется, так как не нужен — восстанавливать ничего не требуется.
А вот когда RAID-5(-6) переходит в аварийный режим работы (описываю цену), то тут подключается процессор контроллёра (или CPU в soft-RAID) для вычисления недостающих данных набора по оставшимся в живых, и мы получаем тот же самый страйп (набор) данных, как если бы ничего не произошло, но уже знаем, что вылет ещё одного шпинделя из массива — фатален.
> Грубо говоря если есть N дисков одинакового размера,
> емкость RAID6 будет (N-2) * размер 1 диска. То-есть, если дисков
> 3 то эффективная емкость как у 1 диска. Если 4 -
> как у 2. Если 5 - как у 3. Так что
> конфиг с менее чем 4 дисками в RAID6 не имеет особого
> смысла.
Да ладно.
| |
|
|
4.118, Михрютка (?), 14:04, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> придурок, рейд не обеспечивает проверку данных, он _не_ считает контрольные суммы и может вернуть херню.
> Какой умный и вежливый аноним. Вы когда-нибудь слышали, как работают пятый и
> шестой уровни рейда?
неужели ж 5 и 6 рейды чексуммят мою ФС? осподи, чего только на опеннете не прочитаешь.
| |
|
5.159, Аноним (-), 02:00, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> неужели ж 5 и 6 рейды чексуммят мою ФС?
В какой-то роде. В общем случае код коррекции ошибок является и кодом детектирования ошибок. Или по хомячковому - чексуммой :)
| |
|
6.205, Михрютка (?), 15:54, 05/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
грамотей-опричник в треде?
> В какой-то роде.
you doing it wrong.
> В общем случае код коррекции ошибок является и кодом
> детектирования ошибок. Или по хомячковому - чексуммой :)
ну-ну. я ж говорю, чего только на опеннете не начитаешься.
| |
|
|
|
|
|
3.88, Crazy Alex (??), 22:54, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Ну так вероятность ошибки в логике Ext4 ничуть не меньше чем вероятность ошибок в логике RAID5.
| |
|
4.96, Михрютка (?), 00:52, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Ну так вероятность ошибки в логике Ext4 ничуть не меньше чем вероятность
> ошибок в логике RAID5.
и что?
| |
|
|
6.117, Михрютка (?), 14:01, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> В чём хинт-то?
не тупи. контроль целостности данных на уровне ФС и контроль целостности данных на уровне СХД никак не связаны между собой.
| |
|
|
8.127, а (?), 18:48, 03/06/2012 [^] [^^] [^^^] [ответить] | +/– | вы чего такое все курите аппаратный ECC в SDRAM может спасти от разрушения дан... текст свёрнут, показать | |
|
|
|
|
|
|
|
1.29, Аноним (-), 16:57, 02/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно действительно, чтобы понять, какая из черепашек говорит неправду.
| |
|
2.43, Crazy Alex (??), 17:45, 02/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
> Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно
> действительно, чтобы понять, какая из черепашек говорит неправду.
Вот-вот. Здесь оно на месте было бы.
| |
2.50, анон (?), 18:40, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Имхо, бесполезно. Лучше бы для RAID1 такое сделали - вот там оно
> действительно, чтобы понять, какая из черепашек говорит неправду.
Просто ради интереса, по сообщениям с RAID контроллера или из SMART нельзя это определить? Сам с RAID на практике не сталкивался.
| |
|
3.54, Аноним (-), 19:40, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Просто ради интереса, по сообщениям с RAID контроллера или из SMART нельзя это определить? Сам с RAID на практике не сталкивался.
А если они ничего не говорят, а данные с зеркал приходят разные?
| |
|
4.61, анон (?), 20:18, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Тогда как гарантированно определить что это не контроллер?
| |
4.63, анон (?), 20:21, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
И да, это реальная ситуация или из раздела "Истории одного анонимуса"? Если реальная, то как все же определили какой?
| |
|
5.77, Аноним (-), 21:53, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Если реальная, то как все же определили какой?
От балды. Одно из зеркал назначается "первичным", и при несовпадении данных, блок копируется с первичного зеркала на остальные. Если сбой именно на первичном зеркале, а на остальных все правильно - извините, увы вам.
| |
|
6.84, анон (?), 22:09, 02/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> От балды. Одно из зеркал назначается "первичным", и при несовпадении данных, блок
> копируется с первичного зеркала на остальные. Если сбой именно на первичном
> зеркале, а на остальных все правильно - извините, увы вам.
А в логах ошибок при этом ни каких не пишется и SMART не меняется? Т.е. тупо по очереди проверяешь каждый диск из зеркала с целью найти корректный?
| |
|
7.157, Аноним (-), 01:55, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> А в логах ошибок при этом ни каких не пишется и SMART не меняется?
А вот это - "как повезет". Вообще, как бы не сильно то удобно и быстро SMART постоянно смотреть у винчей. И то что фирмварь сбоящего удосужится честно зарапортовать все как есть - это та еще лотерея.
| |
|
8.170, анон (?), 02:48, 04/06/2012 [^] [^^] [^^^] [ответить] | +/– | Т е валидность одного из зеркал определяется сторонними средствами относительно... текст свёрнут, показать | |
|
|
|
|
|
|
2.134, Аноним (-), 22:33, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Для RAID1 надо сделать скоростную доставку в ближайшую дурку. Бо находящие в здравом уме люди сию гадость не используют.
| |
|
1.104, Аноним (-), 03:44, 03/06/2012 [ответить] [﹢﹢﹢] [ · · · ]
| +/– |
Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?
| |
|
2.105, dalco (ok), 07:56, 03/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
Это делается проще. Берут другой алгоритм подсчета CRC и просчитывают им все тоже самое, что и первым. И если для блока данных совпадает и первая и вторая CRC, то вероятность, что с ним что-то не так, крайне мала.
| |
|
|
4.185, dalco (ok), 12:49, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
И да, и нет... Половинки мегаCRC получаются независимы друг от друга. Их вычислять легче в большинстве реализаций, более того, их даже вычислять одновременно можно и нужно попробовать.
И косвенно обе половинки друг-друга верифицируют. Если результаты обсчета блока данных совпали для обех контрольных сумм, считай, получили исправный блок данных с CRC повышенной длины. Не совпали для обоих - тоже все понятно. Совпали только для одной, значит с приличной вероятностью вторая CRC посчиталась неверно, а блок данных не при чем.
P.S. Все вышеописанное - imho. Если у вас есть убедительные аргументы против, то с интересом выслушаю.
| |
|
|
2.158, Аноним (-), 01:58, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
> Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?
Так, стоп, а кто будет проверять что вторые контрольные суммы - правильные? :)
| |
|
3.172, анон (?), 03:07, 04/06/2012 [^] [^^] [^^^] [ответить]
| +/– |
>> Интересно, а поддержка вторых контрольных сумм для проверки целостности этих уже запланирована?
> Так, стоп, а кто будет проверять что вторые контрольные суммы - правильные?
> :)
Если уж прикалываться, и делать контрольную сумму на контрольную сумму, то предложу свой вариант. Заводить 2 контрольных суммы не надо, надо лишь записать ее копию как можно дальше от первой так, чтобы вероятность повреждения обоих была минимальной (это порядка 95 или 97% будет если мне память не изменяет). При несовпадении вновь рассчитанной суммы с первой копией она сверяется со второй. Если есть совпадение, то данные верны, а одна из копий - повреждена, что указывает скорее всего на баг в коде работы с ФС. Если контрольные суммы равны, и не сходятся с рассчитанной, то данные испорчены.
| |
|
2.182, ыгчч (?), 10:34, 04/06/2012 [^] [^^] [^^^] [ответить]
| +1 +/– |
Вы бы хоть почитали что-нибудь про CRC вместо того чтобы бред нести.
| |
|
|