URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 65843
[ Назад ]

Исходное сообщение
"Проблема архивирования больших архивов, изменение контрольных сумм=("
Отправлено frank , 22-Апр-06 16:17

Добрый день!
Хотелось бы услышать мнения по моей проблеме.
Я приобрел сервер SuperMicro 5014C-MT ( http://supermicro.com/products/system/1U/5014/SYS-5014C-MT.cfm), память DDR II 1Gb, 2 винчестера Seagate 200Gb SATA 150 (RAID уровня 1)
Этот сервер работает как Вебсервер. (FreeBSD 6.0)
Проблема заключается в том что: при создании архивной копии сайта (500мб) создается архив 250мб. При проверке контрольной суммы днем - она постоянно меняется:
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = ab245ac93f5b44c9e31ada23b9cbff00
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = fab409dd6a3beed4a88ad446fc484f43
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = ccdadb89af48b4d11ba518e7e4242dac
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 94ed3a288f6c7a27a2cea92725943a88
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 0f1e122152708f833ddf1dd52b487afa
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 3bb88d7f65baef10bb7faf42149ad307
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
root# md5 _2006-04-21_05-00-01.tar.gz
MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
При архивации иногда архив становиться изначально битый.
Иногда архив распаковывается, но его контрольная сумма уже не та что была ранее.
Иногда архив нормальный, контрольная сумма верная но через какое то время начинает портиться. В основном все приводит к тому что архив получается битый.
Контрольная сумма файлов изменяется каждую проверку(см. выше)
Очень редко (относительно) программы sh, php, mysql, cron, sendmail, cut, ps, top, sed и др. без видимой причины начинают сбрасывать корки (Core Dumped).
Я долго над этим думал. Сначала мне казалось что это косячит RAID контроллер напару с SATA дисками.(При возникновении ошибки на диске - диск пытается сам ее исправить ничего не сообщив RAID контроллеру, и не отвечая на сигналы контроллера. Если пройдет таймаут 8с RAID контроллер отключат диск из массива....).
Теперь я думаю что это память всетаки. Поделитесь своим опытом и советами по данной проблеме. Как можно протестировать память чтобы найти в ней все косяки, и обменять по гарантии.(Если это дело в памяти)
Заранее спасибо за ответ!

Содержание

Проблема архивирования больших архивов, изменение контрольны...,lavr, 19:58 , 22-Апр-06
- Проблема архивирования больших архивов, изменение контрольны...,frank, 12:38 , 23-Апр-06
Проблема архивирования больших архивов, изменение контрольны...,Ilia Kuliev, 20:21 , 22-Апр-06
- Проблема архивирования больших архивов, изменение контрольны...,mes, 21:53 , 22-Апр-06
  - Проблема архивирования больших архивов, изменение контрольны...,frank, 12:45 , 23-Апр-06
- Проблема архивирования больших архивов, изменение контрольны...,frank, 12:48 , 23-Апр-06
  - Проблема архивирования больших архивов, изменение контрольны...,bass, 13:08 , 24-Апр-06
    - Проблема архивирования больших архивов, изменение контрольны...,frank, 18:58 , 24-Апр-06

Сообщения в этом обсуждении

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено lavr , 22-Апр-06 19:58

>Добрый день!
>Хотелось бы услышать мнения по моей проблеме.
>
>Я приобрел сервер SuperMicro 5014C-MT ( http://supermicro.com/products/system/1U/5014/SYS-5014C-MT.cfm), память DDR II 1Gb, 2
>винчестера Seagate 200Gb SATA 150 (RAID уровня 1)
>Этот сервер работает как Вебсервер. (FreeBSD 6.0)
>
>Проблема заключается в том что: при создании архивной копии сайта (500мб) создается
>архив 250мб. При проверке контрольной суммы днем - она постоянно меняется:
>
>
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = ab245ac93f5b44c9e31ada23b9cbff00
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = fab409dd6a3beed4a88ad446fc484f43
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = ccdadb89af48b4d11ba518e7e4242dac
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 94ed3a288f6c7a27a2cea92725943a88
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 0f1e122152708f833ddf1dd52b487afa
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 3bb88d7f65baef10bb7faf42149ad307
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>root# md5 _2006-04-21_05-00-01.tar.gz
>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>
>При архивации иногда архив становиться изначально битый.
>Иногда архив распаковывается, но его контрольная сумма уже не та что была
>ранее.
>Иногда архив нормальный, контрольная сумма верная но через какое то время начинает
>портиться. В основном все приводит к тому что архив получается битый.
>
>Контрольная сумма файлов изменяется каждую проверку(см. выше)
>
>Очень редко (относительно) программы sh, php, mysql, cron, sendmail, cut, ps, top,
>sed и др. без видимой причины начинают сбрасывать корки (Core Dumped).
>
>
>Я долго над этим думал. Сначала мне казалось что это косячит RAID
>контроллер напару с SATA дисками.(При возникновении ошибки на диске - диск
>пытается сам ее исправить ничего не сообщив RAID контроллеру, и не
>отвечая на сигналы контроллера. Если пройдет таймаут 8с RAID контроллер отключат
>диск из массива....).
>
>Теперь я думаю что это память всетаки. Поделитесь своим опытом и советами
>по данной проблеме. Как можно протестировать память чтобы найти в ней
>все косяки, и обменять по гарантии.(Если это дело в памяти)
>
>Заранее спасибо за ответ!

память - memtest86
диски следует брать из списка рекомендованных
к сожалению нет cli утилит для ICH6R и увидеть сбои на диске/ах можно только в логах :(
чем проверить диски..?
Прим: если архив ТОЧНО не менялся, а md5 суммы изменяются, это не работа!
Кстати, железка поддерживает память ECC - если бы взяли такую, то вопрос с памятью
отпал бы мгновенно.
PPS. Ну и очень не понятно - RAID1, два диска по 200GB, архивная копия то зачем?
Ну и еще вопрос, а не пробовали проверять md5 других файлов, системных там? Или
создать несколько экземпляров для проверки и проверять их время от времени?
Или создавать файлы на другой машине (допустим по крону или разово), копировать by ftp
на проблемную и проверять md5.
Ну оченнь странная проблема...

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено frank , 23-Апр-06 12:38

>>Добрый день!
>>Хотелось бы услышать мнения по моей проблеме.
>>
>>Я приобрел сервер SuperMicro 5014C-MT ( http://supermicro.com/products/system/1U/5014/SYS-5014C-MT.cfm), память DDR II 1Gb, 2
>>винчестера Seagate 200Gb SATA 150 (RAID уровня 1)
>>Этот сервер работает как Вебсервер. (FreeBSD 6.0)
>>
>>Проблема заключается в том что: при создании архивной копии сайта (500мб) создается
>>архив 250мб. При проверке контрольной суммы днем - она постоянно меняется:
>>
>>
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = ab245ac93f5b44c9e31ada23b9cbff00
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = fab409dd6a3beed4a88ad446fc484f43
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = ccdadb89af48b4d11ba518e7e4242dac
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 94ed3a288f6c7a27a2cea92725943a88
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 0f1e122152708f833ddf1dd52b487afa
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 71c35ddab57140bdb7328a6689f1bf64
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 3bb88d7f65baef10bb7faf42149ad307
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>root# md5 _2006-04-21_05-00-01.tar.gz
>>MD5 (_2006-04-21_05-00-01.tar.gz) = 4362fdcd29279bdaa862307eddad523c
>>
>>При архивации иногда архив становиться изначально битый.
>>Иногда архив распаковывается, но его контрольная сумма уже не та что была
>>ранее.
>>Иногда архив нормальный, контрольная сумма верная но через какое то время начинает
>>портиться. В основном все приводит к тому что архив получается битый.
>>
>>Контрольная сумма файлов изменяется каждую проверку(см. выше)
>>
>>Очень редко (относительно) программы sh, php, mysql, cron, sendmail, cut, ps, top,
>>sed и др. без видимой причины начинают сбрасывать корки (Core Dumped).
>>
>>
>>Я долго над этим думал. Сначала мне казалось что это косячит RAID
>>контроллер напару с SATA дисками.(При возникновении ошибки на диске - диск
>>пытается сам ее исправить ничего не сообщив RAID контроллеру, и не
>>отвечая на сигналы контроллера. Если пройдет таймаут 8с RAID контроллер отключат
>>диск из массива....).
>>
>>Теперь я думаю что это память всетаки. Поделитесь своим опытом и советами
>>по данной проблеме. Как можно протестировать память чтобы найти в ней
>>все косяки, и обменять по гарантии.(Если это дело в памяти)
>>
>>Заранее спасибо за ответ!
>
>
>память - memtest86
>диски следует брать из списка рекомендованных
>
>к сожалению нет cli утилит для ICH6R и увидеть сбои на диске/ах
>можно только в логах :(
>чем проверить диски..?
>
>Прим: если архив ТОЧНО не менялся, а md5 суммы изменяются, это не
>работа!
>Кстати, железка поддерживает память ECC - если бы взяли такую, то вопрос
>с памятью
>отпал бы мгновенно.
>
>PPS. Ну и очень не понятно - RAID1, два диска по 200GB,
>архивная копия то зачем?
>Ну и еще вопрос, а не пробовали проверять md5 других файлов, системных
>там? Или
>создать несколько экземпляров для проверки и проверять их время от времени?
>Или создавать файлы на другой машине (допустим по крону или разово), копировать
>by ftp
>на проблемную и проверять md5.
>
>Ну оченнь странная проблема...
У меня стоит 2 платы по 512 DDRII. Контрольная сумма маленьких файлов не изменяется. Изменяется только контрольная сумма больших архивов. Самое интересное что в процессе передачи этого архива с другого компьютера он станет битым и контрольная сумма измениться.
У меня была мысль что память имеет битые ячейки и чем больше файл записывается (или обрабатывается) в памяти тем больше вероятность что он станет поврежденным.
Очень редко (2 раза всего за 3 мес.) была такая штука:
перезапускаю apache
root#/usr/local/apache/bin/apachectl graceful
он пишет(что-то типа этого): Can't find configure file: /usr/loc9l/apache/conf/htt,d.conf
перезапускаю повторно - он запускается!
А без разницы, ошибка может возникнуть и в архивации и в проверке,и при скачивании по http,ftp. Я уже все перепробовал. Архив нужен как ежедневный бекап. Мало ли какие-то файлы пропадут с сайта, можно их восстановить с бекапа. Тем более когда все глючит проблема бекапа очень серьезная. Все работает в режиме "Как Бог пошлет"=( Очень обидно.

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено Ilia Kuliev , 22-Апр-06 20:21

память, почти наверняка.
В брэнды для соблюдения душевного равновесия нужно ставить только модули, рекомендованные вендорами. И обязательно с соблюдением мер предосторожности (антистатика и все такое) - регистровая память к этому чувствительнее обычной. Самолично убил таким манером компаковский модуль памяти.

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено mes , 22-Апр-06 21:53

всякие бывают приколисты :)))
у тебя только в этом проблемы? сами изменяются файлы? или мд5 кривая (???!!!)
очень страннен вопрос насчёт "хорошего поведения винтов"... :)

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено frank , 23-Апр-06 12:45

>всякие бывают приколисты :)))
>у тебя только в этом проблемы? сами изменяются файлы? или мд5 кривая
>(???!!!)
>очень страннен вопрос насчёт "хорошего поведения винтов"... :)
Вот именно с изменением контрольных сумм возможно файлы меняются, возможно нет - непонятно. Но то что архив не разархивировать - это факт.
Md5 определяет правильно суммы файлов < 50-100Мб. А вот 250мб уже косячит.
Насчет винтов - это была всего лишь догадка.

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено frank , 23-Апр-06 12:48

>память, почти наверняка.
>В брэнды для соблюдения душевного равновесия нужно ставить только модули, рекомендованные вендорами.
>И обязательно с соблюдением мер предосторожности (антистатика и все такое) -
>регистровая память к этому чувствительнее обычной. Самолично убил таким манером компаковский
>модуль памяти.
Мне собирали сервер в фирме. Сказали что на пямять гарантия 99 мес. Конечно же корпус неопечатан. Если это повреждения памяти вызванные статическим электричеством - поменяют ли мне ее или нет?? Вопрос. =(

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено bass , 24-Апр-06 13:08

просто перестаньте использовать _типа_ железячный raid1. невидел неодного вменяемого набортого raid1 коннтролллера.(всё что стоит меньше 100USD за контроллер чревато проблемами на более-менее хороших нагрузках)
обьяснение на пальцах: райд просто не успевает синхронизировать диски. например с 1Gb снимается md5sum тогда как в кэше обоих винтов сидят 16Мегов, которые желязячный райд почему-то считает забрать в последнюю очередь. Итак md5 снимается с размера 1Gb-16Mb. А по прошествии каких-то 0,01-0,1 секунд уже целый 1Gb оказывается на fs...
тут наверно стоит попробовать снять md5 через 5-10 минут после создания файла.
можно поиграть со значением обьёмов синхронизации в конфиге желеязчного райда, но имхо проще и определённо правильнее (в свете имеющегося оборудования )поднять soft-raid

"Проблема архивирования больших архивов, изменение контрольны..."
Отправлено frank , 24-Апр-06 18:58

>просто перестаньте использовать _типа_ железячный raid1. невидел неодного вменяемого набортого raid1 коннтролллера.(всё
>что стоит меньше 100USD за контроллер чревато проблемами на более-менее хороших
>нагрузках)
>обьяснение на пальцах: райд просто не успевает синхронизировать диски. например с 1Gb
>снимается md5sum тогда как в кэше обоих винтов сидят 16Мегов, которые
>желязячный райд почему-то считает забрать в последнюю очередь. Итак md5 снимается
>с размера 1Gb-16Mb. А по прошествии каких-то 0,01-0,1 секунд уже целый
>1Gb оказывается на fs...
>тут наверно стоит попробовать снять md5 через 5-10 минут после создания файла.
>
>
>можно поиграть со значением обьёмов синхронизации в конфиге желеязчного райда, но имхо
>проще и определённо правильнее (в свете имеющегося оборудования )поднять soft-raid

Софт рейд обычно не рекомендуют использовать так как он дает нагрузку на процессор.(которого никогда не бывает много=) )
А вот контроллеров SATA дорогих пока не встречал. Надо будет посмотреть по прайсу.
У меня он интегрирован в плату.
Я выяснил, в данном случае проблема в памяти. ~19000 ошибок нашла программа memtest86 (http://www.memtest.org/).
Память DDR2 PC2 533Mhz 512mb samsung(kingston)
Спасибо всем за помощь!