URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID1
Нить номер: 94115
[ Назад ]

Исходное сообщение
"MYSQL База 1 Терабайт как с не быть."

Отправлено isvd , 04-Дек-12 18:27 
Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть.
Разработали проэкт который генерирует за год базу данных  в 1 терабайт пока это как одня база.  Данные нужно хранить 5 лет.

Постановка задачи для себя.

1.как хранить
2.как бекапить
3.как добиться отказоустойчивости

Куда смотреть ? Репликация или raid 10 , или reid сетевой или LVM snapshot делать или ..... ????


Прошу указать направление и возможно ссылки на примеры или готовые решения.    
Для себя понял что лутший бекап это mysqldump  но если база в 1 тер то это нереально ее лопатить. Репликация тоже не панацея если вдруг какие то ошибки по реплике тоже они будут ,  рейд (знаю только в теории) вообще никогда не делал как он будет работать м mysql понятия даже неимею даже если и рейд 10  то в любом случаии хочу что бы была отдельныя копия на другом сервере. LVM?  Времени мало хочу всерез заняться этим вопросом но запутался уже....  
Мне интересно как профисионалы мыслят что предпринимают куда копают ??? понимаю что универсального решения нет... Буду очень презнателен. за любую информацию.


Содержание

Сообщения в этом обсуждении
"MYSQL База 1 Терабайт как с не быть."
Отправлено lavr , 04-Дек-12 18:53 
> Уже 2 месяца читаю кучу литературы и не могу определиться куда смотреть.
> Разработали проэкт который генерирует за год базу данных  в 1 терабайт
> пока это как одня база.  Данные нужно хранить 5 лет.
> Постановка задачи для себя.
> 1.как хранить
> 2.как бекапить
> 3.как добиться отказоустойчивости
> Куда смотреть ? Репликация или raid 10 , или reid сетевой или
> LVM snapshot делать или ..... ????

<skipped>

1) пересмотреть структуру базы
2) если 1) - нереально, и память мне не изменяет - для баз > 200-300GB
single-node mysql конфигурация неприемлема, те нужно продумать multi-node mysql
конфигурацию и чтобы было < 200GB per node
3) и уже исходя из пункта 2) - обдумывать backup

Думаю, лучше обратиться на forum.mysql.com и возможно еще поискать серьезные
форумы по mysql


"MYSQL База 1 Терабайт как с не быть."
Отправлено name , 05-Дек-12 13:41 
http://www.opennet.me/tips/2721_mysql_partition_alter_log.shtml
есть такой функционал, должен помочь

>Для себя понял что лутший бекап это mysqldump

чем луТЪший?


"MYSQL База 1 Терабайт как с не быть."
Отправлено Анонимус42 , 05-Дек-12 15:03 
Используйте Federated на нескольких разных серверах.

"MYSQL База 1 Терабайт как с не быть."
Отправлено anonymouse , 05-Дек-12 15:45 
> Постановка задачи для себя.
> 1.как хранить
> 2.как бекапить
> 3.как добиться отказоустойчивости
> Куда смотреть ? Репликация или raid 10 , или reid сетевой или
> LVM snapshot делать или ..... ????

Надеюсь это все не в MyISAM??

1) Хранить лучше кусками, как на куски рубить и как с ними работать вопрос непростой, требует детального изучения предмета. Начать можно с партицирования штатными средствами: такой вариант, может быть, даже не потребует переработки кода.
2) mysqldump хорош, только восстановление базы на терабайт из дампа может затянутся по времени. Если даунтайм в пару суток не смущает -- mysqldump подойдет. Если нет -- lvm-снапшоты, есть еще xtrabackup, он вполне себе работает с ванильным mysql.
3) Репликация. Причем для того, чтобы не грузить основную базу, бэкап можно делать с реплики.

PS
RAID10 это не замена бэкапа, не панацея для отказоустойчивости. RAID10 спасает только на время выхода из строя диска и ускоряет работу с дисковой подсистемой. И совсем не спасает от assertion failure


"MYSQL База 1 Терабайт как с не быть."
Отправлено Анонимус42 , 06-Дек-12 15:32 
Вообще мускул хорош не для всех задач. Возможно имеет смысл перейти на что-то другое. Типа Redis, Casandra, hadoop))