URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 89728
[ Назад ]

Исходное сообщение
"Основная инфраструктура Wikipedia переведена с MySQL на MariaDB"

Отправлено opennews , 23-Апр-13 11:37 
Организация Wikimedia объявила (http://blog.wikimedia.org/2013/04/22/wikipedia-adopts-mariadb/) о завершении процесса миграции первичной серверной инфраструктуры свободной энциклопедии на СУБД MariaDB 5.5, в рамках которой независимым сообществом развивается совместимое на уровне API и ABI ответвление от MySQL. Разделы энциклопедии на английском и немецком языках, а также проект  Wikidata (https://www.wikidata.org/wiki/Wikidata:Main_Page), уже обслуживаются  MariaDB в штатном режиме.


В качестве основных причин перехода на новую СУБД называется желание задействовать новые технологии и методы оптимизации, а также  намерение следовать используемому в Wikimedia принципу выбора свободных технологий. Последнее время процесс разработки MySQL становится недостаточно прозрачным в руках компании Oracle, полностью контролирующей развитие MySQL и со временем всё больше отделяющей MySQL от сообщества. В частности, возвращена практика поставки проприетарных расширенных функций в Enterprise-версии MySQL,  наблюдается утаивание информации об уязвимостях, из состава исключён тестовый набор, закрыт доступ к большей части системы отслеживания ошибок и прекращена публикация сгруппированного лога изменений, позволяющего судить о привязке патчей к конкретным изменениям.

Используемая в Wikipedia ветка MariaDB 5.5 основана на кодовой базе MySQL 5.5 и полностью совместима с данной СУБД. В настоящее время к работе над MariaDB переключились многие уволившиеся из Oracle разработчики, ранее вовлечённые в разработку MySQL. Ряд заинтересованных в MariaDB компаний продемонстрировали способность  предоставить техническую поддержку, удовлетворяющую (http://www.opennet.me/opennews/art.shtml?num=36506) требованиям крупных корпоративных клиентов. При этом  проект
MariaDB отличается полностью открытым и прозрачным (http://www.opennet.me/opennews/art.shtml?num=35503) процессом разработки, не зависящим от отдельных вендоров, а также более оперативным (http://www.opennet.me/opennews/art.shtml?num=35490) исправлением уязвимостей.


Изначально для обеспечения работы Wikipedia использовалось поддерживаемое компанией Facebook ответвление (http://bazaar.launchpad.net/~mysqlatfacebook/mysqlatfacebook/) от MySQL 5.1, в котором были решены некоторые узкие места с производительностью, проявляющиеся в больших распределённых проектах. С технической стороны выбор СУБД MariaDB обусловлен наличием  дополнительных улучшений работы оптимизатора, поддержкой сохранения внутренних буферов для ускорения "прогрева" кэша и возможностью  задействования хранилища XtraDB, совместимого с InnoDB, но включающего в себя наработки по увеличению производительности от компаний Google, Percona и Facebook.


Несмотря на то, что при миграции была поставлена задача добиться производительности как минимум на уровне действовавшей до этого конфигурации, внедрение MariaDB 5.5 позволило увеличить производительность в среднем на 8% (некоторые запросы выполняются на 4-15% быстрее, но некоторые замедлились на 3-5%), по сравнению с ранее используемой конфигурацией на базе MySQL 5.1 с патчами от Facebook. Общая способность обработки запросов после задействования MariaDB возросла на 2-10%.


URL: http://blog.mariadb.org/wikipedia-adopts-mariadb/
Новость: http://www.opennet.me/opennews/art.shtml?num=36759


Содержание

Сообщения в этом обсуждении
"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено GG , 23-Апр-13 11:43 
Всё правильно сделали

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено skybon , 23-Апр-13 11:51 
Если это привело к ускорению работы Педивикии - молодцы. Переходить ради одного "открытого процесса разработки" - удел маразматиков.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено да пофиг , 23-Апр-13 11:53 
Отвязка от вендора вы называете "маразмом"?

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 24-Апр-13 14:27 
> Отвязка от вендора вы называете "маразмом"?

Некоторые люди, типа skybon, замечают рослого полярного лиса лишь когда он уже тусуется на пороге. Но бывают и более предусмотрительные люди...


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 12:06 
Кстати да - им же постоянно ресурсов не хватает. Несколько % в таком масштабе - это и экономия заметного $ ...

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено leon55 , 23-Апр-13 23:07 
Ага, а потом выпрашивать по 15 евро с рыла за год, чуть ли не на коленях.
Я не пойму почему им не дадут какой-то грант, премию, стипендию на постоянной основе? Это ведь очень важный проэкт, а каждый год основатель на коленях выпрашивает копейки чтобы содержать IT инфраструктуру. Неужели они не достойны какого-то признания в мире? Есть ведь средства, только тратят их как обычно на всякую херню :(.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено dr Equivalent , 24-Апр-13 01:33 
Очень просто: никто не даст больших денег "ни за шо". Где большие деньги - там обычно и большая политика. Кто платит, тот и заказывает музыку. Википедия старается держать нейтралитет где может (они энциклопедия, все-таки, энциклопедии должны быть объективны, а тем более Свободная). Если на них сядет серьезный бизнес или правительство, то, как свободная энциклопедия они лягут.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено ffirefox , 24-Апр-13 02:20 
Про нейтралитет, пожалуйста, подробнее... Или Вы про статьи о статьях типа "таблица умножения"?

Википедия уже давно большая политика.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено energia , 23-Апр-13 13:38 
> Переходить ради одного "открытого процесса разработки" - удел маразматиков.

Местные маразматики так не считают


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Andrey Mitrofanov , 23-Апр-13 16:47 
>Переходить ради одного "открытого процесса разработки" - удел маразматиков.

Почему ж "одного"? Может статься, он принесёт с собой[, со временем,] ещё и улучшение/удешевление поддержки, например.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:36 
Удел маразматиков - вляпываться в дурную компанию. Наиболее отборные из маразматиков понимают что дело дрянь только когда им скручивают руку за спину и начинает раздаваться подозрительный хруст.

Вот у википедиков в отличие от вас хватает ума на разборчивость в связях. Поэтому им никто руки выворачивать не сможет. И да, вы знаете, вы имхо очень сильно недооцениваете фактор "спокойная жизнь без выкрутки рук". Потому что когда приспичило - выкручиваться будет намного сложнее и вообще, авралы - не есть хорошо.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:40 
Удел маразматиков - писать такие комментарии. Маразматиков, рабов и недалёких, не видящих дальше собственного носа.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено leon55 , 23-Апр-13 23:17 
> Если это привело к ускорению работы Педивикии - молодцы. Переходить ради одного
> "открытого процесса разработки" - удел маразматиков.

Вы, коллега, видимо никогда в своей жизни не занимались прогнозами и сопровождением проэктов. И пусть для Вас бесплатность не вносит каких-либо неверных стереотипов в понимании того, что если ораклу мускуль на№№ не сдался, он это активно показывает (только не просите меня гуглить за Вас - погуглите сами), то такому гиганту как Википедия нужно быть на шаг впереди. А в некоторых ситуациях - и на два.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 12:03 
А про постгрес они не думали?

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено VoDA , 23-Апр-13 12:12 
Перенос СУБД зависимых фич с одной СУБД на другую дело затратное. А для таких проектов, как Википедия и вообще не нужное - время работы людей намного дороже времени серверов.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:58 
ORM? Не, не слышал.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 21:08 
Hi-load? Не, не слышал.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Andrey Mitrofanov , 23-Апр-13 21:17 
> Hi-load? Не, не слышал.

Терабайтную базу через ORM-export -> ORM-import прокачай - увидишь. А если кто тебя за этим увидит, то и услышишь.:D


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 21:30 
Прямые руки? Не, не слышал.
ORM существенно упрощает жизнь и в high load его тоже можно использовать, главное чтобы голова была на месте как и руки.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 22:59 
Hi-load на похапэ? Вы поделили на ноль, месье.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено nope , 23-Апр-13 12:15 
постгре, "с" там лишняя

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 12:23 
nope, не лишняя

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено scorry , 23-Апр-13 17:15 
> nope, не лишняя

Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:41 
>> nope, не лишняя
> Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.

"Постгрес", только так. Граммар наци могут подтереться.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено scorry , 26-Апр-13 12:06 
>>> nope, не лишняя
>> Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.
> "Постгрес", только так. Граммар наци могут подтереться.

Ну да, ну да. Already used that way by many people.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Andrey Mitrofanov , 23-Апр-13 21:25 
> постгре, "с" там лишняя

Да уж, действительно, заканчивай.
Здесь никто не оценит твоего дворянско-французского прононса.
""[I]It is abbreviated as "Postgres", its original name. [...] The name refers to the project's origins as a "post-Ingres" database, being a development from


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено VoDA , 23-Апр-13 12:13 
Странно, что они не догадались перейти на распределенное хранилище. Cassandra или HBase.

Хотя миграция дело дорогое, а наращивание количества серверов по MySQL/MariaDB уже опробованный подход.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Дмитрий , 23-Апр-13 14:55 
а смысл тогда переходить?

Cassandra или HBase хороши тем что можно легко наращивать количество серверов. а плохи тем что запросы могут выполнять только довольно простые.

Кроме того в MariaDB есть Cassandra storage engine.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено VoDA , 23-Апр-13 21:24 
Вы читали про архитектуру баз данных википедии? Там странный конгломерат, когда запись идет только на мастер, чтение с многих слейвов. Кроме того разные языки хранятся в разных "сборищах" серверов баз.

Внедрение упомянутых поможет упростить архитектуру уровня хранения данных. Все сервера являются мастерами и данные хранятся в едином пространстве, что снижает нагрузку на админов и освобождает время для других разработок на благо википедии.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено якакашка , 23-Апр-13 12:39 
mariadb это и есть mysql, просто с феньками и чуть ускореный. там ничего переносить особо не надо, а просто сделать дамп и этот же дамп далить в новую субд.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено ZOGAnonimous , 23-Апр-13 13:31 
Насколько я знаю, можно даже дамп не делать, просто бинарник и либы подменить (читать: другой пакетик поставить). Хотя переход с 5.1 на 5.5 - это уже более сложно

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено якакашка , 23-Апр-13 18:21 
не, подменять надо. там хранилище дефолтное innodb или чето пошустрее было вроде. так что если тупо подменить базу, то лучше врятли станет.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:39 
> mariadb это и есть mysql, просто

...просто без жлобов от оракла в управлении, называя вещи своими именами :)


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 12:52 
маруся ну што ты слезы льешь7
как гусли..., ну и так далее

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено anonymous , 23-Апр-13 12:56 
Ну после википедии, надеюсь, и другие станут переходить. MySQL RIP.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 13:05 
Почему не Percona?

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:42 
> Почему не Percona?

Это шутка такая?


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 13:13 
Ждем Apache MySQL :)

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 18:39 
Никак не пойму зачем Oracle гробить тем самым MySQL, ну у багатых как всегда свои причуды...

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 23-Апр-13 20:19 
Несложно понять MySQL - единственный конкурент Oracle DB, уводящий у него покупателей. А убивают за гораздо меньшие деньги. Не будь форков MySQL да PostgreSQL (на который, кстати, многие рассчитывали изначально - например, 1С), случился бы пипец.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено VoDA , 23-Апр-13 21:38 
> Несложно понять MySQL - единственный конкурент Oracle DB, уводящий у него покупателей.
> А убивают за гораздо меньшие деньги. Не будь форков MySQL да
> PostgreSQL (на который, кстати, многие рассчитывали изначально - например, 1С), случился
> бы пипец.

Перешли бы на распределенные или еще какие СУБД ;)


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним Аналитег , 23-Апр-13 22:56 
Учитывая, что мигрировать на mysql нельзя без переделки структуры базы из-за уймы ограничений накладываемых этой субд, это просто лол.

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 10:30 
да да.. это как легковушка конкурент камазу.. Грузы и там можно возить - но надо ли?

покажите пожалуста в TPC где нить MySQL ?


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 24-Апр-13 02:31 
Одобряю !
А mysql сожги и выкинь !

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 09:50 
> В частности, возвращена практика поставки проприетарных расширенных функций в Enterprise-версии MySQL

Надо бы напомнить - что эту практику ввел автор MariaDB. Который первым предложил не распространять бинарные сборки.

А теперь этот же самый - клеит на себя белые одежды..


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено BSD RIP , 24-Апр-13 14:11 
> А теперь этот же самый - клеит на себя белые одежды..

Что, опять твой любимый оракл пролетает? Так ему и надо.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 09:53 
> Общая способность обработки запросов после задействования MariaDB возросла на 2%

это как? на грани статистической погрешности? А смысл тогда в миграции? назло маме отморожу уши ?


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено GG , 24-Апр-13 11:20 
>> Общая способность обработки запросов после задействования MariaDB возросла на 2%
> это как? на грани статистической погрешности? А смысл тогда в миграции? назло
> маме отморожу уши ?

нет, у педивикии погрешность в рассчётах производительности ±0.001%


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 11:42 
это при каком доверительном интервале ?:) я уже молчу - что такую разницу можно получить просто слегка потюнив код. А если посмотреть на графики изменения производительности - то переход с 5.1 на 5.5 и так дает не слабый прирост.. Отсюда вопрос, а стоило ли это все того или тут сплошная политика?

"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено GG , 24-Апр-13 12:13 
> Отсюда вопрос, а стоило ли это
> все того или тут сплошная политика?

Эта политика стоит того
Гарантии юридической безопасности это тебе не два пальца обоссать


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 14:31 
>> Отсюда вопрос, а стоило ли это
>> все того или тут сплошная политика?
> Эта политика стоит того
> Гарантии юридической безопасности это тебе не два пальца обоссать

Юридическая безопасность? хм.. это когда Монтли требует подписывать соглашение о передаче прав на код ему родимому? Да - вы правы - это независимость и безопасность - от мнения тех кто сделал этот патч..
А то вдруг воспротивятся продаже под закрытой лицензией или продаже бинарных сборок?


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 24-Апр-13 14:18 
> все того или тут сплошная политика?

А тут все просто: если не интересоваться политикой - она заинтересуется вами. И натянет вас по самые гланды. В отличие от вас, википедики это прекрасно понимают. Они стреляные воробьи и в курсе такой фигни.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 14:37 
>> все того или тут сплошная политика?
> А тут все просто: если не интересоваться политикой - она заинтересуется вами.
> И натянет вас по самые гланды. В отличие от вас, википедики
> это прекрасно понимают. Они стреляные воробьи и в курсе такой фигни.

Видимо они забыли - как в один прекрасный день Монтли сказал - больше бинарных сборок не будет.
И вообще никаких не будет - сделаем Комьюнити ветку и Ентерпрайс. Причем Ентерпрайс никто не увидит, а сообществу хватит и комьюнити варианта..

Вы ведь не забыли кто первый начал зажимать исходники? И после этого готовы верить его словам что дальше уж точно все будет открытое?


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Michael Shigorin , 29-Апр-13 20:30 
> Видимо они забыли - как в один прекрасный день Монтли сказал -
> больше бинарных сборок не будет.

Уж забыл, кто бы ими пользовался, где-то года после 2004 +/-.  Когда с глибсишниками по поводу тредов-стеков довоевались.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено Аноним , 24-Апр-13 14:16 
> это как? на грани статистической погрешности? А смысл тогда в миграции?

Независимость от вендора который зарекомендовал себя источником проблем в открытых проектах. Как еще доходчивее это объяснить?

Только дурак не думает о своем будущем. А мускул у оракла и будущее - малосовместимые понятия. Не, оракл будет заниматься ИБД и прочая, спору нет. Но какой либо даже самой минмальной конкуренции с другими продуктами - не допустит. Налицо конфликт интересов. Кроме того, оракл зарекомендовал себя не просто хреновым, а вообще никаким лидером сообщества. Наличие у оракла толстого кошелька еще не обязывает сообщество пойти взаимодействовать с ораклом. Тем более забесплатно.


"Основная инфраструктура Wikipedia переведена с MySQL на Mari..."
Отправлено linux must _RIP_ , 24-Апр-13 14:29 
ой.. А помним как Монтли "взаимодействовал" с сообществом?
сначала требовал подписывать соглашения о передаче прав на патчи ему любимому..
Потом начала зажимать бинарные сборки, и вставлять палки в колеса - что бы не могли собрать так что бы конкурировать с его сборками, а потом и вовсе продал продукт ненавистному Sun/Oracle? При этому не поделился с теми кто ему присылал патчи.. Все себе..

Это называется хорошо взаимодействовать?