форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
Сообщение от opennews on 11-Мрт-10, 18:16
Разработчики одного из крупнейших сетевых ресурсов Digg.com приняли решение (http://about.digg.com/node/564) отказаться от использования СУБД MySQL в пользу распределенной БД Apache Cassandra (http://incubator.apache.org/cassandra/), исходные тексты которой были открыты компанией Facebook два года назад. Работа по миграции Digg на уход от использования SQL заняла шесть месяцев, за которые не просто были переписаны все обеспечивающие работу сайта приложения, но и была полностью переработана архитектура клиентской и серверной части проекта. Главные мотивы ухода от использования MySQL: усложнение решений, при необходимости обеспечения высокой производительности и проблемы при интенсивной записи данных. Рост нагрузки заставлял разработчиков пересматривать стратегию горизонтального и вертикального партицирования (сегментирование записей по хранилищам в соответствии с определенным алгоритмом привязки к диапазону хранимых значений), при этом использование реляционной схемы приводило к бол... URL: http://about.digg.com/node/564 Новость: http://www.opennet.me/opennews/art.shtml?num=25758
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+2 +/–
Сообщение от аноним on 11-Мрт-10, 18:16
Ну любой отход от SQL можно только приветствовать. БД на Java, правда, вызывает некое недоумение.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	2. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от аноним on 11-Мрт-10, 18:47
	Почему?
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	3. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+5 +/–
	Сообщение от Аноним (??) on 11-Мрт-10, 19:07
	Видимо это как-то связано с тем, что java очень сильно нагружает процессор и жрёт оперативку.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	4. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–3 +/–
	Сообщение от Andrew Kolchoogin on 11-Мрт-10, 19:12
	> Видимо это как-то связано с тем, что java очень сильно нагружает процессор > и жрёт оперативку. Ага. А SQL процессор не нагружает и оперативку не жрёт. :)
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	32. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от User294 (ok) on 12-Мрт-10, 18:20
	Ну дык сиквель и логику запросов какую педалит? Ессно при этом он не может не жрать. Чудес не бывает - запросы или уж навороченны, или быстрые.
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	7. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+8 +/–
	Сообщение от Tav (ok) on 11-Мрт-10, 19:56
	> Видимо это как-то связано с тем, что java очень сильно нагружает процессор и жрёт оперативку. Пока одни кормятся мифами, другие извлекают профиты.
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	10. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–3 +/–
	Сообщение от аноним on 11-Мрт-10, 20:55
	Увы да. Многие считают, что у java оверхеда нет или он находится на приемлимом уровне, а другие тем временем ставят в 4 раза меньше серверов для тех же задач.
	Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

	12. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+2 +/–
	Сообщение от uZver (??) on 11-Мрт-10, 21:46
	>Увы да. Многие считают, что у java оверхеда нет или он находится >на приемлимом уровне, а другие тем временем ставят в 4 раза >меньше серверов для тех же задач. Пусть ставят. Если есть готовый софт, то отлично ;) Отличие только в скорости разработки. Потому чем сложнее софт, тем больше стремление применить для него языки высокого уровня Java/C#. Результат получается раньше и требует меньше программистов для реализации. Это огромная экономия средств окупающая и дополнительные сервера и оперативку. Самое дорогое в создании софта это люди, а не сервера или лицензии. Плюс выход на рынок 2-3 месяца раньше чем конкуренты это просто пипец как много. PS + коммерческого OpenSource больше всего на java - тот же Apache это почти все java-проекты.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	14. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–2 +/–
	Сообщение от аноним on 11-Мрт-10, 21:53
	Вот вот, знаем мы этот ынтерпрайзный тяп-ляп подход. Больше добавить нечего.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	17. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+3 +/–
	Сообщение от uZver (??) on 11-Мрт-10, 22:02
	>Вот вот, знаем мы этот ынтерпрайзный тяп-ляп подход. Больше добавить нечего. Сделайте лучше ;) никто не мешает сделать аналог Hadoop или HBase или Cassandra на С/С++ или любом другом "правильном" языке. Hadoop это OpenSource аналог гугловского Map-Reduce, HBase это OpenSource аналог гугловского BigTable. Только никто в это реально вкладываться не будет. А такие как я Java разработчики и дальше будут клепать софт для больших контор применяя JavaSE или JavaEE в зависимости от того, на чем проще сделать. PS как вы думаете на каком софте работают фармацевтические исследовательские лаборатории?
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	34. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от kit (??) on 12-Мрт-10, 20:37
	>>PS как вы думаете на каком софте работают фармацевтические исследовательские лаборатории? СУБД Cache...
	Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

	37. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от uZver (??) on 14-Мрт-10, 10:37
	>СУБД Cache... Ну точно не эта. Oracle или PostgreSQL (для маленьких лаб.)
	Ответить | Правка | ^ к родителю #34 | Наверх | Cообщить модератору

	21. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+2 +/–
	Сообщение от ДяДя on 11-Мрт-10, 22:10
	Скажите это, например, Google. Чего-то я не замечал, чтобы тормозил Gmail, поисковик и т.д.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	22. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–5 +/–
	Сообщение от аноним on 11-Мрт-10, 22:40
	С такими-то кластерами кшна не будет. Подумаешь, по машине на клиента. Тут пробегало как-то сколько CO2 выделяется от одного поискового запроса. Гуглу-то похрен, они могут и обезьян со счетами нанять mapreduce им считать. А вот в более преземленных компаниях принято считать деньги. И жавамоны если и использовать, то только для того, на что они годятся - прототипирование. В долгосрочной перспективе от них избавляются.
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	38. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Sergey (??) on 16-Мрт-10, 11:41
	>С такими-то кластерами кшна не будет. Подумаешь, по машине на клиента. Тут >пробегало как-то сколько CO2 выделяется от одного поискового запроса. Гуглу-то похрен, А в чем проблема то от СО2? Или вы верите в глобальное техногенное потепление? нефиг вырубать экваториальные леса и свякую хрень в моря сливать, тогда проблем от СО2 будет ноль.
	Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

	33. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от User294 (ok) on 12-Мрт-10, 18:21
	>Чего-то я не замечал, чтобы тормозил Gmail, поисковик и т.д. А вы поставьте столько же серверов - у вас тоже ничего тормозить не будет :)
	Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

	36. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от ander (??) on 13-Мрт-10, 13:29
	Не в серверах дело, а в масштабируемости.
	Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

	30. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Tav (ok) on 12-Мрт-10, 17:11
	Здесь довольно подробно рассмотрен вопрос производительности JVM, включая случаи, когда выгоднее использовать C, случаи когда Java эффективнее и спорные случаи: http://blogs.azulsystems.com/cliff/2009/09/java-vs-c-perform...
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	39. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Гыгыка on 02-Фев-11, 17:07
	Ага. Или на ассемблере все переписывают и вообще обходятся нетбуком... Есть еще понятия скорость разработки и много других интересных показателей. Вот как Go в продакшн можно будет использовать - тады другой будет разговор. Но ведь и там жрущее ресурсы GC. Оно не зря придумано. Оно реально повышает стабильность серверных приложений и позволяет избегать очень трудоемкой отладки.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	6. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от m0xf (ok) on 11-Мрт-10, 19:55
	java выполняется в виртуальной машине, что несколько снижает производительность по сравнению с нативным кодом.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	13. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+1 +/–
	Сообщение от uZver (??) on 11-Мрт-10, 21:49
	>java выполняется в виртуальной машине, что несколько снижает производительность по сравнению с >нативным кодом. практически это может оказаться заблуждением ибо JIT. с JIT может сравниться только gentoo пересобранная под конкретную машину. плюс автоматическое управление памятью может быть намного быстрее ручного.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	19. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+1 +/–
	Сообщение от ДяДя on 11-Мрт-10, 22:06
	Правильно, товарищ ! :-) Тормозить может сборщик мусора, если настроить неправильно. Есть места, где производительность критична, а есть совершенно некритичные к производительности. В большинстве случаев в критичных местах выполняется машинный код, который оптимизирован под данный процессор JIT-ом.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	27. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–2 +/–
	Сообщение от pro100master (ok) on 12-Мрт-10, 00:45
	> Тормозить может сборщик мусора, если настроить неправильно а как правильно настроить? По-моему, это очередной миф - все об этом говорят, но никто толком правильно настроенный и не видел.
	Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

	29. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от fi (ok) on 12-Мрт-10, 13:47
	Как показала жизнь, правильно писать код на java удается совсем не многим, и N+1 gc по прежнему плохо справляется с мусором с любыми настройками.
	Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

	41. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Гыгыка on 02-Фев-11, 17:18
	> Как показала жизнь, правильно писать код на java удается совсем не многим, > и N+1 gc по прежнему плохо справляется с мусором с любыми > настройками. Как показала жизнь - Cassandra реально живет и обслуживает один из самых нагруженных сайтов в мире.
	Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

	35. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от anonymous vulgaris on 12-Мрт-10, 21:56
	>практически это может оказаться заблуждением ибо JIT. с JIT может сравниться только gentoo пересобранная под конкретную машину. Практически-тестово гораздо хуже http://www.mobydisk.com/softdev/techinfo/speedtest/index.html It looks like JIT comes in at about half the speed of a purely compiled language. а практически-практически все еще хуже. Сравните оффис без дотнета и новый с дотноетом. Или автокад.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	40. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Гыгыка on 02-Фев-11, 17:09
	> java выполняется в виртуальной машине, что несколько снижает производительность по сравнению > с нативным кодом. Сударь теоретиг? Плохой теоретиг: не знает, что JIT существует уже очень много лет как.
	Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

	16. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+5 +/–
	Сообщение от ДяДя on 11-Мрт-10, 21:58
	Вам известно такое понятие, как "компромисс" ? Один из примеров: сервер купить проще, чем нанять лишних людей и увеличить сроки внедрения.
	Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

	26. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–2 +/–
	Сообщение от IGX on 11-Мрт-10, 23:09
	>Вам известно такое понятие, как "компромисс" ? > >Один из примеров: сервер купить проще, чем нанять лишних людей и увеличить >сроки внедрения. Вот именно! И самое интересное, что люди, пытающиеся заменить сервер, будут выделять на фиг знает сколько порядков больше CO2, чем сервер такой же производительности.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	31. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от аноним on 12-Мрт-10, 18:00
	Известно. Поэтому вместо 10 серверов под жаву я куплю 2 под C/C++. Разумеется, если нужная мне функциональность реализована на C++. Тут у java преимущество в скорости разработки, но это только подтверждает мой тезис - java/mono годны только для прототипирования.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	42. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Гыгыка on 02-Фев-11, 17:46
	> Известно. Поэтому вместо 10 серверов под жаву я куплю 2 под C/C++. > Разумеется, если нужная мне функциональность реализована на C++. Тут у java > преимущество в скорости разработки, но это только подтверждает мой тезис - > java/mono годны только для прототипирования. В современной жизни - скорость разработки это важно. Сколько там миллиардов у Цукерберга (создатель FaceBook). А ведь идея то в воздухе носилась. Он просто первый успел.
	Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

9. "Сервис Digg мигрирует с MySQL на БД Cassandra"	–3 +/–
Сообщение от 310dej on 11-Мрт-10, 20:42
"Java" и  "хорошо работает" в одном предложении встречаются редко (Кто-то из lxf упомянул этими словами Apache Ant). Ля скептре, но по-моему реляционные БД клайстеризуются и позволяют программировать внутри себя. Да и ресурсы по сравнению с монстром по имени жаба - все равно, что Камаз 5320 с Дафом FX равнять. Да представляю - российские перевозчики содятся на Камазы: "Москва умрет с голоды за 2 месяца". Но это лирика...
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	15. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от uZver (??) on 11-Мрт-10, 21:56
	>"Java" и  "хорошо работает" в одном предложении встречаются редко (Кто-то из >lxf упомянул этими словами Apache Ant). Ля скептре, но по-моему реляционные >БД клайстеризуются и позволяют программировать внутри себя. Да и ресурсы по >сравнению с монстром по имени жаба - все равно, что Камаз >5320 с Дафом FX равнять. Да представляю - российские перевозчики содятся >на Камазы: "Москва умрет с голоды за 2 месяца". Но это >лирика... Мало вы софта видели ;) я даже VoIP сервер видел полностью на java, причем это было лет 5 назад сделано ))) А реляционные СУБД практически не кластеризуются. Причем кластера стоят бешенных денег, намного больших чем просто набор (сервера + СУБД) в количестве нод. Oracle RAC имеет 4 ноды, больше то ли не тянет, то ли не рекомендуется ибо скорость падает. Плюс ему нужно внешнее хранилище ибо работает через shared data. Плюс ему еще и  сертифицированные ОС требуются. В итоге куча бабла =) Для больших инет проектов цена лицензий тоже не последняя вещь. Кассандра вещь бесплатная плюс она ОЧЕНЬ быстрая на запись, а РСУБД кластерами как раз на запись то медленные.
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

	43. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
	Сообщение от Гыгыка on 02-Фев-11, 17:47
	> "Java" и  "хорошо работает" в одном предложении встречаются редко (Кто-то из > lxf упомянул этими словами Apache Ant). Ля скептре, но по-моему реляционные > БД клайстеризуются и позволяют программировать внутри себя. Да и ресурсы по > сравнению с монстром по имени жаба - все равно, что Камаз > 5320 с Дафом FX равнять. Да представляю - российские перевозчики содятся > на Камазы: "Москва умрет с голоды за 2 месяца". Но это > лирика... Cassandra работает. На самом деле работает....
	Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

11. "Сервис Digg мигрирует с MySQL на БД Cassandra"	+/–
Сообщение от Filosof (ok) on 11-Мрт-10, 21:25
ну мы хадупом шас балуемся. Пока перспективы видны. Посмотрим до чего доекспереиентируемся
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема