The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Facebook представил WebScaleSQL, высоко масштабируемый вариа..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от opennews (ok) on 28-Мрт-14, 01:04 
Facebook анонсировал (https://code.facebook.com/posts/1474977139392436/webscalesql.../) проект WebScaleSQL (http://webscalesql.org/), в рамках которого подготовлена редакция MySQL 5.6 для использования в крупных web-проектах. WebScaleSQL является совместной разработкой компаний  Facebook, Google, LinkedIn и Twitter, инженеры которых договорились объединить свои усилия в области оптимизации производительности и масштабируемости MySQL. При этом, WebScaleSQL не является форком MySQL, а представляет собой надстройку над основной кодовой базой Community-версии штатного MySQL от компании Oracle. Все наработки WebScaleSQL распространяются (https://github.com/webscalesql/webscalesql-5.6) под лицензией GPLv2.


В качестве причины создания отдельного варианта MySQL, вместо развития таких проектов, как MariaDB, Percona Server и Drizzle, называется наличие в MySQL 5.6 пригодных для промышленного использования возможностей, достаточных для развития в качестве отправной точки. Тем не менее, по мере развития экосистемы, будет приниматься во внимание возможность задействования альтернативных решений. В WebScaleSQL воедино собраны внутренние патчи, применяемые в Facebook, Google, LinkedIn и Twitter, поэтому в качестве отправной точки для слияния разработок стало использование основной кодовой базы MySQL.


Переход к совместной разработке позволит избавиться от выполнения дублирования работы в каждой из компаний-участников проекта, упростит процесс разработки новых возможностей и увеличит эффективность тестирования. Вместо параллельного развития близкой по своей сути функциональности, в рамках WebScaleSQL будет поддерживаться наиболее эффективный вариант. Кроме того, так как больше людей будут заниматься аудитом изменений, ожидается увеличение качества и надёжности кода.


Из дополнительных возможностей WebScaleSQL отмечается:


-  Автоматизированный фреймворк для проверки всех изменений с использованием встроенной системы тестирования MySQL;
-  Новый набор (https://github.com/webscalesql/webscalesql-5.6/commit/8b6adf...) для автоматизированного стресс-тестирования и оценки производительности;
-  Серия изменений к оригинальному тестовому набору и структурам MySQL, направленных на обеспечение внесения безопасных изменений, которые раньше приводили к сбоям выполнения тестов или конфликтам;
-  Серия улучшения для повышения производительности, включая улучшение механизма чистки пула буферов, дополнительные оптимизации некоторых типов (https://github.com/webscalesql/webscalesql-5.6/commit/d72b58...) запросов и поддержку (https://github.com/webscalesql/webscalesql-5.6/commit/175520...) политики чередования для NUMA;
-  Новые возможности для упрощения применения в  высоко масштабируемых системах. Например, режим super_read_only (https://github.com/webscalesql/webscalesql-5.6/commit/414209...) и возможность (https://github.com/webscalesql/webscalesql-5.6/commit/c1d98e...) определения таймаутов на уровне долей секунды.


Из ещё не добавленных в WebScaleSQL возможностей, над которыми ведётся работа, отмечены:


-  Вариант MySQL-клиента, работающий в асинхронном режиме, что позволяет в процессе запроса MySQL не дожидаться завершения установки соединения, отправки и приёма данных;
-  Поддержка дополнительной статистики для таблиц, пользователей и сжатию данных;
-  Используемая в Facebook реализация системы сжатия хранимых данных;
-  Логический механизм упреждающего чтения (Read-Ahead), позволяющий заметно увеличить производительность (до 10 раз) операций последовательного полного перебора данных в таблицах, например, в процессе выполнения резервного копирования.


URL: https://code.facebook.com/posts/1474977139392436/webscalesql.../
Новость: http://www.opennet.me/opennews/art.shtml?num=39425

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +7 +/
Сообщение от vitalif (ok) on 28-Мрт-14, 01:04 
Ждём всё это в MariaDB, хрен ли там.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

14. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –5 +/
Сообщение от Аноним (??) on 28-Мрт-14, 08:32 
Да, ты прав. Хрен форкам. MySQL forever!
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

19. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +2 +/
Сообщение от VoDA (ok) on 28-Мрт-14, 09:38 
MariaDB должна быть совместима с MySQL, потому эта надстройка должна запуститься и на Maria.

ИМХО MySQL взят потому как с ним все работали. После синхронизации сменят на что-то активно развивающееся.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

46. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +1 +/
Сообщение от Аноним (??) on 31-Мрт-14, 07:19 
> MariaDB должна быть совместима с MySQL

Никому MariaDB ничего не должна. Но ты прав -- если патчи годные, не грех их принять в MariaDB.

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

2. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +4 +/
Сообщение от piteri (ok) on 28-Мрт-14, 01:27 
>совместной разработкой компаний Facebook, Google, LinkedIn и Twitter, инженеры которых договорились объединить свои усилия

И правильно сделали, всем бы так.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

35. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от Пропатентный тролль on 28-Мрт-14, 17:22 
>> инженеры которых договорились объединить свои усилия
>И правильно сделали, всем бы так.

святая наивность ;)
договорились те, кто платит ЗП этим инженерам. а инженеры побежали и сделали.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

36. "Facebook представил WebScaleSQL, высоко масштабируемый..."  –4 +/
Сообщение от arisu (ok) on 28-Мрт-14, 17:32 
> договорились те, кто платит ЗП этим инженерам. а инженеры побежали и сделали.

раб — наподобие тебя — в принципе не способен представить, что работодатель не Барин. если *тебе* прикажут — ты, без сомнения, побежишь и сделаешь. а потом будешь заглядывать в глаза: доволен ли Хозяин?

вы, рабы, удобные существа — но в делах, где требуется разум, бесполезные: вам намного важнее не то, что надо сделать, а то, как оценит это Хозяин.

вот поэтому ты и не понимаешь того, что если бы инженеры не захотели, то ничего бы не получилось. а то, что хотелки работодатели ещё и оплатили — это вообще здорово.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

38. "Facebook представил WebScaleSQL, высоко масштабируемый..."  +/
Сообщение от Пропатентный тролль on 28-Мрт-14, 20:22 
> если бы инженеры не захотели, то ничего бы не получилось

ахахахахах, прекрати :)))

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

39. "Facebook представил WebScaleSQL, высоко масштабируемый..."  –1 +/
Сообщение от arisu (ok) on 29-Мрт-14, 03:08 
у тебя истерика? бедняжка. попей таблеточек.
Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

37. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от soyyo on 28-Мрт-14, 19:55 
Код то открытый, так что вполне могли договориться инженеры чтобы быстрее и лучше.
Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

3. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +1 +/
Сообщение от axe (??) on 28-Мрт-14, 01:49 
Фантастический союз, конечно, но где хоть какие-то тесты?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

17. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +1 +/
Сообщение от Аноним (??) on 28-Мрт-14, 08:50 
> Фантастический союз, конечно, но где хоть какие-то тесты?

Зарегся в фб, да потести. Иногда подглючивает, даж невооруженным взглядом видно.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

18. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от NikolayV81 (ok) on 28-Мрт-14, 08:56 
А зачем, у них работает, они собрали вместе свои труды, выложили, может кому пригодиться, за одно и со стороны проверят, поправят, доработают.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

11. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Аноним (??) on 28-Мрт-14, 08:08 
Шел 2014 год. Но лицокнига упорно продолжала насиловать похапэ-мускуль.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +4 +/
Сообщение от Аноним (??) on 28-Мрт-14, 08:24 
Попробовав раз, ем и сейчас.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

16. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +3 +/
Сообщение от Аноним (??) on 28-Мрт-14, 08:49 
А что делать? Переделывать все огромные риски. Переучивать такого уровня специалистов нереально, они сами должны переучиваться. А если они будут переучиваться кто будет писать функционал. Так что так и будут теперь, пока смерть не разлучит их
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

20. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +6 +/
Сообщение от Могикан on 28-Мрт-14, 09:52 
Бедный "крутой энтепрайз программист" остался в жопэ со своим джава. Печалька. Ему приходится теперь заклинать про 2014 год. Лицекнига, помоги горю! Перейди на джавэ!


Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

21. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Аноним email(??) on 28-Мрт-14, 11:02 
Простите любезный, а вы что используете?
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

23. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –2 +/
Сообщение от тигар (ok) on 28-Мрт-14, 11:24 
дак это ж дотнетчик или жаво-петопе-пеглист, я почти уверен в этом
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

26. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Аноним (??) on 28-Мрт-14, 12:12 
Аноним в моем лице полагает, что LAMP в настоящее время - оптимальное решение.
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

28. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Soft Fire email on 28-Мрт-14, 12:42 
Лампа оптимальна для небольших/средних по нагруженности проектов. (Это эмпирический вывод)
Для сильно нагруженных проектов лучше всего что-то типа эрлангов и ноуЭсКьюЭльей. (Это уже теория анонимуса в лице меня)
И теории-теориями, однако факт того, что мордокниги и прочие втентакли вечно чем-то пытаются допилить/перепилить пыхи и мускули недвусмысленно говорит о том, что стандартная лампа явно не оптимальна для них, просто они не хотят ломать совместимость с имеющейся кодовой базой.
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

29. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +1 +/
Сообщение от Аноним (??) on 28-Мрт-14, 12:50 
На эрлангах пишут внутренние сервисы. Вебморду писать на эрланге - это увеличить стоимость ее разработки на порядок (столько специалистов на рынке просто нет и они дорогие).

NoSQL-и тоже используются как хранилище для определенных сервисов, где с mysql-ем никуда. Но для задач типа "сохранить профайл пользователя" mysql с шардированием подходит прекрасно, а в узких местах можно использовать handlersocket. Конечно, сейчас, в 2014 году, есть серьезные подходящие для продакшена nosql-решения, но смигрировать все данные того же фейсбука - просто нереально.

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

43. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +1 +/
Сообщение от Аноним (??) on 30-Мрт-14, 10:33 
> Вебморду писать на эрланге - это увеличить стоимость ее разработки на порядок (столько специалистов на рынке просто нет и они дорогие).

те, кто сделали зотоник об этом, похоже, не знали.

Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

44. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от Mural on 30-Мрт-14, 12:32 
Исключение, которое подтверждает правило.
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

51. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от XoRe (ok) on 31-Мрт-14, 16:06 
>> Вебморду писать на эрланге - это увеличить стоимость ее разработки на порядок (столько специалистов на рынке просто нет и они дорогие).
> те, кто сделали зотоник об этом, похоже, не знали.

Скорее всего знали, но это не меняет дело.
Есть и на перле CMSки.
Вы попробуйте на hh.ru найти пару десятков миддлов/сеньоров программистов на php, и пару десятков миддлов/сеньоров программистов на erlang.
Ну и зарплаты посмотрите.
Но это только начало.
Потом попробуйте сравнить средства разработки, тестирования, continuos integration и т.д. для php и erlang.
Плюс объем документации и количество коммьюнити.
Это скажется на стоимости вырастания программистов (джуниоров-> миддлов и дальше).
Потом посмотрите количество вспомогательных инструментов (аналитика, рассылки, интеграция других решений в свой продукт), которые есть для php, и которые есть для erlang.
В конце концов оценочная себестоимость (по деньгам и времени) будет различаться на порядки.

Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

30. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от Аноним (??) on 28-Мрт-14, 13:08 
Перепишу за неделю на ерланге! $2000
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

31. "Facebook представил WebScaleSQL, высоко масштабируемый..."  +3 +/
Сообщение от arisu (ok) on 28-Мрт-14, 13:12 
> Перепишу за неделю на ерланге! $2000

ок. давай бабло и садись писать.

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

33. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Pelican on 28-Мрт-14, 15:46 
Совпало с анонсом InfiniDB  http://www.digitaljournal.com/pr/1813332
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

45. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от Аноним (??) on 31-Мрт-14, 04:07 
что только не делают, чтобы не мигрировать на распределенные и масштабируемые(не только в плане перформанса)БД !!
впервые можно таки-использовать в уничижительном смысле "индус" применительно к програламерами фэйсбук. увы и ах.
то-же с пэхэпэ и прочми.
когда их "домашняя страничка" разрослась - они не стали ее переделывать, нет. они купили мощные серверА и прикрутили костылей к велосипеду, на котором он ездил ранее.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

47. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  –1 +/
Сообщение от NikolayV81 (ok) on 31-Мрт-14, 08:44 
> что только не делают, чтобы не мигрировать на распределенные и масштабируемые(не только
> в плане перформанса)БД !!

Может им не надо возможности масштабировать до масштабов галлактики, может им земли достаточно, и при этом чтобы быстро/надёжно на одну планету и без проб и ошибок ;)

> впервые можно таки-использовать в уничижительном смысле "индус" применительно к програламерами
> фэйсбук. увы и ах.
> то-же с пэхэпэ и прочми.
> когда их "домашняя страничка" разрослась - они не стали ее переделывать, нет.
> они купили мощные серверА и прикрутили костылей к велосипеду, на котором
> он ездил ранее.

Ну так в этом наверное и есть ключевое отличие между быстрорастущим бизнесом и академической работой ;)


Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

48. "Facebook представил WebScaleSQL, высоко масштабируемый..."  +2 +/
Сообщение от arisu (ok) on 31-Мрт-14, 11:28 
что характерно: эти «индусы» продолжают зашибать бабло, а ты — весь такой умный — в лучшем случае вкалываешь на дядю и имеешь ипотеку с ведром болтов в кредит.
Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

49. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +3 +/
Сообщение от тряпка половая on 31-Мрт-14, 13:46 
А можно нам, позорным лохам, примеры «распределенных» и «масштабируемых»?

Cassandra, Hbase, Hypertable, — знаем-знаем, толку что они есть, если монолитным решением как таковым быть не могут.

То, что вы все любители острой мысли — это хорошо и одновременно плохо: разные мысли бывают, несостоятельного и сомнительного характера больше.

Ответить | Правка | ^ к родителю #45 | Наверх | Cообщить модератору

50. "Facebook представил WebScaleSQL, высоко масштабируемый..."  +/
Сообщение от arisu (ok) on 31-Мрт-14, 13:50 
> монолитным решением как таковым быть не могут.

нас посетил представитель Кровавого Энтерпрайза?

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

52. "Facebook представил WebScaleSQL, высоко масштабируемый вариа..."  +/
Сообщение от Аноним (??) on 12-Апр-14, 20:30 
Oracle теперь посмотрит в исходный код  WebScaleSQL  и перетащит все идеи в свою СУБД oracle :)
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру