Компания Facebook перевела (https://www.facebook.com/notes/facebook-engineering/presto-i...) в разряд открытых систему Presto (http://prestodb.io/), созданную в качестве высокопроизводительной альтернативы технологиям MapReduce и Hive, ранее используемым для выполнения запросов в многопетабайтных хранилищах на базе платформы Hadoop. Presto находится в разработке с осени прошлого года и развивается для решения проблем с длительным временем отклика, свойственным существующим средствам обработки данных для имеющегося в Facebook хранилища на базе Hadoop, размер которого превысил 300 петабайт.<center><a href="http://prestodb.io/static/presto-overview.png"><img src="http://www.opennet.me/opennews/pics_base/0_1383850228.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
Presto позволяет формировать запросы с использованием языка SQL, обеспечивая при этом в десять раз более высокую производительность и отзывчивость, по сравнению с Hive/MapReduce. Движок не ограничивается работой поверх Hadoop и может использоваться в связке с обычными реляционными БД и проприетарными системами хранения. Для абстрагирования от нижележащего хранилизща в Presto применяется механизм подключаемых бэкендов. В отличие от Hive, Presto не транслирует запрос в серию последовательно выполняемых MapReduce-задач, каждая из которых читает данные с диска и записывает на диск промежуточный результат. Вместо этого, Presto предоставляет собственный механизм выполнения запросов, отличающийся улучшенной системой планирования, выполнением обработки данных в оперативной памяти и применением конвейерной обработки, при которой несколько стадий запроса выполняется за один раз.
<center><a href="https://fbcdn-sphotos-g-a.akamaihd.net/hphotos-ak-frc3/s720x... src="http://www.opennet.me/opennews/pics_base/0_1383851322.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>Сформированный в Presto запрос может охватывать несколько источников данных, агрегируя полученные сведения в единый итоговый результат. В качестве основной области применения Presto называется выполнение аналитических запросов, для которых допустимо время отклика от долей секунды до нескольких минут. Тем самым Presto является первым открытым решением для задач быстрой аналитики, которые ранее были доступны только через дорогие проприетарные системы или через использование свободных систем, требующих излишнего аппаратного обеспечения.
<center><a href="https://fbcdn-sphotos-a-a.akamaihd.net/hphotos-ak-prn2/s720x... src="http://www.opennet.me/opennews/pics_base/0_1383851270.png" style="border-style: solid; border-color: #e9ead6; border-width: 15px;" title="" border=0></a></center>
Движком поддерживается (http://prestodb.io/docs/current/) большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON, оконных функций для отсеивания набора строк из результирующего запроса.. Для формирования запросов можно использовать специальную консольную облочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования.Код Presto написан на языке Java и распространяется (https://github.com/facebook/presto) под лицензией Apache 2. Для увеличения производительности части плана выполнения запроса динамически компилируются в Java-байткод, что позволяет JVM использовать дополнительные оптимизации и сгенерировать машинный код. Код Presto создан с учётом обхода типичных проблем Java-кода c распределением памяти и сборкой мусора.
URL: https://www.facebook.com/notes/facebook-engineering/presto-i...
Новость: http://www.opennet.me/opennews/art.shtml?num=38368
>Петабайтов данныхЭхх, где бы найти применение. Ни у кого не завалялось пары петабайт? /dev/zero и /dev/random не предлагать.
У Архива Интернета сгорели сканеры: https://blog.archive.org/2013/11/06/scanning-center-fire-ple.../Но с петабайтами, вроде, всё в порядке.
а у тебя железо есть?
>>Петабайтов данных
> Эхх, где бы найти применение. Ни у кого не завалялось пары петабайт?
> /dev/zero и /dev/random не предлагать.Бери /dev/urandom
Ферма разрослась и за всеми хомяками уже так просто - не уследишь, приходится в технологии вкладывать...
Да это SenSage !!! =))
Плевать на facebook с большой колокольни, а Presto хотелось бы чтобы Opera software открыла свой Presto, это было б очень хорошим шагом.
+ 100
Истину глаголишь. Может нужно под окнами Opera Software серенаду спеть о том, как нужен нам их Presto, и тогда их сердца оттают и им захочется сделать акт доброй воли.
Осталось выяснить, а нужен ли?!
А что плохой движок, если отбросить единственный вменяемый против него довод - его закрытость?
А что плохой движок, если отбросить единственный вменяемый против него довод - его закрытость?А ты его видел? Или сосед по парте по секрету рассказал?
+∞
Движок очень неплох. Опера когда-то была моим любимым браузером (хотя не только из-за движка). Очень обидно, что последние годы она все больше и больше скатывается. Да собственно, уже скатилась.
> Плевать на facebook с большой колокольни, а Presto хотелось бы чтобы Opera
> software открыла свой Presto, это было б очень хорошим шагом.не только presto, всю 12-ю оперу. лично мне с голого престо толку никакого, а вот целиком оперу мгновенно форканул бы.
А кто будет его развивать? Никто!
Чем он хорош-то?
"Движком поддерживается большинство элементов, определённых в спецификации ANSI SQL, включая возможность объединения таблиц, использования математических функций, строковых преобразований, регулярных выражений, операций с данными в формате JSON, оконных функций для отсеивания набора строк из результирующего запроса. Для формирования запросов можно использовать специальную консольную оболочку, модули интеграции с интегрированными средами разработки и биндинги для различных языков программирования."
А сколько шума было о том что это всё лишнее...
а ты знаешь базу которая тоже такое может сделать? с таким объёмами? с джойнами и прочими плюшками sql?Бывает приходит заказчик с мешком денег и говорит сделатйте (а ему это окупиться - конкурентов-то нет). Приходится отказывать - такое сделать нельзя. А манящий мешок денег так и не достаётся...
> а ты знаешь базу которая тоже такое может сделать? с таким объёмами?
> с джойнами и прочими плюшками sql?
> Бывает приходит заказчик с мешком денег и говорит сделатйте (а ему это
> окупиться - конкурентов-то нет). Приходится отказывать - такое сделать нельзя. А
> манящий мешок денег так и не достаётся...Не я автор текста, понятно что для каждой задачи своё решение, просто очень много было высказываний типа "вот, реляционные базы не нужны, join-ы не нужны, транзакции внутри б/д. не нужны, ключ-значение и серелизация объектов целиком - наше всё"
> реляционные базы не нужны, ключ-значение и серелизация объектов целиком - наше всёЯ думаю такие рассуждения от бедности существующих Big data решений.
Это типа а зачем машина, когда на автобусе можно ездить.
это всё от отсутствия мозгов и знаний. второе не позволяет подобрать инструмент под задачу, а первое — получить вторые.
terradata
Угадай что ?
Конечно Java !И кто там говорил про MySQL ???
И чем вам ява не угодила?
Отлично. Очередной прекрасный продукт на прекрасной платформе (JVM) стал доступен для всех ...
