форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Представлен первый стабильный релиз СУБД SciDB"	+/–
Сообщение от opennews (??) on 24-Июн-11, 21:02
Объявлено (http://www.scidb.org/news/20110615.php) о выходе SciDB 11.06 (http://www.scidb.org/), первого стабильного релиза проекта по созданию свободной СУБД для использования в области обработки научных данных, полученных в результате экспериментов и наблюдений. В качестве примеров областей, в которых может использоваться СУБД, называется (http://www.scidb.org/use/) хранение и анализ наблюдений в оптической и радио астрономии, сейсмологии, генетике, океанографии, геологии, климатических и экологических наблюдений. Кроме научного применения SciDB может использоваться для обработки статистики работы различных сенсоров в нефтедобывающей отрасли и медицинских учреждениях, выполнения финансовой аналитики. СУБД спроектирована для  анализа огромных массивов данных (тысячи петабайт) и изначально поддерживает кластеризацию, масштабируясь от одного сервера до десятков тысяч узлов. Код SciDB распространяется в рамках лицензии GPLv3. Примечательно, что инициатором проекта SciDB выступил ... URL: http://www.scidb.org/news/20110615.php Новость: http://www.opennet.me/opennews/art.shtml?num=30983
Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "ура"	+2 +/–
Сообщение от Аноним (??) on 24-Июн-11, 21:02
почти год назад впервые услышал о данной дб, на конференции о ней рассказывал один из разработчиков(который из ГАИШ МГУ). Рад что его работа была успешной
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Представлен первый стабильный релиз СУБД SciDB"	–1 +/–
Сообщение от fdffdg on 24-Июн-11, 21:16
такую базу можно было написать лет 10 назад или она не нужна ?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

	3. "Представлен первый стабильный релиз СУБД SciDB"	+1 +/–
	Сообщение от fr0ster (ok) on 24-Июн-11, 21:55
	"СУБД не рассчитана на обработку транзакций в реальном времени (OLTP), не поддерживает ACID (атомарность, непротиворечивость, изоляция, долговечность) и журналирование, обеспечивая транзакции лишь на минимальном уровне." 10 лет назад такая база не шибко нужна была. Это сейчас есть что в ней хранить и обрабатывать, а раньше отсев "лишних" для результата данных старались производить по ходу эксперимента.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	5. "Представлен первый стабильный релиз СУБД SciDB"	+2 +/–
	Сообщение от Evgueni on 25-Июн-11, 09:18
	> а раньше отсев "лишних" для результата данных старались производить по ходу эксперимента. Сколько раз уже тыкался носом в то, что подобных "лишних" данных не бывает :(
	Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

	6. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от fr0ster (ok) on 25-Июн-11, 11:18
	>> а раньше отсев "лишних" для результата данных старались производить по ходу эксперимента. > Сколько раз уже тыкался носом в то, что подобных "лишних" данных не > бывает :( Ну кавычки то не зря ставил. А вообще раньше все в ручном режиме, и накопление наблюдательных данных, и первичная обработка. А первичная обработка силами студентов и прочих особо грамотных субъектов. Вот и старались свести к минимуму фактор внесенных ошибок. А сейчас все автоматизируют, накапливают большое количество первичных данных. Вот и выходит сейчас такая база особо к месту.
	Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

	4. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 25-Июн-11, 09:16
	Она нужна довольно ограниченному кругу людей, которые привыкли решать свои задачи максимально простыми ориентированными на текущую задачу способами. Хотя попытки использовать СУБД для хранения данных безусловно предпринимались. Здесь следует вспомнить эпик файл с внедрением в научные круги коммерческой СУБД Objectivity. Для относительно небольшого объёма данных (скажем десятки гигобайт) PostgreSQL в принципе подходит, но некоторые вещи напрягают (типа передачи данных через текст, хотя безусловно это обходится). Но с большим объёмом наступают разного рода траблы, так что БД SciDB будет востребована. Жаль немного, что SQL не очень туда вписывается.
	Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

	7. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от fr0ster (ok) on 25-Июн-11, 11:19
	> Она нужна довольно ограниченному кругу людей, которые привыкли решать свои задачи максимально Думаю уже сейчас таких людей немало, а дальше их будет больше
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	10. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Ян Злобин (ok) on 26-Июн-11, 18:58
	> Для относительно небольшого объёма данных (скажем десятки гигобайт) > PostgreSQL в принципе подходит, но некоторые вещи напрягают (типа > передачи данных через текст, хотя безусловно это обходится). А можно подробнее - имеется в виду, что данные приходится в некоторых случаях преобразовывать в SQL-текст?
	Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

	11. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 27-Июн-11, 12:49
	> А можно подробнее - имеется в виду, что данные приходится в некоторых случаях преобразовывать в SQL-текст? SQL -- это текст, соответственно запрос идёт в текстовом виде в том числе и на вставку и результаты вычитываются тоже как текст. Это гарантирует безпроблемную переносимость. Страшно сказать у нас до сих пор работает VAX под VAX/VMS -- с него тоже надо к БД доступаться. В принципе жить можно, но если объём данных относительно большой, то возникают значительные задержки чисто из-за объёма передаваемых данных, а на VAX и сама процедура перевода из числа в строку или обратно занимает значимое время, так как слабенький он. Всё это относится не к сырым данным эксперимента (там никакой БД бы не хватило, кроме разве что SciDB), а калибровочные константы и медленный контроль. Размер массивов колеблется от десятков до десятков тысяч значений. При реконструкции экспериментальных данных считывается около сотни различных массивов констант для конкретного интервала времени.
	Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

	12. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Ян Злобин (ok) on 27-Июн-11, 13:37
	> SQL -- это текст, соответственно запрос идёт в текстовом виде в том > числе и на вставку и результаты вычитываются тоже как текст... Это понятно.  Но можно использовать родную библиотеку постгреса libpq, которая работает несколько на другом уровне.  Работает очень хорошо и быстро.  Проверено.  Есть и плюсовая версия.  Это для специализированного софта, на мой взгляд, идеальный вариант.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	14. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 28-Июн-11, 11:57
	libpq и используется. Она же и портирована на VAX.
	Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

	16. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Ян Злобин (ok) on 28-Июн-11, 15:10
	> libpq и используется. Она же и портирована на VAX. Там же есть бинарные данные.
	Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

	17. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 28-Июн-11, 18:53
	Программный интерфейс не был стабилен.
	Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

	13. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Антоним on 27-Июн-11, 18:24
	Что за ерунда. Посмотрите как во многих БД реализованы протоколы передачи данных между СУБД и клиентом.  Полный SQL текст всегда работает только для пользовательского интерфейса, однако для некоторых программных реализаций передача идёт бинарно через prepared queries + список аргументов. Передача результата назад это во многих случаях исключительно бинарные форматы данных.
	Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

	15. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 28-Июн-11, 12:00
	> Передача результата назад это во многих случаях исключительно бинарные форматы данных. У PostgreSQL есть возможность передавать данные через бинарный формат. Есть возможность и класть сразу blobы. Но за всё надо платить.
	Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

	18. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Антоним on 28-Июн-11, 21:55
	У PG это почти штатная фича, большинство типов данных передаются в бинарном представлении. Не нужно за это 'платить'
	Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

	19. "Представлен первый стабильный релиз СУБД SciDB"	+/–
	Сообщение от Evgueni on 29-Июн-11, 11:00
	Проблемы были десять лет назад. Сейчас вообще проблем нет с PostgreSQL, но сейчас и SciDB есть ей на замену :)
	Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

9. "Представлен первый стабильный релиз СУБД SciDB"	+/–
Сообщение от тру йода on 25-Июн-11, 18:13
А мы пока по старинке hdf5 будем использовать. Вот как у нее насчет петабайтов сказать не могу - опыта нет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема