forum.opennet.ru - "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов" (61)

"Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запросов"	+/–
Сообщение от opennews (??), 18-Фев-24, 12:54
Представлен выпуск СУБД DuckDB 0.10.0, сочетающей такие свойства SQLite, как компактность, возможность подключения в форме встраиваемой библиотеки, хранение БД в одном файле и удобный CLI-интерфейс, со средствами и оптимизациями для выполнения аналитических запросов, охватывающих значительную часть хранимых данных, например, выполняющих агрегирование всего содержимого таблиц или слияние нескольких больших таблиц. Код проекта распространяется под лицензией MIT. Разработка пока находится на стадии формирования экспериментальных выпусков, так как формат хранилища пока не стабилизирован и меняется от версии к версии... Подробнее: https://www.opennet.me/opennews/art.shtml?num=60621
Ответить \| Правка \| Cообщить модератору

Оглавление

Разработчики из поисковика DuckDuckGo , Аноним (-), 12:54 , 18-Фев-24, (1) –1

Нет DuckDB is maintained by Dr Mark Raasveldt Prof Dr Hannes M 252 hleis, Аноним (2), 13:17 , 18-Фев-24, (2) +1

Интересно конечно и профессор и доктор сразу , Аноним (7), 14:26 , 18-Фев-24, (7) –3

А для вас докто - это врач, да , ы (?), 17:29 , 18-Фев-24, (22) +3

Да , Аноним (30), 18:36 , 18-Фев-24, (30) +2

Интересно, он сам код писал или припахал студентов за оценки чтобы нагло стыри, Аноним (41), 00:55 , 19-Фев-24, (41) –1

Скрыто модератором, Аноним (-), 15:01 , 19-Фев-24, (51) +1

И зачем это нужно, когда есть clickhouse-local, который 1 умеет примерно все б, михаилка (?), 13:38 , 18-Фев-24, (4) +1

Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо, Аноним (5), 13:49 , 18-Фев-24, (5) +1

Т е не подходит для хранения сотен терабайт данных, как скулайт Вообще, я заме, Аноним (16), 15:52 , 18-Фев-24, (16) +1
кликхаус - это не только БД для хранения гигабайтов данных это еще и инструмент, михаилка (?), 18:25 , 18-Фев-24, (28) +2

Кликхаус проприетарь, сабж нет, Аноним (13), 15:49 , 18-Фев-24, (13) –2

Эмм, кликхаус под apache, сабж под mit, михаилка (?), 18:18 , 18-Фев-24, (26) +1

он умеет все исключительно на бумаге А на деле умеет только сегфолтиться на люб, похъ (?), 17:11 , 18-Фев-24, (19)

ога, конечноа где вы увидели time-value записей и то, и другое - OLAP, михаилка (?), 18:21 , 18-Фев-24, (27)

CH мало чего умеет из списка Это сильно специализированная СУБД, не подходит дл, Аноним (59), 21:33 , 19-Фев-24, (59)

А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб Чтобы, Аноним (6), 14:13 , 18-Фев-24, (6) +1

Нет надежды, для начала пришлось бы переписать её с плюсов на си , Аноним (16), 16:33 , 18-Фев-24, (17) –1

Звездеть 8212 не мешки ворочать Можно , Аноним (55), 18:42 , 19-Фев-24, (55)

Если у плюсов нет аби до сих пор , так о чём можно говорить Замена уже никак , Аноним (16), 18:55 , 19-Фев-24, (56)

libsqlite - это сишная биба, не плюсовая , Аноним (57), 19:14 , 19-Фев-24, (57)

Ты всё правильно понял , Аноним (16), 19:29 , 19-Фев-24, (58)

Что сказать-то хотел, сишник ты наш Любая плюсовая обычная функция может быть э, Аноним (61), 03:18 , 20-Фев-24, (61)

Вот поэтому плюсы не нужны , Аноним (-), 06:28 , 20-Фев-24, (62) –1

Так и не понял в чем уникальное торговое предложение УТП сабжа , Аноним (7), 14:28 , 18-Фев-24, (8)

Встраемавая бд для аналитических запросов, Аноним (13), 15:50 , 18-Фев-24, (14) +1

Какая база данных лучше всего, почему, какую выбрать , Аноним (7), 14:29 , 18-Фев-24, (9) –1

От задачи зависит Универсальных нет Пойми свой workload, потом выбирай , Вы забыли заполнить поле Name (?), 19:53 , 18-Фев-24, (33)
Для тебя 8212 MS Access , Баба Ванга (?), 21:57 , 18-Фев-24, (40)

В Access можно искать семантические циклы, но только до семи вложений Не им, Anonim (??), 11:05 , 21-Фев-24, (64)

текстовый файл, Аноним (44), 08:57 , 19-Фев-24, (44) –1

кто-нибудь может объяснить это как олап кубы это же подготовили в фоне для будущ, penetrator (?), 14:50 , 18-Фев-24, (10)

Ты где-нибудь рабочие olap-системы вживую видел У меня вот в вузе одна такая бы, Аноним (-), 17:45 , 18-Фев-24, (23)

так может это не OLAP а OLTP странная оптимизация под запросы, если он потом в, penetrator (?), 19:27 , 18-Фев-24, (31)
У нас был redshift на aws проекте, было норм как data lake , Аноним (39), 21:39 , 18-Фев-24, (39)
Дак ты сравнил тоже Российские вузы в среднем неплохо обучают фундаменталке, чт, Аноним (39), 05:37 , 19-Фев-24, (42)

В среднем по России образование отсталое И обучают фундаменталке плохо , Аноним (-), 10:06 , 19-Фев-24, (45) +1

Дискретке и алгоритмам обучают нормально, всякие нейросети студенты сами осилят, Аноним (39), 10:24 , 19-Фев-24, (47) +1

Нейросетям обучают офигенно Особенно в ВШЭ, я сам туда как-то планировал поступа, Витюшка (?), 10:48 , 19-Фев-24, (48)

А зачем им это с махрово-платным образованием Чем лучше открытые курсы и лекции, Бывалый Смузихлёб (ok), 11:44 , 19-Фев-24, (49)

Не знаю, но образование ты таким образом не получишь Как минимум нет экзаменов , Витюшка (?), 15:22 , 19-Фев-24, (52)

Это смотря кто и как считаетНекоторые любят рассказывать сказки про американское, Бывалый Смузихлёб (ok), 11:53 , 19-Фев-24, (50)

В твоём сообщении смешаны времена, люди и кони 1 Советское Российское образован, Аноним (-), 18:34 , 19-Фев-24, (54) +1

OLAP кубы - это древняя технология Попытка добавить аналитику в OLTP row-store, Витюшка (?), 08:15 , 19-Фев-24, (43)

Проблема у неё та же, что и у склайт может только в один процесс , Аноним (13), 15:51 , 18-Фев-24, (15) –2

уточняй insert update в один процесс да и то если один закрыл файл-базу, то дру, swarus (ok), 17:20 , 18-Фев-24, (21)

Расскажите им кто-нибудь про XDG Base Directory Specification , Аноним (18), 17:00 , 18-Фев-24, (18) –1

Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил б, Витюшка (?), 19:28 , 18-Фев-24, (32)

Если бы это было так, то директория HOME config была бы пустой , Вы забыли заполнить поле Name (?), 19:54 , 18-Фев-24, (34)

Я не говорю что полностью не используют Но помимо этой директории появляется ку, Витюшка (?), 20:04 , 18-Фев-24, (36)

исправил, Аноним (16), 20:18 , 18-Фев-24, (38)

Скрыто модератором, Аноним (-), 10:09 , 19-Фев-24, (46) –1

Ну то есть кроме идеи самого главного еще и нет даю 95 что не взлетит , голос из леса (?), 17:59 , 18-Фев-24, (24) –1

оно изначально затевалось для работы с чужими данными внезапно - один из формат, похъ (?), 18:06 , 18-Фев-24, (25)

Шикарная передовая база данных Очень интересная Передовые структуры данных и а, Витюшка (?), 18:33 , 18-Фев-24, (29) –1

Можно примеры , Вы забыли заполнить поле Name (?), 19:56 , 18-Фев-24, (35)

Я всё не знаю, но видел их презентации и исследования немного Например Partition, Витюшка (?), 20:12 , 18-Фев-24, (37) +1

Сначала подумал, что кто-то сделал форк с обвесами Смотрю, а вот на гитхабе и в, Аноним (60), 00:31 , 20-Фев-24, (60)
Интересный проект Я вот сейчас пишу на Go свой проект для исследования социальн, nc (ok), 09:23 , 22-Фев-24, (65) –1

https duckdb org docs api go, ibnteo (ok), 00:06 , 06-Мрт-24, (67)

Прочитал доку Вердикт 8212 мусор, написанный в процессе детской игры разраба, Аноним (66), 01:52 , 27-Фев-24, (66)

Сообщения [Сортировка по времени | RSS]

1. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (-), 18-Фев-24, 12:54

Разработчики из поисковика DuckDuckGo?

Ответить | Правка | Наверх | Cообщить модератору

2. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (2), 18-Фев-24, 13:17

Нет. "DuckDB is maintained by Dr. Mark Raasveldt & Prof. Dr. Hannes Mühleisen. DuckDB’s initial development took place at the Database Architectures Group at the Centrum Wiskunde & Informatica (CWI) in Amsterdam, The Netherland"

Ответить | Правка | Наверх | Cообщить модератору

7. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –3 +/–

Сообщение от Аноним (7), 18-Фев-24, 14:26

>Prof. Dr. Hannes Mühleisen.
Интересно конечно и профессор и доктор сразу.

Ответить | Правка | Наверх | Cообщить модератору

22. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +3 +/–

Сообщение от ы (?), 18-Фев-24, 17:29

А для вас докто - это врач, да?

Ответить | Правка | Наверх | Cообщить модератору

30. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +2 +/–

Сообщение от Аноним (30), 18-Фев-24, 18:36

Да.

Ответить | Правка | Наверх | Cообщить модератору

41. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (41), 19-Фев-24, 00:55

Интересно, он сам код писал или припахал студентов "за оценки" чтобы нагло стырить результаты их работы и выдать за своё?

Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

51. Скрыто модератором +1 +/–

Сообщение от Аноним (-), 19-Фев-24, 15:01

Расскажи историю, а кто из русских преподователей так делает? Ты ведь с непроста так написал.

Ответить | Правка | Наверх | Cообщить модератору

4. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от михаилка (?), 18-Фев-24, 13:38

И зачем это нужно, когда есть clickhouse-local, который 1) умеет примерно все (без шуток) 2) делает это с несравнимо более хорошей производительностью

Ответить | Правка | Наверх | Cообщить модератору

5. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (5), 18-Фев-24, 13:49

...Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо склайта?

Ответить | Правка | Наверх | Cообщить модератору

16. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (16), 18-Фев-24, 15:52

Т.е. не подходит для хранения сотен терабайт данных, как скулайт? Вообще, я заметил, что мало кто может конкурировать со скулайтом в этом, в том числе, это касается большинства проприетарных бд.

Ответить | Правка | Наверх | Cообщить модератору

28. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +2 +/–

Сообщение от михаилка (?), 18-Фев-24, 18:25

кликхаус - это не только БД для хранения гигабайтов данных. это еще и инструмент (который может работать без сервера в clickhouse-local), который позволяет делать сложные запросы читать (да и писать) примерно из любого формата в данных (от файла с CSV до postgresql и parquet на s3) и делать это в общем случае быстрее любых других инструментов.

Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

13. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –2 +/–

Сообщение от Аноним (13), 18-Фев-24, 15:49

Кликхаус проприетарь, сабж нет

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

26. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от михаилка (?), 18-Фев-24, 18:18

Эмм, кликхаус под apache, сабж под mit

Ответить | Правка | Наверх | Cообщить модератору

19. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от похъ (?), 18-Фев-24, 17:11

он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте.
Или просто не работать.
Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет.

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

27. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от михаилка (?), 18-Фев-24, 18:21

> он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте.
> Или просто не работать.
ога, конечно
> Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет
а где вы увидели time-value записей? и то, и другое - OLAP

Ответить | Правка | Наверх | Cообщить модератору

59. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (59), 19-Фев-24, 21:33

CH мало чего умеет из списка. Это сильно специализированная СУБД, не подходит для многих видов работ

Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

6. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (6), 18-Фев-24, 14:13

А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб? Чтобы в системе просто заменить — и всё её юзало, в том числе все питоньи приложения через обычный import sqlite3, с дополнительными фичами — через SQL-запросы.

Ответить | Правка | Наверх | Cообщить модератору

17. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (16), 18-Фев-24, 16:33

Нет надежды, для начала пришлось бы переписать её с плюсов на си.

Ответить | Правка | Наверх | Cообщить модератору

55. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (55), 19-Фев-24, 18:42

Звездеть — не мешки ворочать.
>We also provide a SQLite API wrapper which means that if your applications is programmed against the SQLite C API, you can re‑link to DuckDB and it should continue working. See the sqlite_api_wrapper folder in our source repository for more information.
Можно.

Ответить | Правка | Наверх | Cообщить модератору

56. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (16), 19-Фев-24, 18:55

Если у плюсов нет аби (до сих пор!), так о чём можно говорить? Замена уже никак не получится.

Ответить | Правка | Наверх | Cообщить модератору

57. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (57), 19-Фев-24, 19:14

libsqlite - это сишная биба, не плюсовая.

Ответить | Правка | Наверх | Cообщить модератору

58. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (16), 19-Фев-24, 19:29

> libsqlite - это сишная биба, не плюсовая.
Ты всё правильно понял.

Ответить | Правка | Наверх | Cообщить модератору

61. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (61), 20-Фев-24, 03:18

Что сказать-то хотел, сишник ты наш? Любая плюсовая обычная функция может быть экспортирована как сишная через extern "C".

Ответить | Правка | Наверх | Cообщить модератору

62. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (-), 20-Фев-24, 06:28

Вот поэтому плюсы не нужны.

Ответить | Правка | Наверх | Cообщить модератору

8. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (7), 18-Фев-24, 14:28

Так и не понял в чем уникальное торговое предложение (УТП) сабжа.

Ответить | Правка | Наверх | Cообщить модератору

14. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (13), 18-Фев-24, 15:50

Встраемавая бд для аналитических запросов

Ответить | Правка | Наверх | Cообщить модератору

9. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (7), 18-Фев-24, 14:29

Какая база данных лучше всего, почему, какую выбрать?

Ответить | Правка | Наверх | Cообщить модератору

33. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:53

От задачи зависит. Универсальных нет. Пойми свой workload, потом выбирай.

Ответить | Правка | Наверх | Cообщить модератору

40. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Баба Ванга (?), 18-Фев-24, 21:57

Для тебя — MS Access.

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

64. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Anonim (??), 21-Фев-24, 11:05

В Access можно искать семантические циклы, но ... только до семи вложений. Не имею опыта - в других SQL системах есть такая опция как "копия таблицы"?

Ответить | Правка | Наверх | Cообщить модератору

44. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (44), 19-Фев-24, 08:57

текстовый файл

Ответить | Правка | К родителю #9 | Наверх | Cообщить модератору

10. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от penetrator (?), 18-Фев-24, 14:50

> DuckDB is a fast in-process analytical database
кто-нибудь может объяснить это как?
олап кубы это же подготовили в фоне для будущего массивного чтения
а что делать если это в пределах моего процесса? т.е. скрыть наличие еще одной базы? и стучаться к локальному файлу? а зачем?
что я не понял?

Ответить | Правка | Наверх | Cообщить модератору

23. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (-), 18-Фев-24, 17:45

>олап кубы это же подготовили
Ты где-нибудь рабочие olap-системы вживую видел? У меня вот в вузе одна такая была, сервер насиловали одновременно 30 человек и было проще стянуть базу и сделать дома, чем насиловать в 30 рыл один сервер за 40 минут, когда запрос проходил за 20. Дома этот запрос на sqlite проходил за пять - никто не насиловал диск в 30 рыл.

Ответить | Правка | Наверх | Cообщить модератору

31. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от penetrator (?), 18-Фев-24, 19:27

так может это не OLAP? а OLTP?
странная оптимизация под запросы, если он потом выполняется 20 минут

Ответить | Правка | Наверх | Cообщить модератору

39. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (39), 18-Фев-24, 21:39

У нас был redshift на aws проекте, было норм как data lake

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

42. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (39), 19-Фев-24, 05:37

Дак ты сравнил тоже. Российские вузы в среднем неплохо обучают фундаменталке, что не мешает им быть рассадником профнепригодного технического персонала, сроду не имевшего опыта работы в коммерческих IT-компаниях, в силу чего уровень администрирования чего-либо в вузах чудовищно убог.

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

45. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (-), 19-Фев-24, 10:06

>Дак ты сравнил тоже. Российские вузы в среднем неплохо обучают фундаменталке
В среднем по России образование отсталое. И обучают фундаменталке плохо.

Ответить | Правка | Наверх | Cообщить модератору

47. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (39), 19-Фев-24, 10:24

Дискретке и алгоритмам обучают нормально, всякие нейросети студенты сами осилят

Ответить | Правка | Наверх | Cообщить модератору

48. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Витюшка (?), 19-Фев-24, 10:48

Нейросетям обучают офигенно.
Особенно в ВШЭ, я сам туда как-то планировал поступать на Machine Learning в магистратуру. Но потом передумал (уже специалист).
В МФТИ скорее всего очень хорошо обучают, в МГУ.
Есть офигенный курс по Deep Learning от НГУ, кажется. Его читал мужчина прямо из Кремниевой Долины (наш, русский).
А так... в каком-нибудь Арканзасском Университете ничерта не обучают нейронкам нормально тоже.
Более того смотрел лекции и слайды от топовых мировых университетов американских. Там там просто ужас и кошмар, разобраться в этом невозможно. В общем зависит от курса к курсу.

Ответить | Правка | Наверх | Cообщить модератору

49. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Бывалый Смузихлёб (ok), 19-Фев-24, 11:44

> А так... в каком-нибудь Арканзасском Университете ничерта не обучают нейронкам нормально
> тоже.
> Более того смотрел лекции и слайды от топовых мировых университетов американских. Там
> там просто ужас и кошмар, разобраться в этом невозможно. В общем
> зависит от курса к курсу.
А зачем им это с махрово-платным образованием ?
Чем лучше открытые курсы и лекции - тем меньше смысла студенту брать кредит( который не спишут при банкротстве ) и дарить деньги ВУЗу

Ответить | Правка | Наверх | Cообщить модератору

52. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Витюшка (?), 19-Фев-24, 15:22

Не знаю, но образование ты таким образом не получишь. Как минимум нет экзаменов (проверка усвоенного материала) в конце курса, часто выложены только слайды, видео нет. Или нет проверок заданий (где ручкой нужно что-то писать).
Думаю в основном это инициатива самого лектора. Есть буквально самый лучший в мире курс лекций по базам данных от Andy Pavlo. Там есть всё. Включая возможность писать код и прогонять через их систему тестов.
Но для Advanced Database Systems уже в основном только лекции.

Ответить | Правка | Наверх | Cообщить модератору

50. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Бывалый Смузихлёб (ok), 19-Фев-24, 11:53

> В среднем по России образование отсталое. И обучают фундаменталке плохо.
Это смотря кто и как считает
Некоторые любят рассказывать сказки про американское супер-образование, но, почему-то огромное количество идей и достижений получается за счёт приезжих 1-2 поколения( бСССР / азия )
Тогда как итогом чисто американского образования( 2+ поколение жителей штатов ) является исчезающе-малое количество открытый, наработок и прочего

Ответить | Правка | К родителю #45 | Наверх | Cообщить модератору

54. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Аноним (-), 19-Фев-24, 18:34

В твоём сообщении смешаны времена, люди и кони.
1. Советское/Российское образование самое лучшее в мире - это ложь.
2. Вклад Русских эимгрантов в американское образование и науку ничтожен, там лидируют китайцы и индусы.
3. Американское образование лучшее в мире - это тоже ложь. Разрекламированные и богатые коллежди типа Гарвард, МТИ, Принстон, это уже другая история.
В СССР был массовый отбор одарённых детей по всей стране. Эти дети сначала учились в математических классах, потом поступали в МФТИ или МГУ, потом они должны были трудится в советских НИИ, где они осваивали ворованные иностранные технологии. Самим им государство не разрешала разрабатывать технологии. Эти дети были с приобретёнными психическими расстройствами. Получил двойку - опозорил родителей, подвёл Родину. Разрушительный "культ отличника". Некоторые дети умели читать и писать с двух лет, с трёх сочиняли стихи - передаю привет их родителям, если они ещё живы.
США. В обществе презирают наку, если эта наука не приносит доход. Причём американцу нужны быстрые деньги. Ну и, компьютеры это святое, да и  монетизация в сфере IT неплохая, поэтому среди американцев и много лауреатов премии Тьюринга.
Сейчас происходит глобализация, если вам важны качественные знания а не корочка, то ищите преподователей а не учебные заведения. Как ни странно есть отличные преподователи среди индусов, да-да они разговаривают по английски с индусским акцентом. Есть замечательные учителя математики среди китайских эммигрантов.

Ответить | Правка | Наверх | Cообщить модератору

43. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Витюшка (?), 19-Фев-24, 08:15

OLAP кубы - это древняя технология. Попытка добавить аналитику в OLTP (row-store) базы данных. Нужно заранее их готовить, на конкретные запросы.
Сейчас хотят из коробки иметь аналитические запросы. Для этого и создали OLAP (column-store) базы данных.
Там на индексы пофиг, на транзакции пофиг (в целом). Главное иметь быстрый table scan - сканирование всей таблицы с диска. И читать только несколько колонок (для этого и сделали column-store хранилище).

Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

15. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –2 +/–

Сообщение от Аноним (13), 18-Фев-24, 15:51

Проблема у неё та же, что и у склайт: может только в один процесс.

Ответить | Правка | Наверх | Cообщить модератору

21. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от swarus (ok), 18-Фев-24, 17:20

уточняй insert update в один процесс (да и то если один закрыл файл-базу, то другой может продолжить), чтение в сколько хочешь

Ответить | Правка | Наверх | Cообщить модератору

18. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Аноним (18), 18-Фев-24, 17:00

> Учётные данные сохраняются в файле ~/.duckdb/stored_secrets
Расскажите им кто-нибудь про XDG Base Directory Specification.

Ответить | Правка | Наверх | Cообщить модератору

32. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Витюшка (?), 18-Фев-24, 19:28

Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил базу данных?
Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд.
И сегодня твоя $XDG_DATA_HOME выставлена, а завтра нет (или по дефолту указывает на другую директорию, или просто указывает на другую директорию).
И тютю твоя база данных. Удачи тебе собрать все компоненты теперь (файлы таблиц, файлы индексов, write-ahead log, и ещё кучу всего).
А также удачи упаковать всё в один архив (для бэкапа) и т.п.
Snap и Flatpak тоже так не работают.

Ответить | Правка | Наверх | Cообщить модератору

34. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:54

> Уверен сами дистрибутивы (и пакеты которые они предоставляют) НЕ используют и применяют эту спецификацию. Кто во что горазд.
Если бы это было так, то директория $HOME/.config/ была бы пустой.

Ответить | Правка | Наверх | Cообщить модератору

36. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Витюшка (?), 18-Фев-24, 20:04

Я не говорю что полностью не используют. Но помимо этой директории появляется куча своих. Даже у neovim свои директории, у VS Code, у кучи консольных утилит.

Ответить | Правка | Наверх | Cообщить модератору

38. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (16), 18-Фев-24, 20:18

> кучи помойных утилит
исправил

Ответить | Правка | Наверх | Cообщить модератору

46. Скрыто модератором –1 +/–

Сообщение от Аноним (-), 19-Фев-24, 10:09

>Чтобы какой-нибудь дурачок потом переписал файлы в этих директориях и повредил базу данных?
Дурачок здесь ты, причём тёмный и дикий. Это просто стандартизации расположения файлов кеша, конфигураций и пользовательских файлов.

Ответить | Правка | К родителю #32 | Наверх | Cообщить модератору

24. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от голос из леса (?), 18-Фев-24, 17:59

>> формат хранилища пока не стабилизирован и меняется от версии к версии.
Ну то есть кроме идеи самого главного еще и нет. даю 95% что не взлетит.

Ответить | Правка | Наверх | Cообщить модератору

25. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от похъ (?), 18-Фев-24, 18:06

оно изначально затевалось для работы с чужими данными (внезапно - один из форматов - csv) выгружаемыми откуда-то где нельзя трахать сервер аналитикой за полтора квартала. Внутренний формат можно при этом  переделывать для лучшей оптимизации сколько угодно.

Ответить | Правка | Наверх | Cообщить модератору

29. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от Витюшка (?), 18-Фев-24, 18:33

Шикарная передовая база данных. Очень интересная. Передовые структуры данных и алгоритмы.
База данных нового поколения.

Ответить | Правка | Наверх | Cообщить модератору

35. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:56

> Передовые структуры данных и алгоритмы.
Можно примеры?

Ответить | Правка | Наверх | Cообщить модератору

37. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +1 +/–

Сообщение от Витюшка (?), 18-Фев-24, 20:12

Я всё не знаю, но видел их презентации и исследования немного.
Например Partitioned Attributes Across (PAX) формат хранения данных. Такой гибрид row-store и column-store.
В классических column-store базах данных каждая колонка хранится в отдельном файле. И чтобы собрать строчку из 20-30 столбцов, нужно прочитать отдельно все эти 20-30 столбцов.
Многое у них в блоге можно посмотреть. Performance у них очень хороший.
Читал про адаптивные индексы (деталей не помню и не могу сказать имплементировы они или нет).
Но это целая научная группа, эксперты в базах данных. Альтернатив особо нет. У sqlite выигрывает вчистую (column-store позволяет сжимать данные одного типа хорошо, например, там много интересных оптимизаций в отличии от row-store (sqlite), тот же SIMD и т.п.)

Ответить | Правка | Наверх | Cообщить модератору

60. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (60), 20-Фев-24, 00:31

Сначала подумал, что кто-то сделал форк с обвесами. Смотрю, а вот на гитхабе и вебсайте у них нет ни единой отсылки на скулайт. Всё своё, видимо.
Должен заметить, что их релизная либа .so занимает толстенные 49MiB, в то время как старый добрый sqlite довлеет только на полторушку, так что я бы десять раз подумал о том, что а зачем оно мне.

Ответить | Правка | Наверх | Cообщить модератору

65. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." –1 +/–

Сообщение от nc (ok), 22-Фев-24, 09:23

Интересный проект. Я вот сейчас пишу на Go свой проект для исследования социального графа соцсетей, база на sqlite. При размере базы в несколько гигов уже стало подтормаживать, а ведь это не предел, по идее база может  быть и больше.
Но обертка для Go к этому вряд ли в ближайшее время появится.

Ответить | Правка | Наверх | Cообщить модератору

67. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от ibnteo (ok), 06-Мрт-24, 00:06

https://duckdb.org/docs/api/go

Ответить | Правка | Наверх | Cообщить модератору

66. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..." +/–

Сообщение от Аноним (66), 27-Фев-24, 01:52

Прочитал доку. Вердикт — мусор, написанный в процессе детской игры разраба, когда он в рот тащит всё, что видит, включая кака. Разъясню поподробнее.
1. Субд реализует кучу синтаксисов, когда несколько синтаксисов делаютодно и то же, при этом на самом деле ни один из них не совместим с другими субд, а просто один немного напоминает синтаксис одной субд, а второй — синтаксис другой субд.
2. идиотские никому не нужные на практике свистоперделки, вроде рекурсивных подзапросов. Да, они позволяют обходить графы .... в ширину ... генерируя все пути ... и храня их. Для маленького игрушечного дэйтасета сойдёт. Для дейтасета того размера, что для его хранения нужна база ... просто потратит ресурс SSD/HDD, и в конце навернёт систему по OOM. Вообще не понятно, зачем заморочились с реализацией этой фичи.
3. система расширений .... качающая их из инета ... и ставящая в локальную папку ... и система проверки цифровых подписей на расширениях. Всё триггерится через SQL. Разрабу невдомёк, что установкой расширений должен заниматься пакетный менеджер, ставиться они должны в систему, проверка подписи на so-файлах — должна делаться не субд, а пакетным же менеджером, загрузка расширений из SQL-кода - это дыра в безопасности, а установка — тем более. И что вообще подписывание расширений — это хрень какая-то, особенно учитывая то, что можно поменять настройки и грузить и неподписанные. А вот отключить возможность загрузки подписанных вообще никак нельзя. Тянет на бэкдор.
4. из SQL-кода можно писать и читать произвольные файлы. Что сразу делает исполнение SQL-кода опасным.
5. для работы со всякими Amazon s3  используется своё расширение вместо того, чтобы сказать, что всё это out of scope и юзайте fuse.
6. питоньи биндинги имеют целых 3 альтернативных интерфейса, причём один из них прямо берёт и воспринимает локальные переменные как базы. Ещё одна дыра.
7. судя по тому, что в руководстве по сборке из либ требуется только openssl, все остальные либы пшхоже что инлайнятся на уровне исходников.
В общем: свистелок и перделок много, а вот  общая адекватность отсутствует напрочь.

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–1 +/–
Сообщение от Аноним (-), 18-Фев-24, 12:54
Разработчики из поисковика DuckDuckGo?
Ответить \| Правка \| Наверх \| Cообщить модератору


	2. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
	Сообщение от Аноним (2), 18-Фев-24, 13:17
	Нет. "DuckDB is maintained by Dr. Mark Raasveldt & Prof. Dr. Hannes Mühleisen. DuckDB’s initial development took place at the Database Architectures Group at the Centrum Wiskunde & Informatica (CWI) in Amsterdam, The Netherland"
	Ответить \| Правка \| Наверх \| Cообщить модератору


	7. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–3 +/–
	Сообщение от Аноним (7), 18-Фев-24, 14:26
	>Prof. Dr. Hannes Mühleisen. Интересно конечно и профессор и доктор сразу.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	22. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+3 +/–
	Сообщение от ы (?), 18-Фев-24, 17:29
	А для вас докто - это врач, да?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	30. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+2 +/–
	Сообщение от Аноним (30), 18-Фев-24, 18:36
	Да.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	41. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–1 +/–
	Сообщение от Аноним (41), 19-Фев-24, 00:55
	Интересно, он сам код писал или припахал студентов "за оценки" чтобы нагло стырить результаты их работы и выдать за своё?
	Ответить \| Правка \| К родителю #2 \| Наверх \| Cообщить модератору


	51. Скрыто модератором	+1 +/–
	Сообщение от Аноним (-), 19-Фев-24, 15:01
	Расскажи историю, а кто из русских преподователей так делает? Ты ведь с непроста так написал.
	Ответить \| Правка \| Наверх \| Cообщить модератору

4. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
Сообщение от михаилка (?), 18-Фев-24, 13:38
И зачем это нужно, когда есть clickhouse-local, который 1) умеет примерно все (без шуток) 2) делает это с несравнимо более хорошей производительностью
Ответить \| Правка \| Наверх \| Cообщить модератору


	5. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
	Сообщение от Аноним (5), 18-Фев-24, 13:49
	...Ты серьёзно предлагаешь БД для хранения гигабайтов данных использовать вместо склайта?
	Ответить \| Правка \| Наверх \| Cообщить модератору


	16. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
	Сообщение от Аноним (16), 18-Фев-24, 15:52
	Т.е. не подходит для хранения сотен терабайт данных, как скулайт? Вообще, я заметил, что мало кто может конкурировать со скулайтом в этом, в том числе, это касается большинства проприетарных бд.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	28. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+2 +/–
	Сообщение от михаилка (?), 18-Фев-24, 18:25
	кликхаус - это не только БД для хранения гигабайтов данных. это еще и инструмент (который может работать без сервера в clickhouse-local), который позволяет делать сложные запросы читать (да и писать) примерно из любого формата в данных (от файла с CSV до postgresql и parquet на s3) и делать это в общем случае быстрее любых других инструментов.
	Ответить \| Правка \| К родителю #5 \| Наверх \| Cообщить модератору


	13. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–2 +/–
	Сообщение от Аноним (13), 18-Фев-24, 15:49
	Кликхаус проприетарь, сабж нет
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	26. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
	Сообщение от михаилка (?), 18-Фев-24, 18:18
	Эмм, кликхаус под apache, сабж под mit
	Ответить \| Правка \| Наверх \| Cообщить модератору


	19. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от похъ (?), 18-Фев-24, 17:11
	он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте. Или просто не работать. Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет.
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору


	27. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от михаилка (?), 18-Фев-24, 18:21
	> он умеет все исключительно на бумаге. А на деле умеет только сегфолтиться на любом ровном месте. > Или просто не работать. ога, конечно > Не говоря уже о разнице между базкой для time-value записей и базой для аналитики - из первой никто и никогда никаких сложных запросов делать не будет а где вы увидели time-value записей? и то, и другое - OLAP
	Ответить \| Правка \| Наверх \| Cообщить модератору


	59. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (59), 19-Фев-24, 21:33
	CH мало чего умеет из списка. Это сильно специализированная СУБД, не подходит для многих видов работ
	Ответить \| Правка \| К родителю #4 \| Наверх \| Cообщить модератору

6. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
Сообщение от Аноним (6), 18-Фев-24, 14:13
А возможна ли прозрачная замена libsqlite на встраиваемую либу этой дакдб? Чтобы в системе просто заменить — и всё её юзало, в том числе все питоньи приложения через обычный import sqlite3, с дополнительными фичами — через SQL-запросы.
Ответить \| Правка \| Наверх \| Cообщить модератору


	17. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–1 +/–
	Сообщение от Аноним (16), 18-Фев-24, 16:33
	Нет надежды, для начала пришлось бы переписать её с плюсов на си.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	55. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (55), 19-Фев-24, 18:42
	Звездеть — не мешки ворочать. >We also provide a SQLite API wrapper which means that if your applications is programmed against the SQLite C API, you can re‑link to DuckDB and it should continue working. See the sqlite_api_wrapper folder in our source repository for more information. Можно.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	56. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (16), 19-Фев-24, 18:55
	Если у плюсов нет аби (до сих пор!), так о чём можно говорить? Замена уже никак не получится.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	57. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (57), 19-Фев-24, 19:14
	libsqlite - это сишная биба, не плюсовая.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	58. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (16), 19-Фев-24, 19:29
	> libsqlite - это сишная биба, не плюсовая. Ты всё правильно понял.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	61. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Аноним (61), 20-Фев-24, 03:18
	Что сказать-то хотел, сишник ты наш? Любая плюсовая обычная функция может быть экспортирована как сишная через extern "C".
	Ответить \| Правка \| Наверх \| Cообщить модератору


	62. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–1 +/–
	Сообщение от Аноним (-), 20-Фев-24, 06:28
	Вот поэтому плюсы не нужны.
	Ответить \| Правка \| Наверх \| Cообщить модератору

8. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
Сообщение от Аноним (7), 18-Фев-24, 14:28
Так и не понял в чем уникальное торговое предложение (УТП) сабжа.
Ответить \| Правка \| Наверх \| Cообщить модератору


	14. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+1 +/–
	Сообщение от Аноним (13), 18-Фев-24, 15:50
	Встраемавая бд для аналитических запросов
	Ответить \| Правка \| Наверх \| Cообщить модератору

9. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	–1 +/–
Сообщение от Аноним (7), 18-Фев-24, 14:29
Какая база данных лучше всего, почему, какую выбрать?
Ответить \| Правка \| Наверх \| Cообщить модератору


	33. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Вы забыли заполнить поле Name (?), 18-Фев-24, 19:53
	От задачи зависит. Универсальных нет. Пойми свой workload, потом выбирай.
	Ответить \| Правка \| Наверх \| Cообщить модератору


	40. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Баба Ванга (?), 18-Фев-24, 21:57
	Для тебя — MS Access.
	Ответить \| Правка \| К родителю #9 \| Наверх \| Cообщить модератору


	64. "Выпуск DuckDB 0.10.0, варианта SQLite для аналитических запр..."	+/–
	Сообщение от Anonim (??), 21-Фев-24, 11:05
	В Access можно искать семантические циклы, но ... только до семи вложений. Не имею опыта - в других SQL системах есть такая опция как "копия таблицы"?
	Ответить \| Правка \| Наверх \| Cообщить модератору