Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

СУБД Dolt, позволяющая манипулировать данными в стиле Git, opennews (??), 07-Мрт-21, (0) [смотреть все] Круто По крайней мере задумка хотя бы она Что-то инновационное , Msk20 (?), 12:36 , 07-Мрт-21, (2) +6 // Не сказал бы, что это что-то инновационное Если вам нужна версионность, ее легк, Урри (ok), 16:01 , 07-Мрт-21, (36) –2 // А если приложение не поддерживает дополнительный столбец Очень много систем с , tim2k (ok), 17:27 , 07-Мрт-21, (43) –4 // Так пусть не поддерживает Мы ему напишем внешнюю нашлёпку, которая по нашему за, Annoynymous (ok), 18:40 , 07-Мрт-21, (46) +4 Значит оно не поддерживает и СУБД Dolt О чем вообще разговор , adolfus (ok), 20:28 , 07-Мрт-21, (50) +6 Dolt MySQL на уровне протокола, Аноним (108), 10:34 , 08-Мрт-21, (108) И где там вон тот AS OF , ыы (?), 11:18 , 08-Мрт-21, (110) Что-то добавлять к КАЖДОЙ А таблиц в БД десятки Менять много Так что не так , Msk20 (?), 18:42 , 07-Мрт-21, (47) –2 // А вы думаете как партицирование делается Не только на каждую таблицу а каждую, ыы (?), 23:42 , 07-Мрт-21, (62) +4 Нет, не совсем Подобный подход позволяет версионифицировать данные в одной табл, минона (?), 20:36 , 07-Мрт-21, (51) // мы строим sql запрос Зачем перед этим организовывать физическое присутствие, ыы (?), 23:45 , 07-Мрт-21, (63) Возможно, я не совсем понял вопрос, но в системах, для которых нужно манипулиров, минона (?), 01:00 , 08-Мрт-21, (72) +1 Это все понятно И точки зрения академического интереса - можно извернуться П, ыы (?), 09:08 , 08-Мрт-21, (86) –1 а это уже троллинг на уровне детсада , B (?), 23:11 , 08-Мрт-21, (127) Эта штука позволяет немного иначе разделить задачи Это не значит, что в ней мож, Ordu (ok), 04:16 , 08-Мрт-21, (83) // прикрутить к git- обертку для запросов на sql , ыы (?), 09:59 , 08-Мрт-21, (106) Хотя это конечно чисто извернуться Штука когда есть набор данных которые надо , ыы (?), 10:05 , 08-Мрт-21, (107) Нет никакой системы, чтобы говорить о проектировании её Это процесс разработки , Ordu (ok), 11:36 , 08-Мрт-21, (111) Чем-то напоминает если вам нужны версии, просто делайте архивы , Аноним (139), 12:51 , 09-Мрт-21, (139) Да что-то ничего крутого ни в гит ни в стиле гит нет Последние откровенным ма, Аноньимъ (ok), 01:33 , 08-Мрт-21, (76) –2 Вроде не такая сложная идея, но прямо историческая крутость , Kusb (?), 12:40 , 07-Мрт-21, (4) +4 // Про крутость пока неизвестно Просто сказать у нас версии данных мало, нужно, Gogi (??), 13:59 , 07-Мрт-21, (13) +5 // Мы засунули вам абстракцию в абстракцию, чтобы пока вы используете абстракцию, м, Синдарин (?), 00:30 , 08-Мрт-21, (70) +4 Название настораживает Хотя Go , Онаним (?), 13:34 , 07-Мрт-21, (9) –4 Что за чушь Причём тут git вообще Или вы больше не знаете DVCS Почему не в , Gogi (??), 13:52 , 07-Мрт-21, (11) –3 // https github com dolthub dolt blob master README md Dolt is a SQL database tha, RNZ (ok), 14:09 , 07-Мрт-21, (22) +5 // Фанфики, которые мы заслужили А по сабжу - если взлетит, то будет интересно посл, Аноним (45), 18:31 , 07-Мрт-21, (45) +3 // Зачем нам сын Git x MySQL, если можно внука Git x Bitcoin x MongoDB OrbitDB , Аноним (49), 20:18 , 07-Мрт-21, (49) Мичурин, залогиньтесь , YetAnotherOnanym (ok), 21:39 , 07-Мрт-21, (54) Откуда берутся все эти уроды , Аноньимъ (ok), 01:36 , 08-Мрт-21, (77) +1 Сон разума рождает чудовищ с , ыы (?), 09:48 , 08-Мрт-21, (104) +3 стул в пепел , имятакое (?), 14:41 , 07-Мрт-21, (28) +2 Без биндингов к питону a-la SQLite без клиент-серверного говна, чтобы всё было, Аноним (49), 13:56 , 07-Мрт-21, (12)   // Вообще-то игогошечка был сделан для того чтобы твой бидон прихлопнуть нафиг И с, Аноним (17), 14:05 , 07-Мрт-21, (17) –2   // Совершенно разные вещи Одна из главных фич всех скриптовых языков - это REPL А, Аноним (49), 14:21 , 07-Мрт-21, (26) +1   // Скрыто модератором, Аноним (-), 14:51 , 07-Мрт-21, (29) –2   Как это связано Для Haskell есть REPL, хотя он компилируемый по самое небалуй , Аноним (32), 15:04 , 07-Мрт-21, (32)   Я сказал эффективного Ты наверное этим REPLом для C , основанном на устаревш, Аноним (49), 16:38 , 07-Мрт-21, (40) –3   Ну, понимаешь, твоя эффективность продакшну очень дорого обходится, сервера ба, Аноним (-), 23:15 , 07-Мрт-21, (60)   Учитывая что серверов у гугла как грязи, и сама архитектура построена на идее де, ыы (?), 00:13 , 08-Мрт-21, (68)   Сервер может быть дешёвым, но датацентры стоят дорого, особенно когда жрут много, Аноним (81), 03:01 , 08-Мрт-21, (81) +1   Я думаю упрощение труда программиста будет и дальше превалировать над ценой обор, ыы (?), 09:21 , 08-Мрт-21, (90)   Гонять на том же парке серверов в разы большую нагрузку без докупки дешевых се, Аноним (-), 09:20 , 08-Мрт-21, (88)   А вы знаете разницу в производительности дешевого сервера и дорогого В пересче, ыы (?), 09:25 , 08-Мрт-21, (92)   мы знаем, а вам гуглить придется , B (?), 23:17 , 08-Мрт-21, (128)   В пересчете на ватт еще не забудьте Когда некто оперирует целыми датацентрами, , Аноним (-), 23:43 , 08-Мрт-21, (129) –2   Это в веб-сервисах Я же программер на питоне и плюсах программ для десктопа и д, Аноним (49), 08:37 , 08-Мрт-21, (85)   Ага, питон - таки да, для сайентистов с одноразовыми макетами А для остального , Аноним (-), 09:22 , 08-Мрт-21, (91) –1   В продакшне видите ли скорость приоритетнее И черт с ним, с REPLом нахрен он, Аноним (-), 23:10 , 07-Мрт-21, (59)   Да нахрена он вообще Та же беда, что и с экспериментами в командной строке шелл, CrazyAlex (?), 07:35 , 08-Мрт-21, (84)   Ну вон какой-то дата-саентолог вылез Ему может что-то такое и пригодится А , Аноним (-), 09:28 , 08-Мрт-21, (95)   go run Что значит эффективный REPL Вот такой что-ли https github com moteme, RNZ (ok), 14:30 , 08-Мрт-21, (117)   А они есть https github com dolthub doltpy, Ted (?), 15:35 , 07-Мрт-21, (34)   // Он стартует серверный процесс и подключается к нему по сети Значит будет оверхе, Аноним (49), 16:29 , 07-Мрт-21, (39) –3   // Питон сам тормозной как трактор, так что смысла то все это оптимизировать Чтобы, Аноним (-), 23:18 , 07-Мрт-21, (61)   Тоже узко Питон позволяет подключать сишные библиотеки для числодробилок Если , kai3341 (ok), 01:21 , 08-Мрт-21, (75) +1   База данных, наверное, не числодробилка Да, и используя базу на го логично и бэк, Аноним (-), 09:30 , 08-Мрт-21, (96)   Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс Что делать, есл, kai3341 (ok), 01:02 , 08-Мрт-21, (73)   Смузихлебы способны и не на такое Это вы тут узко мыслите Нужно все разделить н, Аноньимъ (ok), 01:50 , 08-Мрт-21, (78)   К -- Конструктивность Сразу видно -- Инженерище thread, kai3341 (ok), 02:00 , 08-Мрт-21, (80)   Перезапустить Многопроцессность не нужна, у нас bottleneck при импорте - случайн, Аноним (49), 09:16 , 08-Мрт-21, (87)   Отлично Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закон, kai3341 (ok), 22:13 , 08-Мрт-21, (126)   Это только если отключён журнал Отключение журнала повысит производительность, , Аноним (146), 10:01 , 10-Мрт-21, (146)   Это забавный тонкий момент Журнал как раз позволяет восстановить структуру в ав, kai3341 (ok), 15:03 , 11-Мрт-21, (149)   Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейс, Аноним (-), 09:32 , 08-Мрт-21, (97) +1   Оказывается, проблема питона в стэктрейсах Вы их боитесь Они вас обидели Ярлык, kai3341 (ok), 21:18 , 08-Мрт-21, (125) –1   Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да, Аноним (-), 23:47 , 08-Мрт-21, (130) +1   А чего тогда не Golt P, Аноним (17), 14:03 , 07-Мрт-21, (14) // go it do it , B (?), 00:44 , 09-Мрт-21, (133) Сейчас чуть дотошнее прочёл и прям взрыв мозга Клонировать таблицы Ну, допустим, Gogi (??), 14:04 , 07-Мрт-21, (15) –2 // Вот тоже интересно что-нибудь серьезней обычного bcp они сделали , Аноним (42), 17:14 , 07-Мрт-21, (42) Если идеи, заложенные в эту СУБД, настолько ортогональны всему, что ты когда-то , YetAnotherOnanym (ok), 21:46 , 07-Мрт-21, (55) –1 // Скажите пожалуйста, а зачем версионировать таблицы БД со статистикой о коронави, ыы (?), 22:44 , 07-Мрт-21, (57) +1 // Это похоже попытка сделать темпоральную БД Компании разные пыжились но как я по, Аноним (42), 23:55 , 07-Мрт-21, (64) InfluxDB называется Вон работает как лошадь - метрики мониторинга пишет , ыы (?), 00:07 , 08-Мрт-21, (66) +1 Больше имело в виду полностью скуль база На которой можно делать всё тоже самое, Аноним (42), 01:19 , 08-Мрт-21, (74) зачем , ыы (?), 09:28 , 08-Мрт-21, (94) Затем же зачем и всё остальное - упростить работу Всё в одной таблице а заморач, Аноним (42), 11:39 , 08-Мрт-21, (113) А почему нельзя при изменении одной ячейки считать всю таблицу со старым значени, YetAnotherOnanym (ok), 00:44 , 08-Мрт-21, (71) +1 Это все элементарно делается уже имеющимися технологиями , ыы (?), 09:33 , 08-Мрт-21, (98) Доски тоже можно прикреплять деревянными штырьками, забивая их булыжником Но гв, YetAnotherOnanym (ok), 14:30 , 08-Мрт-21, (116) +1 Именно так, всякие dolt и прочие булыжники не нужны , Аноним (-), 16:25 , 09-Мрт-21, (143) Интересно, что у БД есть история с 2016 года И до 2018 года ей занимались абсол, Аноним (18), 14:05 , 07-Мрт-21, (18) +3 О, что-то интересное, да ещё и на Golang Спасибо большое , Иваня (?), 15:45 , 07-Мрт-21, (35) –5 с одной стороны инт , а с другой стороны аназачем ну вот реально а на зачем , DIO (?), 16:42 , 07-Мрт-21, (41) –1 // Распределённый Интернет, не нужно быть постоянно связанным всеми со всем миром , Kusb (?), 19:49 , 07-Мрт-21, (48) dictionary cambridge org 8250 dictionary 8250 english 8250 doltdolt def, anonimous (?), 20:37 , 07-Мрт-21, (52) +2 // Я понял, это шутку к 1му апреля готовят , Аноньимъ (ok), 01:56 , 08-Мрт-21, (79) // Не, ну а чего Разработчики честны относительно аудитории У го и на логотипе, в, Аноним (-), 23:48 , 08-Мрт-21, (131) Here we go again, Аноним (53), 21:26 , 07-Мрт-21, (53) +2 Сначала я подумал о, круто, какая свежая идея , а потом подумал ещё и понял, чт, Аноним (56), 22:24 , 07-Мрт-21, (56) // Мне вот тоже непонятно чем выборка по актуальному признаку при физическом отсут, ыы (?), 22:54 , 07-Мрт-21, (58) +1 // Допустим, у вас датасет плюс-минус один, но может пополняться А состояний, в ко, Crazy Alex (ok), 09:26 , 08-Мрт-21, (93) // Это просто дурно спроектированная база данных и ветер в консерватории программис, ыы (?), 09:35 , 08-Мрт-21, (101) Угу, и git не нужен, потому что бизнесу он бесполезен , Ordu (ok), 03:53 , 08-Мрт-21, (82) // После того как я увидел ТОПА ТРАНСНАЦИОНАЛЬНОЙ КОРПОРАЦИИ сцуко регающегося на г, Аноним (-), 09:35 , 08-Мрт-21, (100) +1 Это вы уж сами придумали Тут проблема не в конкретном гите, а в том, что будет в, Аноним (56), 16:29 , 08-Мрт-21, (120) // Узкой области применений Data science растёт как на дрожжах, и я бы не назва, Ordu (ok), 17:11 , 08-Мрт-21, (121) Сообщение набрано и отправлено, квиток от внешней системы ещё не получен, и тут,, Аноним (56), 01:26 , 09-Мрт-21, (134) То же самое будет и с сорцами в git, ежели ты, проводя серию связанных изменений, Ordu (ok), 04:07 , 09-Мрт-21, (136) От форков сорцов в гит ни горячо, ни холодно, потому что это никак не влияет на , Аноним (56), 09:06 , 09-Мрт-21, (137) –1 Ты про реальность, с точки зрения бизнеса Когда программист потратил рабочий де, Ordu (ok), 09:15 , 09-Мрт-21, (138) От того, что у программиста не компилируется, реальности пофигу , Аноним (56), 17:30 , 09-Мрт-21, (144) От того, что проводки не проводятся реальности тоже пофигу , Ordu (ok), 00:03 , 10-Мрт-21, (145) Да-да, интересно, как будет брызгать слюною конкретный Ordu, когда его платежи , Аноним (56), 09:04 , 11-Мрт-21, (147) Всегда меня озадачивало, как люди могут жить в своём информационном пузырьке и н, Ordu (ok), 11:03 , 11-Мрт-21, (148) Речь не об однократном откате, а о том, что для разных ситуаций правильное ко, Crazy Alex (ok), 09:21 , 08-Мрт-21, (89) // При исследовании - подмена данных ради хорошего результата- это все таки кримин, ыы (?), 09:38 , 08-Мрт-21, (103) +1 // Без этой подмены ничего не работает В сыром датасете всегда куча мусора И его , Ordu (ok), 11:39 , 08-Мрт-21, (112) Если факты не подтверждают теорию, от них нужно избавиться cледствие из зако, Аноним (-), 23:52 , 08-Мрт-21, (132) Во-первых, всегда есть первичная обработка - выкинуть сильные выбросы, явный мус, CrazyAlex (?), 19:53 , 08-Мрт-21, (124) Идея интересная, но чем в данном случае будет merge OK, допустим это слияние дв, Аноним (65), 00:01 , 08-Мрт-21, (65) Мне кажется, что база данных, в которой определенный scn или момент времени имее, ыы (?), 00:11 , 08-Мрт-21, (67) // Это если вы там бахгалтерию или регистрантов на сайте храните А для исследовани, Crazy Alex (ok), 09:33 , 08-Мрт-21, (99) // По моему это придумывание задач под забавную игрушку попавшую в руки , ыы (?), 09:36 , 08-Мрт-21, (102) У приличных баз данных есть такая штука как флэшбек И от шо я скажу- если вам, ыы (?), 00:16 , 08-Мрт-21, (69) +2 Кстати, а почему они не написали с точностью до наоборот - прикрутить к git- обе, ыы (?), 09:50 , 08-Мрт-21, (105) // Да именно так берем обычный немодифицированный git любой берем обычный немодифи, ыы (?), 10:49 , 08-Мрт-21, (109) Написано на Go Как это чудо будет вести себя под высокими нагрузками с большим , Прохожий (??), 12:54 , 08-Мрт-21, (114) +1 Почему не на блохчлене Даешь гит овер блохчлен субд , msgod (ok), 14:49 , 08-Мрт-21, (118) Манипулировать данными это всегда хорошо , Аноним (119), 15:43 , 08-Мрт-21, (119) Я помню, что хотел такую штуку написать, но уже не помню зачем , Аноним (122), 18:47 , 08-Мрт-21, (122) 2,4,9,11,12,14,15,18,35,41,52,53,56,65,67,69,105,114,118,119,122

Сообщения

[Сортировка по времени | RSS]

12. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
Сообщение от Аноним (49), 07-Мрт-21, 13:56
Без биндингов к питону a-la  SQLite (без клиент-серверного говна, чтобы всё было в одном процессе и потоке) - не нужно.
Ответить | Правка | Наверх | Cообщить модератору

	17. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–2 +/–
	Сообщение от Аноним (17), 07-Мрт-21, 14:05
	Вообще-то игогошечка был сделан для того чтобы твой бидон прихлопнуть нафиг. И собственно в вебне это и происходит везде, особенно в гугеле.
	Ответить | Правка | Наверх | Cообщить модератору

	26. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (49), 07-Мрт-21, 14:21
	Совершенно разные вещи. Одна из главных фич всех скриптовых языков - это REPL. А Go - компилируемый, эффективного REPLа там нет и не будет.
	Ответить | Правка | Наверх | Cообщить модератору

	29. Скрыто модератором	–2 +/–
	Сообщение от Аноним (-), 07-Мрт-21, 14:51
	> Совершенно разные вещи. Одна из главных фич всех скриптовых языков - это > REPL. А Go - компилируемый, эффективного REPLа там нет и не будет. С другой стороны, игогошечка по сравнению с пихоном быстр как понос и для продакшнов это аргумент. И, собственно, в продакшне REPL нафиг не упал. Игрулька для научно-экспериментальных макетчиков, которые не программисты и продакшна не имеют, так что и софт у них под стать оборудованию. Продакшн в вебе - не установка в лабе, через месяц не демонтируют. Так что running costs роялят. А докупать сервера может задолбаться даже гугл.
	Ответить | Правка | Наверх | Cообщить модератору

	32. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (32), 07-Мрт-21, 15:04
	>А Go - компилируемый, эффективного REPLа там нет и не будет. Как это связано? Для Haskell есть REPL, хотя он компилируемый по самое небалуй. Даже для C/C++ этот ваш REPL был на базе LLVM.
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	40. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–3 +/–
	Сообщение от Аноним (49), 07-Мрт-21, 16:38
	Я сказал "эффективного". Ты наверное этим REPLом для C++, основанном на устаревшей LLVM (5, когда мой код компилируется Clang 13), не пользовался. Оно и к лучшему, он почти бесполезен, единственный толк от него - когда нужно шаблоны отладить, ибо компилятор такую простыню в сообщениях об ошибках выдаёт (после задержки компиляции), что пожалеешь, что вообще с этими шаблонами и вообще с C++ связался. Repl же отладить шаблоны немного помогает, но крашится часто и память жрёт. Для кода он императивного себя не оправдывает.
	Ответить | Правка | Наверх | Cообщить модератору

	60. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 07-Мрт-21, 23:15
	> Я сказал "эффективного". Ну, понимаешь, твоя "эффективность" продакшну очень дорого обходится, сервера бабок стоят. Вот они питонистов и начали уходить. Вплоть до того что вот, крупный продакшн в виде гугла даже свой ЯП расперся сделать. А остальным уже так напрягаться не надо, достаточно програмеров сменить, на игогохе уже изрядо вебманки шпрехает, это не проблема совершенно.
	Ответить | Правка | Наверх | Cообщить модератору

	68. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от ыы (?), 08-Мрт-21, 00:13
	Учитывая что серверов у гугла как грязи, и сама архитектура построена на идее дешевого сервера но зато быстро заменяемого - сентенция о проблеме несколько странной выглядит...
	Ответить | Правка | Наверх | Cообщить модератору

	81. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (81), 08-Мрт-21, 03:01
	Сервер может быть дешёвым, но датацентры стоят дорого, особенно когда жрут много энергии и производят тепла. Закон Мура закончился, дальнейшее упрощения труда программистов начинает сказываться на цене обслуживания.
	Ответить | Правка | Наверх | Cообщить модератору

	90. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от ыы (?), 08-Мрт-21, 09:21
	Я думаю упрощение труда программиста будет и дальше превалировать над ценой оборудования. а на тепле от датацентров выращивают карпов в обогреваемых прудах...  Но вообще говоря с этого момента разговор без цифр не имеет смысла.
	Ответить | Правка | Наверх | Cообщить модератору

	88. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:20
	> Учитывая что серверов у гугла как грязи, и сама архитектура построена на > идее дешевого сервера но зато быстро заменяемого - сентенция о проблеме > несколько странной выглядит... Гонять на том же парке серверов в разы большую нагрузку без докупки "дешевых" серверов - любому капиталисту нравится. Больше профита за те же деньги. Тем более что он один - дешевый. А когда их тысячи, и вопрос в том что датацентров надо в разы больше, это уже вообще совсем не дешево получается. И на этом фоне можно уже и свой ЯП сколхозить, оплатив несколько больших голов и построив вебмакак. Благо, у гугла не будет проблем с наймом новых, если старые заартачатся.
	Ответить | Правка | К родителю #68 | Наверх | Cообщить модератору

	92. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от ыы (?), 08-Мрт-21, 09:25
	А вы знаете разницу в производительности дешевого сервера и дорогого?  В пересчете на один доллар, евро, мегафлоп или квадратный метр? Ну или хотя бы просто порядок величин представляете?
	Ответить | Правка | Наверх | Cообщить модератору

	128. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от B (?), 08-Мрт-21, 23:17
	мы знаем, а вам  гуглить придется.
	Ответить | Правка | Наверх | Cообщить модератору

	129. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–2 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 23:43
	> А вы знаете разницу в производительности дешевого сервера и дорогого?  В > пересчете на один доллар, евро, мегафлоп или квадратный метр? Ну или > хотя бы просто порядок величин представляете? В пересчете на ватт еще не забудьте. Когда некто оперирует целыми датацентрами, все это уже не пустой звук. И тут дорогим серверам совершенно нечем похвастаться. Оптимальный по энергии режим работы CMOS чипов - вовсе не топовая производительность, что бы там сцаный маркетинг не лечил. Но для этого надо понимать азы этой схемотехники, что сложновато для реднеков.
	Ответить | Правка | К родителю #92 | Наверх | Cообщить модератору

	85. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (49), 08-Мрт-21, 08:37
	Это в веб-сервисах. Я же программер на питоне и плюсах программ для десктопа и дейта-саентист. Какие там у Гугла проблемы на хайлоад-серверах, обслуживающих клиентов, меня не очень волнует - мои приложения не обслуживают клиентов и не должны держать тысячи запросов в секунду, главный bottleneck у меня - это диск (потому что я жлоб и SSD брать не буду) и память. Они должны делать свое дело локально.
	Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

	91. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–1 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:22
	> Это в веб-сервисах. Я же программер на питоне и плюсах программ для > десктопа и дейта-саентист. Ага, питон - таки да, для сайентистов с одноразовыми макетами. А для остального он... кхе-кхе. Поэтому гугель и запилил игогошечку. И да, искренне надеюсь что мне никогда не придется иметь дело с вашим софтом.
	Ответить | Правка | Наверх | Cообщить модератору

	59. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 07-Мрт-21, 23:10
	> Совершенно разные вещи. Одна из главных фич всех скриптовых языков - это > REPL. А Go - компилируемый, эффективного REPLа там нет и не будет. В продакшне видите ли скорость приоритетнее. И черт с ним, с REPLом... нахрен он вебне и микросервисам, по большому счету?
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	84. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от CrazyAlex (?), 08-Мрт-21, 07:35
	Да нахрена он вообще? Та же беда, что и с экспериментами в командной строке шелла - замучаешься контролировать состояние окружения. Поэтому я уже много лет всё мало-мальски сложное шелловское сразу пихаю в файлы, а просто командная строка - это для ps | grep какого-нибудь. И точно так же - никакого REPL, только нормальный файл с исходниками и Makefile рядом по возможности, чтобы повторяемо было, и желательно - не только мной
	Ответить | Правка | Наверх | Cообщить модератору

	95. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:28
	> Да нахрена он вообще? Ну вон какой-то дата-саентолог :) вылез. Ему может что-то такое и пригодится. А остальным оно натурально ни в п... ни в красну армию, по большому счету. > много лет всё мало-мальски сложное шелловское сразу пихаю в файлы, а > просто командная строка - это для ps | grep какого-нибудь. Ну да. Поэтому я и понимаю пойнт шелла в таком качестве, но вот нахрен в этом качестве питон для меня загадка. В шелле это какая-то мелкая системная автоматизация по месту. Вызовом сторонних утилсов. > И точно так же - никакого REPL, только нормальный файл с исходниками > и Makefile рядом по возможности, чтобы повторяемо было, и желательно - > не только мной Питонисты антипод этого - чтобы повторить их смертельный номер, придется выискикать вот конкретно вон ту версию пихона. А на полшишечки в сторону и нате вам трейс на три экрана...
	Ответить | Правка | Наверх | Cообщить модератору

	117. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от RNZ (ok), 08-Мрт-21, 14:30
	> Совершенно разные вещи. Одна из главных фич всех скриптовых языков - это > REPL. А Go - компилируемый, эффективного REPLа там нет и не > будет. go run ? Что значит "эффективный REPL"? Вот такой что-ли: https://github.com/motemen/gore/raw/master/doc/screencast.gif
	Ответить | Правка | К родителю #26 | Наверх | Cообщить модератору

	34. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Ted (?), 07-Мрт-21, 15:35
	А они есть. https://github.com/dolthub/doltpy
	Ответить | Правка | К родителю #12 | Наверх | Cообщить модератору

	39. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–3 +/–
	Сообщение от Аноним (49), 07-Мрт-21, 16:29
	Он стартует серверный процесс и подключается к нему по сети. Значит будет оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого прямого доступа к отображениям в памяти, да ещё и без гарантий завершения сервера, если клиентский процесс упадёт. Поэтому я мультипроцессинг так и не люблю.
	Ответить | Правка | Наверх | Cообщить модератору

	61. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 07-Мрт-21, 23:18
	> Он стартует серверный процесс и подключается к нему по сети. Значит будет > оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого > прямого доступа к отображениям в памяти Питон сам тормозной как трактор, так что смысла то все это оптимизировать? Чтобы знатно попахать с результатом близким к нулю?
	Ответить | Правка | Наверх | Cообщить модератору

	75. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 01:21
	> Питон сам тормозной как трактор, так что смысла то все это оптимизировать? Чтобы знатно попахать с результатом близким к нулю? Тоже узко. Питон позволяет подключать сишные библиотеки для числодробилок. Если вынести на python логику контроллера (которой овердохера и она часто меняется, но при этом сложной не является), то оверхед будет минимальным (см. профайлер). Если при этом ещё не тупить и использовать asyncio, то процессорное время на python-код будет минимальным Я к чему. Не надо забивать гвозди микроскопом
	Ответить | Правка | Наверх | Cообщить модератору

	96. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:30
	> Тоже узко. Питон позволяет подключать сишные библиотеки для числодробилок. База данных, наверное, не числодробилка? > Я к чему. Не надо забивать гвозди микроскопом Да, и используя базу на го логично и бэк на нем же делать, чтоли. А профайлить питон пусть будет кто-нибудь другой. Сами эти фекалии профайльте.
	Ответить | Правка | Наверх | Cообщить модератору

	73. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 01:02
	>  Он стартует серверный процесс и подключается к нему по сети. Значит будет оверхед на переключение контекста, оверхед на сокет, оверхед на сериализацию, никакого прямого доступа к отображениям в памяти, да ещё и без гарантий завершения сервера, если клиентский процесс упадёт. Поэтому я мультипроцессинг так и не люблю. Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс. Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Как синхронизировать множество подключений? Через временный файл? In-memory кэши хранить в каждом процессе, значит, свои? Как инвалидировать? Или не кэшировать данные вовсе? Тогда что делать с производительностью? Может, не зря индустрия БД запускает в отдельном процессе? Или миллионы опытных программистов ошибаются?
	Ответить | Правка | К родителю #39 | Наверх | Cообщить модератору

	78. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноньимъ (ok), 08-Мрт-21, 01:50
	Смузихлебы способны и не на такое. Это вы тут узко мыслите! Нужно все разделить на микросервисы с персональными кешами и кеширующими микросервисами. И тогда взлетит!
	Ответить | Правка | Наверх | Cообщить модератору

	80. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 02:00
	> Смузихлебы способны и не на такое. Это вы тут узко мыслите! > Нужно все разделить на микросервисы с персональными кешами и кеширующими микросервисами. И тогда взлетит! К -- Конструктивность. Сразу видно -- Инженерище! /thread
	Ответить | Правка | Наверх | Cообщить модератору

	87. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (49), 08-Мрт-21, 09:16
	>Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Перезапустить. >Как синхронизировать множество подключений? Через временный файл? Многопроцессность не нужна, у нас bottleneck при импорте - случайное чтение и запись. Клиент один и только один. Если остальные клиенты подключаются во время импорта - значит их проблемы. >In-memory кэши хранить в каждом процессе, значит, свои? Как инвалидировать? Или не кэшировать данные вовсе? Тогда что делать с производительностью? Да, свои, но у нас только один процесс. Вопрос только в том, зачем вообще хранить свои кеши, если кеширование - это забота ОС, а забота разраба базы данных - иметь отображение на часть файла, которую надо кешировать? >Может, не зря индустрия БД запускает в отдельном процессе? Или миллионы опытных программистов ошибаются? У них другие задачи. Эта же база изначально позиционируется как база для хранения datasetов и заливки их на их dolthub. Для хранения datasetов нужна не сетевая база, а встраиваемая, можно вообще не базу, а HDF-файл.
	Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

	126. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 22:13
	> Перезапустить Отлично. Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закончится повреждением структуры БД. Её кто-то должен восстановить. Или нет? Когда это должно произойти? Поехали дальше. Кто её должен перезапустить? Сколько раз? > Многопроцессность не нужна, у нас bottleneck при импорте - случайное чтение и запись. Клиент один и только один. Если остальные клиенты подключаются во время импорта - значит их проблемы. То есть тот факт, что вы в своём маня-мирке не видите смысла и возможности подключения нескольких клиентов к одной БД -- это проблемы БД > bottleneck при импорте - случайное чтение и запись Расскажу страшную тайну. Предметная область в первую очередь определяет сценарий работы с БД. В каких-то таблицах это случайный доступ, другие работают в режиме append-only, третьи работают в режиме "меняются только последние записи", а в четвёртых часто происходит rollback. И это только верхушка айсберга. Это я к чему -- bottleneck может быть где угодно. Узко мыслите, слишком узко > Да, свои, но у нас только один процесс У *тебя* один процесс. Кто-то процессит сотни гигабайт данных, например, по астрономии -- там необходимо процессить параллельно. Если у тебя данных мало, раз хватает одной машины, это не значит, что у всех остальных данных тоже мало. Или ты думал, БД разрабатывается исключительно под твои нужды? > если кеширование - это забота ОС Оказывается, redis, memcached, ElasticCache не нужны -- это всё должна разруливать ОС. Пацаны то и не знали. Может, расскажешь, как ОС должна решать эти проблемы? ОС за тебя должна догадываться, что одни данные надо закэшировать, а другие нет? По какому алгоритму? PS: io-кэш никто не отменял. Только вот расскажи, как ОС должна обрабатывать ситуацию, когда в фоне у тебя данные процессятся (то есть происходит постоянное чтение входных данных и запись выходных), в фоне же торрент качает и раздаёт, а сам ты интернеты сёрфишь (а браузер тоже кэширует кучу всего). Что должно оказаться в кэше? > Для хранения datasetов нужна не сетевая база, а встраиваемая, можно вообще не базу, а HDF-файл. Я чуть выше говорил, что это только твой кейс. Из этого не следует, что других кейсов не существует. Будь то астрономия или биоинформатика -- там огромные объёмы данных, которые отпроцессить надо за конечное время, и мультипроцессинг и множество нод -- жизненная необходимость
	Ответить | Правка | Наверх | Cообщить модератору

	146. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Аноним (146), 10-Мрт-21, 10:01
	>Отлично. Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закончится повреждением структуры БД. Её кто-то должен восстановить. Или нет? Когда это должно произойти? Это только если отключён журнал. Отключение журнала повысит производительность, но ненамного. Прирост не стоит риска. >Её кто-то должен восстановить. Или нет? Когда это должно произойти? Она сама, при перезапуске. Повреждение будет только если файлы журналов стереть. >То есть тот факт, что вы в своём маня-мирке не видите смысла и возможности подключения нескольких клиентов к одной БД -- это проблемы БД Подключение нескольких клиентов к SQLite есть. Но я его не использую, вместо этого врубаю монопольный доступ на запись. >Оказывается, redis, memcached, ElasticCache не нужны -- это всё должна разруливать ОС. Пацаны то и не знали. Может, расскажешь, как ОС должна решать эти проблемы? ОС за тебя должна догадываться, что одни данные надо закэшировать, а другие нет? По какому алгоритму? По тому же, по которому она свопит. >Только вот расскажи, как ОС должна обрабатывать ситуацию, когда в фоне у тебя данные процессятся (то есть происходит постоянное чтение входных данных и запись выходных), в фоне же торрент качает и раздаёт, а сам ты интернеты сёрфишь (а браузер тоже кэширует кучу всего). Что должно оказаться в кэше? А никак, когда у меня данные обрабатываются, я почти всю свободную память на машине отдаю базе под отображения. Вот эти отображения и есть кеш, который управляется ОС через менеждер памяти. >Это я к чему -- bottleneck может быть где угодно. Узко мыслите, слишком узко >У *тебя* один процесс. >Я чуть выше говорил, что это только твой кейс. Из этого не следует, что других кейсов не существует. Аргументы приняты. Я тут в основном свой случай и обсуждаю. Просто для меня возня с процессами не стоит выигрыша. В плюсовом импортере попробую поспавнить потоки.
	Ответить | Правка | Наверх | Cообщить модератору

	149. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от kai3341 (ok), 11-Мрт-21, 15:03
	> Это только если отключён журнал. Отключение журнала повысит производительность, но ненамного. Прирост не стоит риска. Это забавный тонкий момент. Журнал как раз позволяет восстановить структуру в автоматическом режиме. От повреждения данных журнал не защищает. А вопрос был про восстановление. Классика -- рестарт сервиса после аварии. Не менее классика -- стартует одновременно более 10 инстансов процесса -- производительности всегда мало. Далее они одновременно обнаруживают, что БД повреждена и как-то должны договориться, кто из них восстанавливает её из журнала. Вот в этом самом момента важно не воспроизвести мемас про девушку и негров. Тут возможно много yблюдских и не очень решений. Вот я и спрашивал -- какое из yблюдских и не очень решений применить здесь? Видимо, оно же будет применяться и для синхронизации транзакций при штатной работе БД. И ещё раз повторю вопрос: какое решение нужно применить для синхронизации разных рабочих процессов? > Она сама, при перезапуске. Повреждение будет только если файлы журналов стереть. О, тут ещё есть интересный грабледром. Попробуй штатно остановить постгрю и стереть её журналы -- повреждения и не будет, да? PS: не делай этого. > По тому же, по которому она свопит. Идея почти гуд. Объяснишь, зачем тогда добавлялись флаги O_DIRECT, O_DSYNC, O_RSYNC и O_SYNC? Почему они активно используются серверами БД?
	Ответить | Правка | Наверх | Cообщить модератору

	97. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 09:32
	> Что делать, если пользовательский процесс упадёт с сегфолтом посреди транзакции? Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейсом сам кусок питона, потому что при его кодинге гнали как на пожар и на всякие там отклонения от идеаа клали болт. А если там сеть упала, памяти не хватило или там что еще - УПС. И в свете этого - ну не питонистам с их "обработкой ошибок" такими мелочами париться вообще. Понимаю если б сишники какие так зудели еще.
	Ответить | Правка | К родителю #73 | Наверх | Cообщить модератору

	125. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	–1 +/–
	Сообщение от kai3341 (ok), 08-Мрт-21, 21:18
	> Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейсом сам кусок питона, потому что при его кодинге гнали как на пожар и на всякие там отклонения от идеаа клали болт. А если там сеть упала, памяти не хватило или там что еще - УПС. Оказывается, проблема питона в стэктрейсах. Вы их боитесь? Они вас обидели? > И в свете этого - ну не питонистам с их "обработкой ошибок" такими мелочами париться вообще. Понимаю если б сишники какие так зудели еще. Ярлыки.
	Ответить | Правка | Наверх | Cообщить модератору

	130. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+1 +/–
	Сообщение от Аноним (-), 08-Мрт-21, 23:47
	> Оказывается, проблема питона в стэктрейсах. Вы их боитесь? Они вас обидели? Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да. И таки было достаточно неприятного опыта такого плана. > Ярлыки. Статистические наблюдения.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема