Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

СУБД Dolt, позволяющая манипулировать данными в стиле Git, opennews (??), 07-Мрт-21, (0) [смотреть все] Круто По крайней мере задумка хотя бы она Что-то инновационное , Msk20 (?), 12:36 , 07-Мрт-21, (2) +6 // Не сказал бы, что это что-то инновационное Если вам нужна версионность, ее легк, Урри (ok), 16:01 , 07-Мрт-21, (36) –2 // А если приложение не поддерживает дополнительный столбец Очень много систем с , tim2k (ok), 17:27 , 07-Мрт-21, (43) –4 // Так пусть не поддерживает Мы ему напишем внешнюю нашлёпку, которая по нашему за, Annoynymous (ok), 18:40 , 07-Мрт-21, (46) +4 Значит оно не поддерживает и СУБД Dolt О чем вообще разговор , adolfus (ok), 20:28 , 07-Мрт-21, (50) +6 Dolt MySQL на уровне протокола, Аноним (108), 10:34 , 08-Мрт-21, (108) И где там вон тот AS OF , ыы (?), 11:18 , 08-Мрт-21, (110) Что-то добавлять к КАЖДОЙ А таблиц в БД десятки Менять много Так что не так , Msk20 (?), 18:42 , 07-Мрт-21, (47) –2 // А вы думаете как партицирование делается Не только на каждую таблицу а каждую, ыы (?), 23:42 , 07-Мрт-21, (62) +4 Нет, не совсем Подобный подход позволяет версионифицировать данные в одной табл, минона (?), 20:36 , 07-Мрт-21, (51) // мы строим sql запрос Зачем перед этим организовывать физическое присутствие, ыы (?), 23:45 , 07-Мрт-21, (63) Возможно, я не совсем понял вопрос, но в системах, для которых нужно манипулиров, минона (?), 01:00 , 08-Мрт-21, (72) +1 Это все понятно И точки зрения академического интереса - можно извернуться П, ыы (?), 09:08 , 08-Мрт-21, (86) –1 а это уже троллинг на уровне детсада , B (?), 23:11 , 08-Мрт-21, (127) Эта штука позволяет немного иначе разделить задачи Это не значит, что в ней мож, Ordu (ok), 04:16 , 08-Мрт-21, (83)   // прикрутить к git- обертку для запросов на sql , ыы (?), 09:59 , 08-Мрт-21, (106)   Хотя это конечно чисто извернуться Штука когда есть набор данных которые надо , ыы (?), 10:05 , 08-Мрт-21, (107)   Нет никакой системы, чтобы говорить о проектировании её Это процесс разработки , Ordu (ok), 11:36 , 08-Мрт-21, (111)   Чем-то напоминает если вам нужны версии, просто делайте архивы , Аноним (139), 12:51 , 09-Мрт-21, (139) Да что-то ничего крутого ни в гит ни в стиле гит нет Последние откровенным ма, Аноньимъ (ok), 01:33 , 08-Мрт-21, (76) –2 Вроде не такая сложная идея, но прямо историческая крутость , Kusb (?), 12:40 , 07-Мрт-21, (4) +4 // Про крутость пока неизвестно Просто сказать у нас версии данных мало, нужно, Gogi (??), 13:59 , 07-Мрт-21, (13) +5 // Мы засунули вам абстракцию в абстракцию, чтобы пока вы используете абстракцию, м, Синдарин (?), 00:30 , 08-Мрт-21, (70) +4 Название настораживает Хотя Go , Онаним (?), 13:34 , 07-Мрт-21, (9) –4 Что за чушь Причём тут git вообще Или вы больше не знаете DVCS Почему не в , Gogi (??), 13:52 , 07-Мрт-21, (11) –3 // https github com dolthub dolt blob master README md Dolt is a SQL database tha, RNZ (ok), 14:09 , 07-Мрт-21, (22) +5 // Фанфики, которые мы заслужили А по сабжу - если взлетит, то будет интересно посл, Аноним (45), 18:31 , 07-Мрт-21, (45) +3 // Зачем нам сын Git x MySQL, если можно внука Git x Bitcoin x MongoDB OrbitDB , Аноним (49), 20:18 , 07-Мрт-21, (49) Мичурин, залогиньтесь , YetAnotherOnanym (ok), 21:39 , 07-Мрт-21, (54) Откуда берутся все эти уроды , Аноньимъ (ok), 01:36 , 08-Мрт-21, (77) +1 Сон разума рождает чудовищ с , ыы (?), 09:48 , 08-Мрт-21, (104) +3 стул в пепел , имятакое (?), 14:41 , 07-Мрт-21, (28) +2 Без биндингов к питону a-la SQLite без клиент-серверного говна, чтобы всё было, Аноним (49), 13:56 , 07-Мрт-21, (12) // Вообще-то игогошечка был сделан для того чтобы твой бидон прихлопнуть нафиг И с, Аноним (17), 14:05 , 07-Мрт-21, (17) –2 // Совершенно разные вещи Одна из главных фич всех скриптовых языков - это REPL А, Аноним (49), 14:21 , 07-Мрт-21, (26) +1 // Скрыто модератором, Аноним (-), 14:51 , 07-Мрт-21, (29) –2 Как это связано Для Haskell есть REPL, хотя он компилируемый по самое небалуй , Аноним (32), 15:04 , 07-Мрт-21, (32) Я сказал эффективного Ты наверное этим REPLом для C , основанном на устаревш, Аноним (49), 16:38 , 07-Мрт-21, (40) –3 Ну, понимаешь, твоя эффективность продакшну очень дорого обходится, сервера ба, Аноним (-), 23:15 , 07-Мрт-21, (60) Учитывая что серверов у гугла как грязи, и сама архитектура построена на идее де, ыы (?), 00:13 , 08-Мрт-21, (68) Сервер может быть дешёвым, но датацентры стоят дорого, особенно когда жрут много, Аноним (81), 03:01 , 08-Мрт-21, (81) +1 Я думаю упрощение труда программиста будет и дальше превалировать над ценой обор, ыы (?), 09:21 , 08-Мрт-21, (90) Гонять на том же парке серверов в разы большую нагрузку без докупки дешевых се, Аноним (-), 09:20 , 08-Мрт-21, (88) А вы знаете разницу в производительности дешевого сервера и дорогого В пересче, ыы (?), 09:25 , 08-Мрт-21, (92) мы знаем, а вам гуглить придется , B (?), 23:17 , 08-Мрт-21, (128) В пересчете на ватт еще не забудьте Когда некто оперирует целыми датацентрами, , Аноним (-), 23:43 , 08-Мрт-21, (129) –2 Это в веб-сервисах Я же программер на питоне и плюсах программ для десктопа и д, Аноним (49), 08:37 , 08-Мрт-21, (85) Ага, питон - таки да, для сайентистов с одноразовыми макетами А для остального , Аноним (-), 09:22 , 08-Мрт-21, (91) –1 В продакшне видите ли скорость приоритетнее И черт с ним, с REPLом нахрен он, Аноним (-), 23:10 , 07-Мрт-21, (59) Да нахрена он вообще Та же беда, что и с экспериментами в командной строке шелл, CrazyAlex (?), 07:35 , 08-Мрт-21, (84) Ну вон какой-то дата-саентолог вылез Ему может что-то такое и пригодится А , Аноним (-), 09:28 , 08-Мрт-21, (95) go run Что значит эффективный REPL Вот такой что-ли https github com moteme, RNZ (ok), 14:30 , 08-Мрт-21, (117) А они есть https github com dolthub doltpy, Ted (?), 15:35 , 07-Мрт-21, (34) // Он стартует серверный процесс и подключается к нему по сети Значит будет оверхе, Аноним (49), 16:29 , 07-Мрт-21, (39) –3 // Питон сам тормозной как трактор, так что смысла то все это оптимизировать Чтобы, Аноним (-), 23:18 , 07-Мрт-21, (61) Тоже узко Питон позволяет подключать сишные библиотеки для числодробилок Если , kai3341 (ok), 01:21 , 08-Мрт-21, (75) +1 База данных, наверное, не числодробилка Да, и используя базу на го логично и бэк, Аноним (-), 09:30 , 08-Мрт-21, (96) Мне даже возразить нечего -- слишком узко мыслите, не поймёте-сс Что делать, есл, kai3341 (ok), 01:02 , 08-Мрт-21, (73) Смузихлебы способны и не на такое Это вы тут узко мыслите Нужно все разделить н, Аноньимъ (ok), 01:50 , 08-Мрт-21, (78) К -- Конструктивность Сразу видно -- Инженерище thread, kai3341 (ok), 02:00 , 08-Мрт-21, (80) Перезапустить Многопроцессность не нужна, у нас bottleneck при импорте - случайн, Аноним (49), 09:16 , 08-Мрт-21, (87) Отлично Опыта работы с БД у вас нет -- иначе вы бы знали, что такой фокус закон, kai3341 (ok), 22:13 , 08-Мрт-21, (126) Это только если отключён журнал Отключение журнала повысит производительность, , Аноним (146), 10:01 , 10-Мрт-21, (146) Это забавный тонкий момент Журнал как раз позволяет восстановить структуру в ав, kai3341 (ok), 15:03 , 11-Мрт-21, (149) Актуальная проблема для питонистов, только обычно падает с трехэтажным стектрейс, Аноним (-), 09:32 , 08-Мрт-21, (97) +1 Оказывается, проблема питона в стэктрейсах Вы их боитесь Они вас обидели Ярлык, kai3341 (ok), 21:18 , 08-Мрт-21, (125) –1 Когда все резко и внезапно обламывается с адским стэктрейсом - это неприятно, да, Аноним (-), 23:47 , 08-Мрт-21, (130) +1 А чего тогда не Golt P, Аноним (17), 14:03 , 07-Мрт-21, (14) // go it do it , B (?), 00:44 , 09-Мрт-21, (133) Сейчас чуть дотошнее прочёл и прям взрыв мозга Клонировать таблицы Ну, допустим, Gogi (??), 14:04 , 07-Мрт-21, (15) –2 // Вот тоже интересно что-нибудь серьезней обычного bcp они сделали , Аноним (42), 17:14 , 07-Мрт-21, (42) Если идеи, заложенные в эту СУБД, настолько ортогональны всему, что ты когда-то , YetAnotherOnanym (ok), 21:46 , 07-Мрт-21, (55) –1 // Скажите пожалуйста, а зачем версионировать таблицы БД со статистикой о коронави, ыы (?), 22:44 , 07-Мрт-21, (57) +1 // Это похоже попытка сделать темпоральную БД Компании разные пыжились но как я по, Аноним (42), 23:55 , 07-Мрт-21, (64) InfluxDB называется Вон работает как лошадь - метрики мониторинга пишет , ыы (?), 00:07 , 08-Мрт-21, (66) +1 Больше имело в виду полностью скуль база На которой можно делать всё тоже самое, Аноним (42), 01:19 , 08-Мрт-21, (74) зачем , ыы (?), 09:28 , 08-Мрт-21, (94) Затем же зачем и всё остальное - упростить работу Всё в одной таблице а заморач, Аноним (42), 11:39 , 08-Мрт-21, (113) А почему нельзя при изменении одной ячейки считать всю таблицу со старым значени, YetAnotherOnanym (ok), 00:44 , 08-Мрт-21, (71) +1 Это все элементарно делается уже имеющимися технологиями , ыы (?), 09:33 , 08-Мрт-21, (98) Доски тоже можно прикреплять деревянными штырьками, забивая их булыжником Но гв, YetAnotherOnanym (ok), 14:30 , 08-Мрт-21, (116) +1 Именно так, всякие dolt и прочие булыжники не нужны , Аноним (-), 16:25 , 09-Мрт-21, (143) Интересно, что у БД есть история с 2016 года И до 2018 года ей занимались абсол, Аноним (18), 14:05 , 07-Мрт-21, (18) +3 О, что-то интересное, да ещё и на Golang Спасибо большое , Иваня (?), 15:45 , 07-Мрт-21, (35) –5 с одной стороны инт , а с другой стороны аназачем ну вот реально а на зачем , DIO (?), 16:42 , 07-Мрт-21, (41) –1 // Распределённый Интернет, не нужно быть постоянно связанным всеми со всем миром , Kusb (?), 19:49 , 07-Мрт-21, (48) dictionary cambridge org 8250 dictionary 8250 english 8250 doltdolt def, anonimous (?), 20:37 , 07-Мрт-21, (52) +2 // Я понял, это шутку к 1му апреля готовят , Аноньимъ (ok), 01:56 , 08-Мрт-21, (79) // Не, ну а чего Разработчики честны относительно аудитории У го и на логотипе, в, Аноним (-), 23:48 , 08-Мрт-21, (131) Here we go again, Аноним (53), 21:26 , 07-Мрт-21, (53) +2 Сначала я подумал о, круто, какая свежая идея , а потом подумал ещё и понял, чт, Аноним (56), 22:24 , 07-Мрт-21, (56) // Мне вот тоже непонятно чем выборка по актуальному признаку при физическом отсут, ыы (?), 22:54 , 07-Мрт-21, (58) +1 // Допустим, у вас датасет плюс-минус один, но может пополняться А состояний, в ко, Crazy Alex (ok), 09:26 , 08-Мрт-21, (93) // Это просто дурно спроектированная база данных и ветер в консерватории программис, ыы (?), 09:35 , 08-Мрт-21, (101) Угу, и git не нужен, потому что бизнесу он бесполезен , Ordu (ok), 03:53 , 08-Мрт-21, (82) // После того как я увидел ТОПА ТРАНСНАЦИОНАЛЬНОЙ КОРПОРАЦИИ сцуко регающегося на г, Аноним (-), 09:35 , 08-Мрт-21, (100) +1 Это вы уж сами придумали Тут проблема не в конкретном гите, а в том, что будет в, Аноним (56), 16:29 , 08-Мрт-21, (120) // Узкой области применений Data science растёт как на дрожжах, и я бы не назва, Ordu (ok), 17:11 , 08-Мрт-21, (121) Сообщение набрано и отправлено, квиток от внешней системы ещё не получен, и тут,, Аноним (56), 01:26 , 09-Мрт-21, (134) То же самое будет и с сорцами в git, ежели ты, проводя серию связанных изменений, Ordu (ok), 04:07 , 09-Мрт-21, (136) От форков сорцов в гит ни горячо, ни холодно, потому что это никак не влияет на , Аноним (56), 09:06 , 09-Мрт-21, (137) –1 Ты про реальность, с точки зрения бизнеса Когда программист потратил рабочий де, Ordu (ok), 09:15 , 09-Мрт-21, (138) От того, что у программиста не компилируется, реальности пофигу , Аноним (56), 17:30 , 09-Мрт-21, (144) От того, что проводки не проводятся реальности тоже пофигу , Ordu (ok), 00:03 , 10-Мрт-21, (145) Да-да, интересно, как будет брызгать слюною конкретный Ordu, когда его платежи , Аноним (56), 09:04 , 11-Мрт-21, (147) Всегда меня озадачивало, как люди могут жить в своём информационном пузырьке и н, Ordu (ok), 11:03 , 11-Мрт-21, (148) Речь не об однократном откате, а о том, что для разных ситуаций правильное ко, Crazy Alex (ok), 09:21 , 08-Мрт-21, (89) // При исследовании - подмена данных ради хорошего результата- это все таки кримин, ыы (?), 09:38 , 08-Мрт-21, (103) +1 // Без этой подмены ничего не работает В сыром датасете всегда куча мусора И его , Ordu (ok), 11:39 , 08-Мрт-21, (112) Если факты не подтверждают теорию, от них нужно избавиться cледствие из зако, Аноним (-), 23:52 , 08-Мрт-21, (132) Во-первых, всегда есть первичная обработка - выкинуть сильные выбросы, явный мус, CrazyAlex (?), 19:53 , 08-Мрт-21, (124) Идея интересная, но чем в данном случае будет merge OK, допустим это слияние дв, Аноним (65), 00:01 , 08-Мрт-21, (65) Мне кажется, что база данных, в которой определенный scn или момент времени имее, ыы (?), 00:11 , 08-Мрт-21, (67) // Это если вы там бахгалтерию или регистрантов на сайте храните А для исследовани, Crazy Alex (ok), 09:33 , 08-Мрт-21, (99) // По моему это придумывание задач под забавную игрушку попавшую в руки , ыы (?), 09:36 , 08-Мрт-21, (102) У приличных баз данных есть такая штука как флэшбек И от шо я скажу- если вам, ыы (?), 00:16 , 08-Мрт-21, (69) +2 Кстати, а почему они не написали с точностью до наоборот - прикрутить к git- обе, ыы (?), 09:50 , 08-Мрт-21, (105) // Да именно так берем обычный немодифицированный git любой берем обычный немодифи, ыы (?), 10:49 , 08-Мрт-21, (109) Написано на Go Как это чудо будет вести себя под высокими нагрузками с большим , Прохожий (??), 12:54 , 08-Мрт-21, (114) +1 Почему не на блохчлене Даешь гит овер блохчлен субд , msgod (ok), 14:49 , 08-Мрт-21, (118) Манипулировать данными это всегда хорошо , Аноним (119), 15:43 , 08-Мрт-21, (119) Я помню, что хотел такую штуку написать, но уже не помню зачем , Аноним (122), 18:47 , 08-Мрт-21, (122) 2,4,9,11,12,14,15,18,35,41,52,53,56,65,67,69,105,114,118,119,122

Сообщения

[Сортировка по времени | RSS]

	83. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Ordu (ok), 08-Мрт-21, 04:16
	Эта штука позволяет немного иначе разделить задачи. Это не значит, что в ней можно сделать что-то такое, чего нельзя сделать на голом SQL, но в конце-концов, на C ведь тоже нельзя сделать ничего, чего нельзя было бы сделать на ассемблере -- это не значит что C не нужен, так? Выше написан пример с машинным обучением. У тебя есть куча модификаций нейросетки, которые ты обучаешь на разных данных, и смотришь что получится. Ты можешь код обучения пофиксить, чтобы он принимал аргументом версию бд. Или ты можешь привести бд в состояние, когда она будет выдавать именно те данные, которые сейчас ты хочешь попробовать. При этом, задачивая данные, ты можешь иметь историю этой заточки -- в смысле делать что-нибудь в стиле DELETE что-то-там FROM май-тейбл; а потом dolt commit -m "ёпрст, наш веб-скрапер натащил в базу кучу хлама, он всё портит." Или может dolt commit -m "хмм... а что будет, если эти данные удалить из базы?". Но потом человек занятый веб-скрапом такой: dolt checkout raw-data; INSERT что-то-там INTO май-тейбл; dolt commit -m "наш скрапер ещё данных приволок". Соответственно, когда у тебя через месяц какая-то из нейросеток показала какой-то результат, ты можешь во-первых, попробовать эту нейросетку погонять на разных данных, выбирая их на основе истории -- скажем найти в истории коммит с меседжом "удалить каждую 13 строку, чтобы полоса неудач закончилась", откатить его, и посмотреть что будет. Я очень примитивно занимался обработкой данных, под несоколько психологических экспериментов, но там бывает нужда данные подредактировать (потому что в них, например, есть данные от испытуемого, который не закончив эксперимент сорвался и убежал куда-то, потому что вспомнил о более важных для него делах), может потому, что там нечаянно остались данные с этапа тестирования программы-эксперимента, когда я проходил этот эксперимент десять ряд кряду... Не, я конечно могу в программку, которая считает статистику внести все эти ограничения в SELECT который она делает, но блин это неудобно. Собственно я делал это не поверх sql, а поверх csv, который я положил в git, и рядом с ним программку, которая его обрабатывает. Таким образом я мог иметь историю того и этого рядом.
	Ответить | Правка | К родителю #36 | Наверх | Cообщить модератору

	106. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от ыы (?), 08-Мрт-21, 09:59
	прикрутить к git- обертку для запросов на sql?
	Ответить | Правка | Наверх | Cообщить модератору

	107. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от ыы (?), 08-Мрт-21, 10:05
	Хотя это конечно чисто извернуться :) Штука когда есть набор данных которые надо вот так вот кидать туда сюда- называется коллекция. И необходимость привлечения  git для манипуляций с нею -это как раз пример дурно спроектированной системы с чудовищным оверхедом из за непродуманности.
	Ответить | Правка | Наверх | Cообщить модератору

	111. "СУБД Dolt, позволяющая манипулировать данными в стиле Git"	+/–
	Сообщение от Ordu (ok), 08-Мрт-21, 11:36
	> Хотя это конечно чисто извернуться :) > Штука когда есть набор данных которые надо вот так вот кидать туда > сюда- называется коллекция. И необходимость привлечения  git для манипуляций с > нею -это как раз пример дурно спроектированной системы с чудовищным оверхедом > из за непродуманности. Нет никакой системы, чтобы говорить о проектировании её. Это процесс разработки. Постоянно возникают новые идеи, и 90% из них оказываются пустышкой. Но чтобы понять, что они пустышка, надо попробовать. Это так же как с программированием в незнакомой области. Если ты влезешь, например, в рендеринг векторной графики, не имея особо опыта в этом деле, ты будешь поначалу двигаться наощупь.  Пробовать разные подходы, и отказываться от них. И каждая попытка -- это бранч в git'е, может даже дерево бранчей, из которых ты потом может пару коммитов позаимствуешь, для того, чтобы начать новый бранч для нового подхода. А оверхед не важен. Если ты занят машинным обучением, то этот оверхед ведь будет случаться, когда ты руками что-то там делаешь. Вот ты сейчас готовишь данные для следующего раунда обучения, и какая тебе разница, будут ли твои действия выполняться 0.0001 сек или 0.1 сек? Тут важнее твоё личное удобство. И если тебе удобно для этого использовать git, то почему бы и нет? Не, если этот оверхед будет выливаться в 10 минут перелопачивания данных, то дааа... это перебор. Даже минута много. Хотя, если эта минута нужна одна, на каждый раунд обучения, который длится десять часов, ну и чё? Тут оверхед только с точки зрения эргономики важен.
	Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема