| 1.4, пох (?), 11:49, 14/10/2017 [ответить] [﹢﹢﹢] [ · · · ]
| –3 +/– | |
кто бы рассказал, ЧТО, блин, на самом деле байда там хранит... Вряд ли ведь они закидывают пачки денег под дверь, в надежде когда-то получить полезный предмет, совсем на китайцев непохоже.
| | |
| |
| 2.7, Фуррь (ok), 13:37, 14/10/2017 [^] [^^] [^^^] [ответить]
| +3 +/– |
 В последнее время часто вижу какую-то предвзятость и паранойю к китайцам в IT. Интересно, почему?
| | |
| |
| 3.8, Аноним (-), 13:54, 14/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
> В последнее время часто вижу какую-то предвзятость и паранойю к китайцам в
> IT. Интересно, почему?
Некоторые несознательные товарищи, которые не совсем и даже совсем нам уже не товарищи, бросают тень на репутацию Великого Братского Китайского Народа,
товарищ шаосяо!
| | |
| |
| 4.10, Фуррь (ok), 13:57, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
> Некоторые несознательные товарищи, которые не совсем и даже совсем нам уже не
> товарищи, бросают тень на репутацию Великого Братского Китайского Народа,
> товарищ шаосяо!
Ноуп, я не в этом смысле. Интересно, почему именно в IT такая предвзятость.
| | |
| |
| |
| 6.13, пох (?), 15:23, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
потому что все остальное они примерно так же делают.
Почитай, если сумеешь найти не квадратиками, про катастрофу в Дарьяле - особенно, про вторую. Все что тебе нужно знать про отношение китайцев к безопасности, включая не только свою, к уровню проработки сложных необычных проектов, к подходам...
Но вот песка в цемент они насыплют ровно столько, сколько полагается по технологии, и не потому что не хотят сэкономить, а потому что хрен его знает. Поэтому то, что уже построено, будет стоять вечно.
| | |
|
|
|
| 3.9, Crazy Alex (ok), 13:57, 14/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
 А где ты тут предвзятость нашёл? Вроде бы наоборот, было предположение, что байду вменяем и использует эту базу каким-то вменяемым образом.
Но если в общем - их закрытость (точнее - привычка игнорировать всё не-китайское, особенно различия менталитета) её неизбежно порождает. Не хочешь предвзятости - старайся, чтобы тебя понимали, но китайцам это, кажется, не нужно абсолютно. Результат закономерен. Оно не только в IT, оно везде так. Те их моих знакомых, кто с ними работал, в одном сходятся - их хрен поймёшь.
| | |
| |
| 4.48, Аноним (-), 03:38, 15/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– |
Ну как бы у них свой китайский мир, по численности носителей языка англосаксов давно переплюнули. Так что про закрытость это вы зря, им просто пофиг на всех остальных
| | |
| |
| 5.70, пох (?), 12:59, 16/10/2017 [^] [^^] [^^^] [ответить] | +/– | им не пофиг, они, в отличие от вас, жрать себе в ответ на cмешные санкции не з... большой текст свёрнут, показать | | |
|
|
|
| |
| 3.31, пох (?), 23:46, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
> Один поисковик сожрёт минимум несколько петабайт для хранения копий интерента на
> дискетке.
только эта база явно не для хранения копий интернета (им совершенно не нужна суперотказоустойчивость, потеряется - скачает заново, да и обращений к этим копиям крайне мало. sql тут не нужен совсем).
И не для информации о рекламных кликах - там слишком много insert/s, а тут явно сказано что они не для этого.
Какие-то детали поисковой системы могут, конечно, но как в них искать-то, полнотекстового поиска в этой штуке не заявлено, значит он у байды отдельно в чем-то другом живет.
так что скорее всего, что-то совсем другое. Например, данные user accounts (оно же умеет "поиск станет лучше, если вы загрузите в поисковую систему свой паспорт и отпечатки пальцев"? )
| | |
| |
| |
| 5.64, пох (?), 23:27, 15/10/2017 [^] [^^] [^^^] [ответить] | –2 +/– | много поисковых систем-то видел вживую по каким таким По базе копий всего ... большой текст свёрнут, показать | | |
| |
| |
| 7.71, пох (?), 13:19, 16/10/2017 [^] [^^] [^^^] [ответить] | –2 +/– | только сам sql для такой задачи - не нужен Совсем Спрашивается - ну и из каког... большой текст свёрнут, показать | | |
|
|
|
|
|
|
| |
| 2.17, Crazy Alex (ok), 16:49, 14/10/2017 [^] [^^] [^^^] [ответить]
| +2 +/– |
Ну, терабайт не видел, а вот десятки гигабайт - да (не с этой штукой). Оно правда бывает в дикой природе и вполне нормально работает. Уж не знаю, откуда их брали.
| | |
| |
| 3.23, ыы (?), 20:41, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– | |
> А что не так? Всё экономней, чем SQL-дамп.
после вот этого:
"
Из ограничений CockroachDB отмечается плохая пригодность для решений, требующих очень низкого времени отклика при выполнении операций записи и чтения. CockroachDB также плохо адаптирован для нагруженных систем обработки аналитической информации
"
передача данных объемами терабайты и форматом csv действительно, удивлять не должна...
| | |
| |
| 4.24, Crazy Alex (ok), 20:58, 14/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– |
Ну логично - отказоустойчивое, но неспешное и не любящее особо навороченные запросы...
| | |
|
|
| 2.21, пох (?), 18:07, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– | |
> Терабайты в CSV?
это единственный стандартизированный (всеми кроме microsoft ;) формат для обмена данными, что тебе не так?
китайцы, очевидно, переливают свои постгрезы (а может и ораклы) в эту штуку - и, разумеется, сделали чтобы это работало.
| | |
| |
| 3.22, ыы (?), 20:34, 14/10/2017 [^] [^^] [^^^] [ответить]
| –3 +/– |
формат этот для обмена данными крайне неудобен.
годен только для передачи самых простых, примитивных наборов.
| | |
| |
| 4.25, angra (ok), 21:52, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
 Ну назови более удобный в контексте обмена данными между существующими СУБД.
| | |
| |
| 5.28, ыы (?), 22:57, 14/10/2017 [^] [^^] [^^^] [ответить]
| –3 +/– |
Dblink, штатный экспорт импорт, промежуточные базы(sqlite), xml
| | |
| |
| 6.32, пох (?), 23:53, 14/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– | |
> Dblink, штатный экспорт импорт, промежуточные базы(sqlite), xml
штатный совместим только сам с собой, и часто совершенно не является эффективным, тем более на сверхбольших объемах
промежуточная база на энцать терабайт в sqlite, не умеющем partitioning - смешно
xml на энцать терабайт - это даже не смешно, это грустно, что кому-то вообще в голову приходит.
но, конечно же, csv никуда не годится, ты знаешь много новых модных слов.
| | |
| |
| 7.39, ыы (?), 00:34, 15/10/2017 [^] [^^] [^^^] [ответить]
| –2 +/– |
>> Dblink, штатный экспорт импорт, промежуточные базы(sqlite), xml
> штатный совместим только сам с собой, и часто совершенно не является эффективным,
> тем более на сверхбольших объемах
> промежуточная база на энцать терабайт в sqlite, не умеющем partitioning - смешно
> xml на энцать терабайт - это даже не смешно, это грустно, что
> кому-то вообще в голову приходит.
> но, конечно же, csv никуда не годится, ты знаешь много новых модных
> слов.
Сверхбольшие объемы данных - передавать вообще не надо. Если у вас часто возникает такая задача- значит вы что-то плохо спроектировали.
| | |
| |
| 8.81, . (?), 02:05, 18/10/2017 [^] [^^] [^^^] [ответить] | –1 +/– | Ну да - а если ты ходишь в памперсах, то должно быть весь мир - тоже - Ну ниче... текст свёрнут, показать | | |
|
|
| 6.33, angra (ok), 00:07, 15/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Есть СУБД mysql и есть СУБД postgres, как ты собираешься передать между ними данные с помощью dblink, sqlite, xml? А вот с форматами sql и csv обе СУБД умеют работать напрямую. И не только они.
| | |
| |
| 7.38, ыы (?), 00:32, 15/10/2017 [^] [^^] [^^^] [ответить]
| –2 +/– |
> Есть СУБД mysql и есть СУБД postgres, как ты собираешься передать между
> ними данные с помощью dblink
Вас на поисковике забанили?
, sqlite, xml? А вот с форматами
> sql и csv обе СУБД умеют работать напрямую. И не только
> они.
Ну, с примитивными данными да...
| | |
| |
| 8.45, angra (ok), 02:05, 15/10/2017 [^] [^^] [^^^] [ответить] | +/– | Если тебе будет так легче, то представь, что забанили По сути ответ будет или о... текст свёрнут, показать | | |
| |
| 9.51, ыы (?), 10:24, 15/10/2017 [^] [^^] [^^^] [ответить] | –5 +/– | Если у какого-то неумного человека, возникает потребность передавать большие объ... текст свёрнут, показать | | |
| |
| 10.59, angra (ok), 18:03, 15/10/2017 [^] [^^] [^^^] [ответить] | +/– | Ну как и ожидалось, куча трёпа не по задаче, рассказы, что тебе такая задача не ... текст свёрнут, показать | | |
| |
| 11.61, ыы (?), 18:23, 15/10/2017 [^] [^^] [^^^] [ответить] | –3 +/– | Почему вы считаете что ваша задача- осмысленна Я вам сказал как ее можно решить... текст свёрнут, показать | | |
| |
| 12.65, angra (ok), 23:35, 15/10/2017 [^] [^^] [^^^] [ответить] | +2 +/– | Если ты неспособен держать нить дискуссии в голове, то я тебе напомню Речь шла ... текст свёрнут, показать | | |
|
|
|
|
|
|
| |
| 7.49, ыы (?), 09:17, 15/10/2017 [^] [^^] [^^^] [ответить]
| –2 +/– | |
прежде того, как вы начнете решать вопрос о формате - вы должны решить вопрос о целесообразности и способе.
Во первых - данные не надо передавать. И большие объемы оных - тем более.
Это тратит время и деньги. Если есть возможность НЕ ПЕРЕДАВАТЬ данные- следует пойти этим путем.
Если же вам не удается избежать отказа от передачи данных - то лучше всего делать передачу без "форматов", непосредственно делая нечто в таком духе:
"insert as select from dblink" (c)
Если у вас нормальная современная СУБД - у вас вероятнее всего есть такая технология в СУБД. Даже в постгрес и мускуле она есть (не так хорошо как в oracle, но все же).
Гражданин, задавший вопрос какие форматы лучше CSV - просто не понимает проблемы. Он никогда не сталкивался с такими проблемами в серьез, и по этому ничего кроме CSV не понимает.
Он не понимает что данные- передавать не надо. Ни в каком формате. Он не понимает что передавать данные нужно при любой возможности без промежуточных преобразований. Поскольку любое каждое преобразование- это потеря времени и денег.
и если у вас есть возможность "передать данные" не передавая их физически или не используя любой "формат" - это лучший выбор.
| | |
|
|
|
| 4.29, Аноним (-), 23:32, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Каждая таблица в базе данных очень проста и там только примитивные наборы. А ты ж, гляди, большие таблицы существуют!
| | |
| |
| 5.30, ыы (?), 23:34, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– | |
> Каждая таблица в базе данных очень проста и там только примитивные наборы.
Да что вы говорите... :)
> А ты ж, гляди, большие таблицы существуют! | | |
| |
| 6.35, angra (ok), 00:11, 15/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Не, ну если какой-то альтернативно одаренный гений пихает в БД фильмы в виде блобов, то кто ему доктор. А в большинстве случаев в таблицах хранится действительно примитивный набор данных: строки, числа, даты. Но ты можешь поделиться с нами своим опытом хранения чего-то непримитивного, уверен, будет как минимум забавно.
| | |
| |
| 7.37, ыы (?), 00:30, 15/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
> Не, ну если какой-то альтернативно одаренный гений пихает в БД фильмы в
> виде блобов, то кто ему доктор.
Обгадить то что не понимаешь.. так себе метод :)
| | |
| |
| 8.44, angra (ok), 01:48, 15/10/2017 [^] [^^] [^^^] [ответить] | +/– | Ну так не томи, поделись уже примерами непримитивных данных, для которых формат ... текст свёрнут, показать | | |
| |
| |
| 10.60, angra (ok), 18:08, 15/10/2017 [^] [^^] [^^^] [ответить] | –1 +/– | Уточни, что из этого https en wikipedia org wiki LOB ты имел ввиду И каким об... текст свёрнут, показать | | |
| |
| 11.62, ыы (?), 18:27, 15/10/2017 [^] [^^] [^^^] [ответить] | –1 +/– | Уточняю Вы тролль в запущенной стадии LOB в контексте вопроса может быть толь... текст свёрнут, показать | | |
|
|
|
|
|
|
|
|
|
| 2.26, лютый жабист__ (?), 22:03, 14/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
И что такого? В тех же графовых субд максимальная скорость импорта из csv и реально лютая (у нео4ж 250млн зап за 5 минут)
| | |
| |
| 3.34, пох (?), 00:08, 15/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
> И что такого? В тех же графовых субд максимальная скорость импорта из
> csv и реально лютая (у нео4ж 250млн зап за 5 минут)
я просто оставлю это здесь:
/(?:(?:[^,"]*(?:"[^"]*")*)*,){3}((?:[^,"]*(?:"[^"]*")*)*),/
(c) не мое, подсмотрел
sqlite, кстати, такое не может, тоже предлагают использовать херню на php(sic!) парсящую xml(ooops...)
https://sqlite.org/cvstrac/wiki?p=ImportingFiles
| | |
| |
| 4.40, Crazy Alex (ok), 00:38, 15/10/2017 [^] [^^] [^^^] [ответить]
| +2 +/– |
Регэкспом? Это что за самоубийцы? Вроде ж на абсолютно любых языках есть нормальные парсеры...
| | |
| |
| 5.41, пох (?), 00:59, 15/10/2017 [^] [^^] [^^^] [ответить]
| –2 +/– | |
> Вроде ж на абсолютно любых языках есть нормальные парсеры...
"нормальный парсер" csv не использующий что-то похожее (этот, если кому неочевидно, выковыривает четвертое (вроде ;) поле из несферического в вакууме csv - где могут быть кавычки в тексте, и двойные тоже, пробелы без кавычек, запятые внутри поля и прочие радости жизни) - ну-ка, покажите-ка?
А то вот "нормальный парсер" той же sqlite часто не может прочитать ее собственный экспорт - откуда и берутся идиотические идеи использовать php и xml.
| | |
| |
| 6.46, angra (ok), 02:41, 15/10/2017 [^] [^^] [^^^] [ответить]
| +1 +/– | |
>ну-ка, покажите-ка?
Да легко
https://golang.org/src/encoding/csv/reader.go
Никаких регексов, парсит CSV соответствующий RFC 4180, то бишь "могут быть кавычки в тексте, и двойные тоже, пробелы без кавычек, запятые внутри поля и прочие радости жизни"
А если почитаешь сам RFC 4180, то найдешь там BNF грамматику для этого формата, используя которую, можно генерировать парсеры для нужного ЯП при помощи соответствующего софта.
| | |
| |
| 7.53, пох (?), 12:09, 15/10/2017 [^] [^^] [^^^] [ответить]
| –3 +/– |
> Да легко
> https://golang.org/src/encoding/csv/reader.go
в отличие от regex - который я могу проверить просто внимательно на него глядя, здесь триста (ну ладно, полтораста за вычетом комментариев) строк кода (использующих полмиллиона из других модулей), который проверифицировать я не осилил, не настолько хорошо понимаю go, соответственно - давайте еще ваши восемсот строк тестов, подтверждающих, что этот код таки справится с несферическим в вакууме csv. Я надеюсь, в "нормальном языке" принято их писать? ;-) то что они знали про excel, конечно, хороший признак.
так что я рад, конечно, за go-писателей, что у них есть подобная хренотень в библиотеке, но самому вручную реализовывать конечный автомат по одному символу, а потом еще спотыкаться о битые файлы отдельно - очень не хотелось бы. Надеюсь, оно хотя бы быстрее сишного pcre?
> А если почитаешь сам RFC 4180,
это отдельная тема - например, пункт 6 там в принципе не нужен и не всеми выполняется.
Насколько несферический в вакууме csv будет ему соответствовать, я не берусь угадать.
| | |
| |
| 8.55, Ordu (ok), 14:02, 15/10/2017 [^] [^^] [^^^] [ответить] | +2 +/– |  Парсящие регекспы согласно RFC, корректно обрабатывающие комментарии в csv, гене... большой текст свёрнут, показать | | |
| |
| 9.56, пох (?), 15:14, 15/10/2017 [^] [^^] [^^^] [ответить] | –3 +/– | так тебе не надо согласно rfc , если ты надеюсь не писатель процитированного ... текст свёрнут, показать | | |
| |
| 10.57, Ordu (ok), 17:11, 15/10/2017 [^] [^^] [^^^] [ответить] | +/– | И Чем регексп в такой ситуации будет лучше Если те, кто писал код генерящий cs... большой текст свёрнут, показать | | |
| |
| 11.58, пох (?), 18:00, 15/10/2017 [^] [^^] [^^^] [ответить] | –2 +/– | там, кстати, дополнительно забавное - наше чудушко кетайское эти терабайтные csv... текст свёрнут, показать | | |
|
|
|
|
|
|
|
|
|
|
| 1.52, дядя (?), 11:36, 15/10/2017 [ответить] [﹢﹢﹢] [ · · · ]
| –3 +/– |
Только таблицы и вью? База данных без логики на серверной стороне? Серьезно? Такое максимум на hello world тянет.
| | |
| |
| 2.63, ыы (?), 20:35, 15/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– | |
а в redis много логики?
Но дело не в этом. вы сейчас совершаете ошибку такую же как вот те товарищи сверху рассуждающие о преимуществе CSV при передаче данных перед всем остальным.
база данных - это не СУБД. а СУБД - это НЕ база данных.
(
CSV файл- в неком смысле- это тоже база данных (такие базы данных называются базами данных на простых файлах). То есть передавая CSV файл - вы по сути передаете "базу данных" в некотором смысле.
)
| | |
| |
| 3.76, Dr. Manhattan (?), 14:59, 16/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
Если вы посмотрите как устроена трехзвенная архитектура, например у Oracle- то обнаружите что логика в базе данных - очень даже хорошо и правильно.
| | |
| |
| 4.77, gaga (ok), 18:25, 16/10/2017 [^] [^^] [^^^] [ответить]
| +/– |
 Главным образом, это правильно для Оракла, потому что вся система получается намертво прибитой к нему, а значит денежки продолжат капать.
| | |
| |
| 5.78, ыы (?), 18:58, 16/10/2017 [^] [^^] [^^^] [ответить]
| –1 +/– |
Трехзвенную архитектуру можно реализовать на любой платформе. Причем тут именно Оракл?
Я привел его просто в качестве примера, как поставщика решений в котором оная хорошо отработана.
| | |
|
| 4.79, лютый жабист__ (?), 07:27, 17/10/2017 [^] [^^] [^^^] [ответить]
| –2 +/– | |
>Если вы посмотрите как устроена трехзвенная архитектура, например у Oracle-
Ещё к Тому Кайту в бложик asktom сходите поучиться проектировать большие системы :) столько лучей поноса в сторону серверов приложений. Хотя и у самого Оракля есть Weblogic. Ну, просто Томми работает в отделе OracleSQL и у него своя правда. Кривая и косая по меркам остальной планеты.
| | |
| 4.84, Castbreeder (?), 02:16, 20/01/2018 [^] [^^] [^^^] [ответить]
| +/– |
 Если бы ты писал нормальное ПО, то знал бы, что логика на стороне БД зло. Нетестируемое болото, которое никто никогда не разгребет
| | |
|
|
|
|
