Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы		[ Отслеживать ]

Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..., opennews (??), 23-Сен-15, (0) [смотреть все] Эпично, Аноним (-), 14:25 , 23-Сен-15, (1) +23 // А где же изен С его рассказами про Java Не Тормозит 111, Аноним (-), 19:13 , 23-Сен-15, (50) // Изен Это по-хакасски здравствуйте , Музыкант (?), 20:47 , 23-Сен-15, (61) Тормозят KAV и Яндекс-бар, а Java просто работает там, где необходимо Cassandra , iZEN (ok), 21:28 , 23-Сен-15, (63) –9 // Ты о чем, изя О том что у тебя тырят файлы и кашпировский , и яндекс, и майкро, Аноним (-), 23:01 , 23-Сен-15, (73) +3 Поколение Z Ты снова не подходишь Ищи другую работу , iZEN (ok), 11:47 , 24-Сен-15, (112) Да, изя, ВАМ я точно не подхожу Работать с такими как ты и под виндой - это над, Аноним (-), 23:32 , 24-Сен-15, (127) +1 изя тормозит , arisu (ok), 22:29 , 30-Сен-15, (151) +1 Точно Надо переписать JVM на Java , irinat (ok), 16:09 , 24-Сен-15, (124) Внезапно это уже сделали Но, к сожалению, не успели внедрить - JVM go оказалась, iZEN (ok), 17:15 , 24-Сен-15, (125) –2 Тогда go go будет еще интереснее А уж go go go , Аноним (-), 23:33 , 24-Сен-15, (128) +1 Отписался от этого бреда , iZEN (ok), 23:34 , 24-Сен-15, (129) –1 Так вроде была новость, что Go вроде уе на Go написан или я что-то путаю Меня то, Аноним (-), 22:05 , 25-Сен-15, (137) можешь выключить, но что бы удалить объекты надо будет вручную вызывать весь GC, Illya (?), 18:45 , 02-Окт-15, (162) –1 Хотя можешь переменные на стеке хранить этот подход моден в Go, Illya (?), 18:50 , 02-Окт-15, (163) –1 Обычно проблема не в языке, а в том как его использовать , imprtat (ok), 11:03 , 24-Сен-15, (107) +1 // Часто слышу такое высказывание Пруф будет , Аноним (-), 12:41 , 26-Сен-15, (142) просто такие студенты не умеют ещё и в бенчмарки сначала запускают цпп 8208 ва, arisu (ok), 22:31 , 30-Сен-15, (152) +1 Пруф на что На то как плохо можно написать программу на любом языке , imprtat (ok), 01:42 , 02-Ноя-15, (174) Зачем надо было вообще писать базу данных на тормозной Java , th3m3 (ok), 14:30 , 23-Сен-15, (2) +17 // Чтобы потом переписать на быстром С , Аноним (-), 14:35 , 23-Сен-15, (4) +11 // а потом на ещё быстром C , Аноним (-), 15:45 , 23-Сен-15, (21) +4 // А почему думаете, что C перестанет быть быстрым , Аноним (-), 15:53 , 23-Сен-15, (22) я как раз и написал что после C возможно следующим щагом будет переписать на C, Аноним (-), 15:58 , 23-Сен-15, (25) Вас и спрашивают, почему вы думаете что на С или ассемблере будет работать ощути, Анонимоус (?), 16:55 , 23-Сен-15, (38) –3 Потому, что лишнего не делает, когда не просят --- code include iostream using, pavlinux (ok), 21:07 , 23-Сен-15, (62) +1 Какая глупость мерять oneliner-ом А на проекте из 500килострочек си может оказа, Классический анонимус (?), 05:05 , 24-Сен-15, (86) Жаба по определению не может быть быстрее , pavlinux (ok), 23:25 , 26-Сен-15, (147) –1 в с для корректной работы main необходимо сделать предварительные танцы с бу, guest (??), 12:19 , 24-Сен-15, (116) –1 А если я С начну оптимизировать code void main char A xeb x2a x5e x8, pavlinux (ok), 23:16 , 26-Сен-15, (145) Не быстрее, Anonim (??), 17:39 , 23-Сен-15, (43) –2 конечно на ассемблере как neon на армах и прочие simd публикация исходников, guest (??), 12:14 , 24-Сен-15, (115) –1 вместо чтобы сразу взять нормальный язык 8212 D, например, 8212 и не писат, arisu (ok), 22:34 , 30-Сен-15, (153) Если учесть что понять яву ни сколько не проще, чем понять пюсы, вообще странно , _KUL (ok), 14:42 , 23-Сен-15, (7) –4 // ну это скорее вопрос упоротости разрабов, а не языка , vitalif (ok), 14:55 , 23-Сен-15, (11) +1 Проще её понять Она громоздкая как чёрт знает что для практических применений , Crazy Alex (ok), 16:11 , 23-Сен-15, (31) +6 // Если Java-библиотеки т н Jar-hell переписать на С , что-то в них станет прощ, Вареник (?), 06:53 , 24-Сен-15, (88) Я что-то писал про проще Менее громоздко - станет За счёт возможности выкину, Crazy Alex (ok), 09:49 , 24-Сен-15, (99) Да уж, без библиотек и фреймворков на сипипи всё так легко и быстро пишется 8 , Классический анонимус (?), 09:23 , 24-Сен-15, (96) –1 Конечно зависть Один человек на Java EE делают за четыре дня программу лояльност, ДяДя (?), 09:45 , 24-Сен-15, (98) +5 Да просто выжгли себе мозг пытаясь понять всю тупость спецификации C , Аноним (-), 09:50 , 24-Сен-15, (100) –1 1 человек в вопросе пытается сделать фигню, так как, похоже, воощбще не понимае, Crazy Alex (ok), 10:00 , 24-Сен-15, (101) Мы прямо щас пишем прожку в VS10, никакого C 11 там нет Именно в теме на SO во в, Классический анонимус (?), 11:14 , 24-Сен-15, (109) Ваши проблемы, если вы сидите на каой-то хрени, которая отродясь стандарты не мо, Crazy Alex (ok), 13:46 , 24-Сен-15, (118) +1 Оно даже в С99 не может, куда им до новых плюсов-то , безымянный доброжелатель (?), 15:05 , 24-Сен-15, (121) +2 пишете на RUST, Аноним (-), 16:02 , 24-Сен-15, (123) а на программируемых калькуляторах не пробовали там ещё больше можно задолбатьс, arisu (ok), 22:37 , 30-Сен-15, (155) +1 Я всегда думала, что так же быстра как и C Но при переписывании на C , как пр, Xenia Joness (ok), 16:08 , 23-Сен-15, (29) –7 // Если взять средних разработчиков на плюсах и яве - так и было бы Но эту штуку, Crazy Alex (ok), 16:13 , 23-Сен-15, (33) +1 // зуб даешь , Аноним (-), 23:05 , 23-Сен-15, (75) Что спецы высококвалифицированные Разумеется По тому, что вообще подобное осил, Crazy Alex (ok), 23:44 , 23-Сен-15, (79) +1 ты, когда всё 8208 таки найдёшь правильный сайт стоматологии, ещё и к окулисту , arisu (ok), 22:39 , 30-Сен-15, (156) +1 http bit ly 1G2oo6U, dr Equivalent (ok), 16:34 , 23-Сен-15, (35) Возможное появление уязвимостей при переписывании на C с лихвой компенсируется, Аноним (-), 16:39 , 23-Сен-15, (36) +2 // А приведите примеры опасного кода на JavaЯ большого опыта программирования на не, Анонимоус (?), 16:58 , 23-Сен-15, (39) +2 public class MainClass public static void main String args int inChar, жаба (?), 19:05 , 23-Сен-15, (49) –1 да здравствует говнокод Если ты даже в такой простой программке умудрился допус, Xenia Joness (ok), 09:42 , 24-Сен-15, (97) –4 Вот это - совершенно не факт У явы рантайм делает много чего лишнего И на чист, Аноним (-), 19:16 , 23-Сен-15, (51) –1   // На задаче - обрабатывать файл с недействительными паспортами РФ качается с сайт, Классический анонимус (?), 05:10 , 24-Сен-15, (87) +3   Запросто, как раз тот случай, когда в сях у тривиальной реализации с аллокациями, Crazy Alex (ok), 10:05 , 24-Сен-15, (102)   ну дык тело, похоже, даже в более 8208 менее нормальную реализацию хэш 8208 та, arisu (ok), 22:42 , 30-Сен-15, (158)   Тьфу, что-то я туплю Какие джавы Какие самописные программы sort если оригин, Crazy Alex (ok), 10:30 , 24-Сен-15, (105)   вчера хранится в СУБД Если хранить его ещё и в файле, то возможна неконсистен, Классический анонимус (?), 12:03 , 24-Сен-15, (113)   Кстати, Штатный линуксовый diff написанный на си даже не с наверное , кушае, Классический анонимус (?), 12:04 , 24-Сен-15, (114) +1   Хм, уже интересно стало, сейчас докачается - пропробую наваять наскидку - тоже в, Crazy Alex (ok), 14:24 , 24-Сен-15, (119)   А в чём проблемы с загрузкой 100 млн строк в оракл 1 Гб данных на час что-то , Аноним (-), 12:47 , 11-Ноя-15, (175)   Хотя если на каждую строку один запрос то возможно , Аноним (-), 12:48 , 11-Ноя-15, (176)   Убейте архитектора системы - можно об стенку такие вещи НЕ пишут на java c и пр, fi (ok), 01:21 , 25-Сен-15, (132)   Oracle за полчаса Читать учись Или мускуль такой крутой стал что делаем меньше, Классический анонимус (?), 05:13 , 25-Сен-15, (133)   рукожопие 8212 это врождённое, потому что , arisu (ok), 22:41 , 30-Сен-15, (157) +1   Банки любят Oracle и всякие WebSphere с поядерными лицензиями Возможно откаты, , Вареник (?), 06:58 , 24-Сен-15, (89) Вот же жесть Забаньте уже эту блондинку тролля Молю , th3m3 (ok), 11:21 , 24-Сен-15, (110) Вы наверное прочитали только первые два абзаца Там ниже, под картинками, архите, Очередной аноним (?), 08:52 , 24-Сен-15, (94) +3 // Современная беда - это разные уровни развития ЦП и ОЗУ Теперь на Java это проще , ДяДя (?), 10:15 , 24-Сен-15, (104) +7 Для Cassandra это, пожалуй, приговор , freehck (ok), 14:34 , 23-Сен-15, (3) +5 // Через пару-тройку лет, если эта штука покажет свою надёжность - может и да Сегм, Crazy Alex (ok), 14:39 , 23-Сен-15, (5) +7 // Возможно прирост производительности по большей части за счет Seastar, чем за сче, Аноним (-), 15:06 , 23-Сен-15, (12) // Если графики на Seastar про memcached посмотреть, то там тоже прирост колоссальн, Аноним (-), 15:09 , 23-Сен-15, (15) http www scylladb com technology status говорит, что еще есть спектр задач, к, max (??), 17:15 , 23-Сен-15, (41) Или просто трэша в рантайме Там такого есть На хабре навалом примеров как можн, Аноним (-), 19:18 , 23-Сен-15, (52) Вроде бы как в новости описан и подвох Там, где про карты интела Избавление от, тоже Аноним (ok), 19:30 , 23-Сен-15, (54) +2 // только если бы там была Ява - это были бы мертвому припарки , Аноним (-), 23:07 , 23-Сен-15, (76) +2 Ага, вижу - это позже добавили, кажется Но это небольшой подвох - там, где нужн, Crazy Alex (ok), 23:46 , 23-Сен-15, (80) +2 Проблемы могут появиться, когда это подобранное железо устареет Впрочем, пока с, тоже Аноним (ok), 11:05 , 24-Сен-15, (108) Это не один год, елси будет хоть какой-то интерес - будут поддерживать Да и сов, Crazy Alex (ok), 14:56 , 24-Сен-15, (120) Более того там где нужны Cassandra Hadoop, добавить поддержку нужной железки - , Aleks Revo (ok), 11:25 , 26-Сен-15, (139) Вряд ли разрыв сохранится на годы Затюнят Java под конкретный case и разрыв ста, Вареник (?), 07:03 , 24-Сен-15, (90) –1 Installing Scylla on Ubuntu or Debian-based systemsComing Soon, Аноним (-), 14:40 , 23-Сен-15, (6) // Ну логично - редхаты и производные им всяко важнее, а вылавливать приколы платфо, Crazy Alex (ok), 14:43 , 23-Сен-15, (9) +4 Ключ значения уже мало, а хэши нормальные только в Cassandra Давно хотел её по, Аноним (-), 14:42 , 23-Сен-15, (8) –1 крутые программисты эти Ави Кивити и Дор Лаор кстати, имена как из научной фант, Штунц (?), 14:43 , 23-Сен-15, (10) // Ага, как в книгах про Джона Картера , Челодой моловек (?), 15:08 , 23-Сен-15, (14) +1 Из Ефремова, например , Аноним (-), 15:11 , 23-Сен-15, (16) +5 // Кстати да, kravich (ok), 15:15 , 24-Сен-15, (122) Видимо теперь чтобы писать на сях - надо родиться на марсе Угрюмое будущее , Аноним (-), 16:03 , 23-Сен-15, (26) что за чушь обычные для Израильтян имена, vasa (??), 21:36 , 26-Сен-15, (144) // внезапно, 171 туманность андромеды 187 заиграла совсем новыми и неожиданными, arisu (ok), 22:48 , 30-Сен-15, (159) Если найдется фрик который фо фан перепишет на pure c то ждем еще двухкратного в, ram_scan (?), 15:08 , 23-Сен-15, (13) // На правах тролля зачем нам эти жалкие полумеры, asm , Sb (??), 15:15 , 23-Сен-15, (17) –1 // На правах гипертролля зачем нам эти жалкие полумеры Только машинный код, тольк, Aleks Revo (ok), 11:29 , 26-Сен-15, (140) Очень не факт Низкий уровень там и так, похоже, выжали как могли и плюсы в это, Crazy Alex (ok), 15:26 , 23-Сен-15, (19) // Раз не факт, то что на C быстрее Плюсов, то может поправишь плюсовый код для бэн, Аноним (-), 15:53 , 23-Сен-15, (23) // k-nucleotide Нет тут помощник нужен , Аноним (-), 16:06 , 23-Сен-15, (28) Раз С быстрее плюсов и вообще, всего остального , может поправишь сишный код та, Аноним (-), 16:10 , 23-Сен-15, (30) –2 а может лучше подучите плюсы и перестаните злоупотреблять ооп и шаблонами школот, Аноним (-), 16:11 , 23-Сен-15, (32) –1 Хм, а вот обратный пример http benchmarksgame alioth debian org u32 performan, Crazy Alex (ok), 16:21 , 23-Сен-15, (34) +1 Сравнения производительности с MongoDB еще нигде не засветились , Аноним (-), 15:19 , 23-Сен-15, (18) // А чего там смотреть Тут вон приведён график с _миллионом_ транзакций в секунду н, Анончик (?), 15:35 , 23-Сен-15, (20) // Причём запись у них быстрее чтения, Аноним (-), 20:21 , 23-Сен-15, (56) // У кассандры запись всегда была быстрее чтения, Аноним (-), 00:35 , 24-Сен-15, (82) На сферическом сервере в вакууме , Аноним (-), 22:54 , 23-Сен-15, (70) // На продакшн MongoDB тем более лучше не ставить , Вареник (?), 07:33 , 24-Сен-15, (91) –1 https github com scylladb scylla wiki Scylla-and-Cassandra-DifferencesЕсли пис, Hmm (??), 15:56 , 23-Сен-15, (24) +2 // Супер Отлично продемонстрирован нехороший эффект от false sharing Возьмите в Ja, ДяДя (?), 18:15 , 23-Сен-15, (46) // Ну да, только там еще в рантайме потом какая-нибудь пакость с жуткой неоптимальн, Аноним (-), 19:24 , 23-Сен-15, (53) +3 Количество not supported настораживает Бесполезная технодемка какая-то , Аноним (-), 22:56 , 23-Сен-15, (71) –1 оно умеет читать и менять ключ в одной транзакции залочив ключ или хотя бы как m, Аноним (-), 16:47 , 23-Сен-15, (37) +1 // читаем доки по кассандре, не ленимся, max (??), 17:02 , 23-Сен-15, (40) // дружище ответь на вопросы ПОЖАЛУЙСТА может оно мне вообще не подходит и копать, Аноним (-), 17:31 , 23-Сен-15, (42) –1 // вот только ни одной причины, по которой другие должны читать документацию за теб, arisu (ok), 22:52 , 30-Сен-15, (160) +1 Как я понял все зависит от настроек если replication_factor 1 то всегда хранит, Аноним (-), 11:30 , 24-Сен-15, (111) // Задачса с товарами - для реляционной БД Cassandra менее удобна, менее стандарти, Dmitry77 (ok), 19:04 , 11-Ноя-15, (177) А что же скажет Изен , andy (??), 18:15 , 23-Сен-15, (45) // А можно я вместо него https github com scylladb scylla wiki Scylla-and-Cassand, GrAndSE (?), 21:37 , 23-Сен-15, (66) // Подгонка под железо ОС - ерунда Не на неведомых арендованых VDS же кластер гоня, Crazy Alex (ok), 23:48 , 23-Сен-15, (81) linux only, Аноним (-), 18:42 , 23-Сен-15, (47) –1 // Аналитические выводы с высоты дивана , Аноним (-), 20:39 , 23-Сен-15, (59) Как будто что-то плохое , Аноним (-), 21:33 , 23-Сен-15, (65) +4 // вендор локин - это всегда что-то плохое доказанно виндой ia32, б.б. (?), 02:28 , 24-Сен-15, (84) +1 // Ай-яй-яй, опять буратина пролетел со своей бздой, как фанера над парижем Кушай-, Аноним (-), 03:12 , 24-Сен-15, (85) +1 Для любителей ПЭКЭДЖЕЙ , bOOster (ok), 06:34 , 28-Сен-15, (148) –1 Отлично, есть ведь ещё люди Ээээ стоп-стоп-стоп А ну ка поподробнее - они п, Аноним (-), 21:31 , 23-Сен-15, (64) –2 // https en wikipedia org wiki Data_Plane_Development_KitРеализация ipsec без DPD, Аноним (-), 08:48 , 24-Сен-15, (93) // gt оверквотинг удален Ха, отлично, зато синтетика тесты прямо ураган когда с т, bOOster (ok), 06:36 , 28-Сен-15, (149) –1 Эти попугаи, которых в десять раз больше - не о чем Миллион запросов в секунду , Аноним (-), 01:56 , 24-Сен-15, (83) // Подозрительным выглядит демонстрацию тестов одного узла и отсутствие тестов клас, Аноним (-), 08:10 , 24-Сен-15, (92) –1 Очнись, современные SSD выдают 2 5 Гбайта в секунду и 300-800 тысяч IOPS с одной, Аноним (-), 09:02 , 24-Сен-15, (95) +3 // Видели мы те приложения, угу Майнкрафт запускать - ещё не всякий дектоп потянет, Аноним (-), 13:38 , 24-Сен-15, (117) Это где такие скорости В лабораторных условиях, разве что У современных SSD 800, iZEN (ok), 22:15 , 24-Сен-15, (126) // А ты ынтырпрайзные SSD видал когда-нибудь В PCI-E например втыкаемые Они быстр, Аноним (-), 23:40 , 24-Сен-15, (130) +1 Так и сравнивать их надо с пачкой саташных коробочек , а не с одной Учитывая, , Aleks Revo (ok), 11:54 , 26-Сен-15, (141) В тесте натянуто все Упираются в сетевой IO, о влиянии дискового IO информации , Вареник (?), 10:12 , 24-Сен-15, (103) –1 На счет Java vs C Я думаю спорить незачем С дефакто к сформирован коммьюнити, DD (ok), 00:25 , 25-Сен-15, (131) // Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..., anonymous (??), 16:08 , 25-Сен-15, (136) // Это никак не меняет все мои доводы , DD (ok), 16:54 , 26-Сен-15, (143) Чем больше циферка после С XX и CXX - тем больше языки становятся похожи друг н, bOOster (ok), 06:49 , 28-Сен-15, (150) –1 8230 а вот тут согласен о чём можно 171 спорить 187 с дешёвой глупой прос, arisu (ok), 22:55 , 30-Сен-15, (161) Кстати, Java Concurrency in 2015New, asynchronous shared-nothing platforms and, Классический анонимус (?), 08:27 , 25-Сен-15, (134) // А некоторые даже почти без генерации мусора обходятся, если цель есть такая ht, ДяДя (?), 10:36 , 25-Сен-15, (135) +1 1,2,3,6,8,10,13,18,24,37,45,47,64,83,131,134

Сообщения

[Сортировка по времени | RSS]

	51. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	–1 +/–
	Сообщение от Аноним (-), 23-Сен-15, 19:16
	> Я всегда думала, что так же быстра как и C++. Вот это - совершенно не факт. У явы рантайм делает много чего лишнего. И на чисто алгоритмическом коде, например сжатии - ява продует сям разика так в три. И вообще, рантайм явы может подложить немало подлян, странно реализуя самые базовые операции. Так что в иных случаях и в 10 раз быстрее - не предел. > Но при переписывании на C++, как правило, появляется огромное число уязвимостей, А то что в жабистом рантайме их затыкают по 30 штук в каждой версии - вас не смущает? > взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно > откатывается назад на Cassandra" Ну вот когда и если - тогда и приходите. А учитывая квалификацию жабистов - скорее взломают кассандру. Ну а что, вон кучу всего на питонах, пыхе, рубях и прочая - ломают. И вебня давно обставила си в вопросах дырявости.
	Ответить | Правка | К родителю #29 | Наверх | Cообщить модератору

	87. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+3 +/–
	Сообщение от Классический анонимус (?), 24-Сен-15, 05:10
	> Вот это - совершенно не факт. У явы рантайм делает много чего > лишнего. И на чисто алгоритмическом коде, например сжатии - ява продует > сям разика так в три. И вообще, рантайм явы может подложить > немало подлян, странно реализуя самые базовые операции. Так что в иных > случаях и в 10 раз быстрее - не предел. На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си. Ну, рамы ела 4ГБ против 1, но это ерунда. Полностью смысл задачи - взять сегодняшний файл и вчерашний, выделить дельту и засунуть в базу - последний шаг уже не бенчмаркался. Хотя jdbc-драйвер для Оракла на джаве тоже прямее, чем сишная поделка :)
	Ответить | Правка | Наверх | Cообщить модератору

	102. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Crazy Alex (ok), 24-Сен-15, 10:05
	Запросто, как раз тот случай, когда в сях у тривиальной реализации с аллокациями тормоза, а в жабе они шустрые, а gc на такой адачке вообще ни разу не запустится, скорее всего. Решаемо при чуть вдумчивом подходе, рзумеется, чуть позже накидаю для примера.
	Ответить | Правка | Наверх | Cообщить модератору

	158. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra,..."	+/–
	Сообщение от arisu (ok), 30-Сен-15, 22:42
	> Запросто, как раз тот случай, когда в сях у тривиальной реализации с > аллокациями тормоза ну дык тело, похоже, даже в более‐менее нормальную реализацию хэш‐таблиц не смогло. максимум смогло скачать, и то профэйлило в использовании.
	Ответить | Правка | Наверх | Cообщить модератору

	105. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Crazy Alex (ok), 24-Сен-15, 10:30
	Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить до завтра, разумеется, и второй раз не сортировать.
	Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

	113. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Классический анонимус (?), 24-Сен-15, 12:03
	> Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал > не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить > до завтра, разумеется, и второй раз не сортировать. "вчера" хранится в СУБД. Если хранить его ещё и в файле, то возможна неконсистентность. Просто загрузка в СУБД (Oracle) нового файла - тормоза на полчаса. Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на "больше часа". Проги на джаве и си "выгрузить из СУБД, найти дельту, загрузить в СУБД" примерно одинаково на уровне 4-5 минут. На джаве шаг "найти дельту" около 40 секунд отрабатывает с fastutil. Программу накидал за полчаса на стандартных и протестированных компонентах. Сишник 2 дня чё-то писал, переписывал, оптимизировал, в итоге скорость чуть ниже и ДРУГИЕ цифры. Т.е. у него ещё и баги надо было искать ;) При том, что сишник как прогер намного сильнее меня.
	Ответить | Правка | Наверх | Cообщить модератору

	114. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+1 +/–
	Сообщение от Классический анонимус (?), 24-Сен-15, 12:04
	> Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на > "больше часа". Кстати, "Штатный линуксовый diff" написанный на си (даже не с++ наверное), кушает 8-9ГБ ОЗУ при сравнении двух файлов с 100млн строк :) Джава 3.5-4.
	Ответить | Правка | Наверх | Cообщить модератору

	119. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Crazy Alex (ok), 24-Сен-15, 14:24
	Хм, уже интересно стало, сейчас докачается - пропробую наваять наскидку - тоже в рамках получаса. Завтра ещё обновлённую базу скачаю, чтобы реальные данные были. Но насчёт памяти - точно странно, там же потоковая обработка, как можно приней сожрать больше, чем суммарный объём двух файлов - не понимаю. Впрочем, раз оно в базе - можно голову не морочить.
	Ответить | Правка | Наверх | Cообщить модератору

	175. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Аноним (-), 11-Ноя-15, 12:47
	А в чём проблемы с загрузкой 100 млн. строк в оракл? 1 Гб. данных на час что-то странное.
	Ответить | Правка | К родителю #113 | Наверх | Cообщить модератору

	176. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Аноним (-), 11-Ноя-15, 12:48
	> А в чём проблемы с загрузкой 100 млн. строк в оракл? 1 > Гб. данных на час что-то странное. Хотя если на каждую строку один запрос то возможно :)
	Ответить | Правка | Наверх | Cообщить модератору

	132. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от fi (ok), 25-Сен-15, 01:21
	Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает сама субд на раз! Подключаешь файл как таблицу и один селект вытягивает новые данные из нее, затем insert.  Даже мускль сделает вашу java как младенца. зы. И этот ананист учит нас жизни???
	Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

	133. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в..."	+/–
	Сообщение от Классический анонимус (?), 25-Сен-15, 05:13
	> Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на > java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает > сама субд на раз! Oracle за полчаса. Читать учись. Или мускуль такой крутой стал что делаем меньше. Чем за 40 сек то, что Оракля за полчаса?
	Ответить | Правка | Наверх | Cообщить модератору

	157. "Новая СУБД ScyllaDB, полностью совместимая с Cassandra,..."	+1 +/–
	Сообщение от arisu (ok), 30-Сен-15, 22:41
	> На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта > ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си. > Ну, рамы ела 4ГБ против 1, но это ерунда. рукожопие — это врождённое, потому что.
	Ответить | Правка | К родителю #87 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема