The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Новая СУБД ScyllaDB, полностью совместимая с Cassandra, но в 10 раз быстрее

23.09.2015 13:38

На проходящей в эти дни конференции Cassandra Summit 2015 представлена новая открытая СУБД ScyllaDB, в рамках которой предпринята попытка переписать СУБД Apache Cassandra с Java на C++. ScyllaDB обеспечивает полную совместимость с NoSQL СУБД Cassandra, но позволяет добиться существенного увеличения производительности, демонстрируя скорость обработки запросов и отзывчивость на уровне СУБД Redis. Новую СУБД представили Ави Кивити (Avi Kiviti) и Дор Лаор (Dor Laor), в своё время создавшие такие известные открытые проекты как гипервизор KVM и операционную систему OSv с воплощением идеи запуска приложений поверх гиперевизора. Код проекта распространяется под лицензией AGPLv3.

По заявлению разработчиков ScyllaDB обеспечивает десятикратное увеличение пропускной способности обработки запросов на каждом узле по сравнению с оригинальной Apache Cassandra, в 99% случаев успевая обработать запрос менее чем за миллисекунду. Например, на типовом узле ScyllaDB способен обрабатывать около одного миллиона транзакций в секунду. Обработка большего числа запросов на одном узле позволяет существенно снизить затраты на кластер, в котором для достижения заданных характеристик потребуется на порядок меньше узлов, чем при создании кластера на основе классической СУБД Cassandra. ScyllaDB также упрощает создание запаса производительности, необходимой при обработке нетипичных пиков нагрузки.

Одним из факторов, позволившим добиться подобных показателей производительности, является использование разработанного теми же авторами C++ фреймворка Seastar, нацеленного на создание сложных серверных приложений, обрабатывающих запросы в асинхронном режиме. Seastar учитывает особенности современного оборудования, таких как распараллеливание на многоядерных системах, учёт попадания данных в процессорный кэш, оптимизация для накопителей SSD, прямой доступ к очереди пакетов на сетевой карте и полная утилизация пропускной способности 10/40-гигабитных сетевых карт.

Система построена на основе архитектуры shared-nothing, подразумевающей, что к каждому ядру CPU привязывается отдельный обособленный обработчик, которому выделена отдельная память (отсутствуют задержки из-за организации блокировок) и привязана отдельная очередь пакетов к сетевой карте. По сути, каждый процесс-обработчик ScyllaDB включает в себя собственный оптимизирванный TCP/IP-стек, работающий в пространстве пользователя, прикреплённый к отдельному ядру CPU и напрямую взаимодействующий с сетевой картой. Интегрированный сетевой стек поддерживает работу с сетевыми картами на базе чипов Intel, для систем с другими сетевыми адаптерами предусмотрена возможность использования штатного сетевого стека Linux.

ScyllaDB также обладает такими свойствами, как избавление от задержек при проведении упаковки и восстановления целостности БД, отсутствие сборщика мусора, возможность переконфигурации кластера (удаление/добавление узлов) без остановки работы, линейная масштабируемость, при которой производительность находится в прямой зависимости от числа процессорных ядер, наличие средств для пакетной загрузки и выгрузки больших объёмов данных из хранилищ Hadoop и Spark. ScyllaDB поддерживает модель хранения данных на базе семейства столбцов (ColumnFamily, хэши с несколькими уровнями вложенности) и позволяет использовать SQL-подобный язык структурированных запросов CQL (Cassandra Query Language). Для подключения к ScyllaDB можно использовать существующие клиентские драйверы для Apache Cassandra. СУБД ScyllaDB можно использовать в качестве прозрачной замены Apache Cassandra.

  1. Главная ссылка к новости (http://developers.slashdot.org...)
  2. OpenNews: Релиз СУБД Apache Cassandra 2.2
  3. OpenNews: Представлена Serenity, Redis-совместимая транзакционная СУБД с дисковым хранилищем
  4. OpenNews: Релиз БД Apache Cassandra 2.0 с поддержкой триггеров и легковесных транзакций
  5. OpenNews: Для MariaDB/MySQL представлено хранилище Cassandra. Обновление MySQL 5.1.66, 5.5.28 и 5.6.7
  6. OpenNews: OSv - новая открытая ОС, нацеленная на выполнение обособленных программ поверх гипервизора
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/43017-cassandra
Ключевые слова: cassandra, nosql, scylladb
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (149) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (-), 14:25, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +23 +/
    Эпично
     
     
  • 2.50, Аноним (-), 19:13, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Эпично

    А где же изен? С его рассказами про Java Не Тормозит!!!111

     
     
  • 3.61, Музыкант (?), 20:47, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Изен? Это по-хакасски "здравствуйте".
     
  • 3.63, iZEN (ok), 21:28, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –9 +/
    > А где же изен? С его рассказами про Java Не Тормозит!!!111

    Тормозят KAV и Яндекс-бар, а Java просто работает там, где необходимо.

    Cassandra написана для использования Java 7 ( http://wiki.apache.org/cassandra/HowToBuild ) и не использует новых возможностей по работе с потоками из Java 8. (JVM, кстати, написана на C++. Может в этом причина тормозов, а?)

     
     
  • 4.73, Аноним (-), 23:01, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Тормозят KAV и Яндекс-бар,

    Ты о чем, изя? О том что у тебя тырят файлы и "кашпировский", и яндекс, и майкрософт, и на всех вместе ресурсов уже не хватает? :)

    > а Java просто работает там, где необходимо.

    Попроси кашпировского переписать его безобразие на яве. Узнаешь как сделать винду однозадачной :)

    > Cassandra написана для использования Java 7

    Изя, помаши яве ручкой :P.

     
     
  • 5.112, iZEN (ok), 11:47, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Поколение Z. Ты снова не подходишь. Ищи другую работу.
     
     
  • 6.127, Аноним (-), 23:32, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Поколение Z. Ты снова не подходишь. Ищи другую работу.

    Да, изя, ВАМ я точно не подхожу. Работать с такими как ты и под виндой - это надо себя очень сильно не уважать.

     
  • 5.151, arisu (ok), 22:29, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Ты о чем, изя?

    изя тормозит.

     
  • 4.124, irinat (ok), 16:09, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > JVM, кстати, написана на C++. Может в этом причина тормозов, а?

    Точно! Надо переписать JVM на Java!

     
     
  • 5.125, iZEN (ok), 17:15, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> JVM, кстати, написана на C++. Может в этом причина тормозов, а?
    > Точно! Надо переписать JVM на Java!

    Внезапно это уже сделали. Но, к сожалению, не успели внедрить - JVM.go оказалась перспективнее. ;)

     
     
  • 6.128, Аноним (-), 23:33, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Внезапно это уже сделали. Но, к сожалению, не успели внедрить - JVM.go
    > оказалась перспективнее. ;)

    Тогда go.go будет еще интереснее. А уж go.go.go... :)

     
     
  • 7.129, iZEN (ok), 23:34, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> Внезапно это уже сделали. Но, к сожалению, не успели внедрить - JVM.go
    >> оказалась перспективнее. ;)
    > Тогда go.go будет еще интереснее. А уж go.go.go... :)

    Отписался от этого бреда.

     
     
  • 8.137, Аноним (-), 22:05, 25/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Так вроде была новость, что Go вроде уе на Go написан или я что-то путаю Меня т... текст свёрнут, показать
     
     
  • 9.162, Illya (?), 18:45, 02/10/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    можешь выключить, но что бы удалить объекты надо будет вручную вызывать весь GC... текст свёрнут, показать
     
     
  • 10.163, Illya (?), 18:50, 02/10/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Хотя можешь переменные на стеке хранить этот подход моден в Go ... текст свёрнут, показать
     
  • 3.107, imprtat (ok), 11:03, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Обычно проблема не в языке, а в том как его использовать.

    >> Программа среднестатистического студента на C++ работает медленнее чем тоже самое, написаное им же, на Java (c)

     
     
  • 4.142, Аноним (-), 12:41, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Часто слышу такое высказывание. Пруф будет?
     
     
  • 5.152, arisu (ok), 22:31, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Часто слышу такое высказывание. Пруф будет?

    просто такие студенты не умеют ещё и в бенчмарки. сначала запускают цпп‐вариант на жирном файле, а сразу за ним жабу. прогретые файловые кэши? не, этому не учили.

     
  • 5.174, imprtat (ok), 01:42, 02/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Часто слышу такое высказывание. Пруф будет?

    Пруф на что? На то как плохо можно написать программу на любом языке?

     

  • 1.2, th3m3 (ok), 14:30, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +17 +/
    Зачем надо было вообще писать базу данных на тормозной Java?
     
     
  • 2.4, Аноним (-), 14:35, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +11 +/
    Чтобы потом переписать на быстром С++
     
     
  • 3.21, Аноним (-), 15:45, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    а потом на ещё быстром C? ))
     
     
  • 4.22, Аноним (-), 15:53, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А почему думаете, что C перестанет быть быстрым?
     
     
  • 5.25, Аноним (-), 15:58, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/

    я как раз и написал что после C++ возможно следующим щагом будет переписать на C (который быстрее), а потом уже конечно на асемблере! ;)

     
     
  • 6.38, Анонимоус (?), 16:55, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –3 +/
    Вас и спрашивают, почему вы думаете что на С или ассемблере будет работать ощутимо быстрее, чем на С++?
     
     
  • 7.62, pavlinux (ok), 21:07, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Потому, что лишнего не делает, когда не просят --- code include iostream u... большой текст свёрнут, показать
     
     
  • 8.86, Классический анонимус (?), 05:05, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Какая глупость мерять oneliner-ом А на проекте из 500килострочек си может оказа... текст свёрнут, показать
     
     
  • 9.147, pavlinux (ok), 23:25, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Жаба по определению не может быть быстрее ... текст свёрнут, показать
     
  • 8.116, guest (??), 12:19, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    в с для корректной работы main необходимо сделать предварительные танцы с бу... текст свёрнут, показать
     
     
  • 9.145, pavlinux (ok), 23:16, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А если я С начну оптимизировать code void main char A xeb x2a x5e... текст свёрнут, показать
     
  • 6.43, Anonim (??), 17:39, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Не быстрее
     
  • 6.115, guest (??), 12:14, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > а потом уже конечно на асемблере! ;)

    конечно на ассемблере!!! как neon на армах и прочие simd + публикация исходников микрокода на vhdl всех железных оптимизаций!!!:)

    похожий пример. я разрабатываю протокол, после отладки прототипа python + protobuf + kivy и запуска минимального функционала - будет нативный клиент на с++.
    Высокоуровневые средства разработки и отладки, в частности пайтон с киви идеально подходят для прототипирования. nb protobuf - позволяет сохранять совместимость между языками программирования на сетевом уровне.

     
     
  • 7.153, arisu (ok), 22:34, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    вместо чтобы сразу взять нормальный язык — D, например, — и не писать мусорных прототипов. впрочем, чего хорошего можно ожидать от гвидобейсиковцев…
     
  • 2.7, _KUL (ok), 14:42, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Если учесть что понять яву ни сколько не проще, чем понять пюсы, вообще странно ...
     
     
  • 3.11, vitalif (ok), 14:55, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    ну это скорее вопрос упоротости разрабов, а не языка ))
     
  • 3.31, Crazy Alex (ok), 16:11, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +6 +/
    Проще её понять. Она громоздкая как чёрт знает что для практических применений (потому что по факту она нужна только вместе со знанием J2EE), но сам язык прост. Плюсы - сами сложны, но это избавляет от громоздких фреймворков вокруг - если хотеть, конечно.
     
     
  • 4.88, Вареник (?), 06:53, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Проще её понять. Она громоздкая как чёрт знает что для практических применений
    > (потому что по факту она нужна только вместе со знанием J2EE),
    > но сам язык прост. Плюсы - сами сложны, но это избавляет
    > от громоздких фреймворков вокруг - если хотеть, конечно.

    Если Java-библиотеки (т.н. Jar-hell) переписать на С++, что-то в них станет проще?

    Будет еще больший hell из-за разных соглашений, стилей и использования подмножеств языка.
    У одних будет все через смартпоинтеры STD, у других через смартпоинтеры Boost, у третьих черех Qt, а у четвертых все через &. В документации каждой либы будет дисклеймер, что нужно глобально использовать аллокатор именно этой либы, иначе все рухнет.

    И интегрируй потом это все в один конечный продукт за разумное время...

     
     
  • 5.99, Crazy Alex (ok), 09:49, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Я что-то писал про проще Менее громоздко - станет За счёт возможности выкину... большой текст свёрнут, показать
     
  • 4.96, Классический анонимус (?), 09:23, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да уж, без библиотек и фреймворков на сипипи всё так легко и быстро пишется. 8))))

    Погуглим банальнейшее "convert wstring to string" и мозг лопается - кучи нюансов и несовместимостей на уровне "в C++11 одно, в более новом режиме другое, под виндой третье, в linux четвертое". А начнём стек писать самописный, а потом отлаживать - так вообще и протрезветь можно!

    Это, кстати, ответ на вопрос: за что жабисты не любят си. А вот за что сишники не любят жабу - мистика. Наверное банальная зависть?

     
     
  • 5.98, ДяДя (?), 09:45, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Конечно зависть.
    Один человек на Java EE делают за четыре дня программу лояльности аналогичную "Связной Клуб". Польза для бизнеса огромная. Иные не на Java втроём за полгода делают на 50% меньше функционал. А ЗП хотят такую же. А бизнесу где деньги брать, если ещё не работает то, что должно их приносить ???
     
  • 5.100, Аноним (-), 09:50, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >А вот за что сишники не любят жабу - мистика

    Да просто выжгли себе мозг пытаясь понять всю тупость спецификации C++

     
  • 5.101, Crazy Alex (ok), 10:00, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    1) человек в вопросе пытается сделать фигню, так как, похоже, воощбще не понимает. что он делает. Здесь это ему детально объяснили: http://stackoverflow.com/a/4805122
    2) Если есть решение для C+11 - им и надо пользоваться. Плюсы до 11 давно можно забыть, а  то, что есть в них - просто и абсолютно осмысленно - преобразование с указанием, в какой кодировке string.

    А не любят, потому что на все гвозди - один микроскоп. Со стратегий работы с памятью начиная и заканчивая убогим map.Get.

     
     
  • 6.109, Классический анонимус (?), 11:14, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Мы прямо щас пишем прожку в VS10, никакого C+11 там нет.

    Именно в теме на SO во всех подветках куча воплей:
    -это не работает в linux
    -некоторые символы стрипаются
    -в ICU это надо делать по другому
    итд

     
     
  • 7.118, Crazy Alex (ok), 13:46, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ваши проблемы, если вы сидите на каой-то хрени, которая отродясь стандарты не могла толком поддерживать. И напоминаю, на каком сайте вы находитесь. При чём здесь проприетарщина  от MS?

    Да, в плюсах до 11 не было вменяемой поддержки кодировок. Теперь она есть.

     
  • 7.121, безымянный доброжелатель (?), 15:05, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Мы прямо щас пишем прожку в VS10, никакого C+11 там нет.

    Оно даже в С99 не может, куда им до новых плюсов-то.

     
  • 7.123, Аноним (-), 16:02, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    пишете на RUST
     
  • 7.155, arisu (ok), 22:37, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Мы прямо щас пишем прожку в VS10

    а на программируемых калькуляторах не пробовали? там ещё больше можно задолбаться — ведь это же и есть цель.

     
  • 2.29, Xenia Joness (ok), 16:08, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –7 +/
    Я всегда думала, что так же быстра как и C++.
    Но при переписывании на C++, как правило, появляется огромное число уязвимостей, т.к. Java гораздо безопаснее C++ (поэтоу софт для банковских сфер и пр. ответвенных направлений пишется на Java). Вообщем жду новости такого типа: "злоумышленники взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно откатывается назад на Cassandra"
     
     
  • 3.33, Crazy Alex (ok), 16:13, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Если взять "средних" разработчиков на плюсах и яве - так и было бы. Но эту штуку писали отнюдь не "средние", а высококвалифицырованные спецы. У которых нет проблем с архитектурой и пониманием, как что происходит - поэтому не будет там никакого огромного числа уязвимостей.
     
     
  • 4.75, Аноним (-), 23:05, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    зуб даешь?
     
     
  • 5.79, Crazy Alex (ok), 23:44, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Что спецы высококвалифицированные? Разумеется. По тому, что вообще подобное осилили, видно. Что штука годится в продакшн? Нет, конечно. Подождём пару лет, поглядим - если хорошо себя покажет - можно будет пользоваться. Такие вещи длдя мелочей не применяются, так что спешить не надо.
     
  • 5.156, arisu (ok), 22:39, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > зуб даешь?

    ты, когда всё‐таки найдёшь правильный сайт стоматологии, ещё и к окулисту запишись — оно пригодится.

     
  • 3.35, dr Equivalent (ok), 16:34, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Java
    > безопасность

    http://bit.ly/1G2oo6U

     
  • 3.36, Аноним (-), 16:39, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Возможное появление уязвимостей при переписывании на C++ с лихвой компенсируется уязвимостями в JVM. Разница лишь в том, что для С++ нужно проверять только качество кода программы, а для JVM и программы, и JVM.
     
     
  • 4.39, Анонимоус (?), 16:58, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Возможное появление уязвимостей при переписывании на C++ с лихвой компенсируется уязвимостями
    > в JVM. Разница лишь в том, что для С++ нужно проверять
    > только качество кода программы, а для JVM и программы, и JVM.

    А приведите примеры опасного кода на Java
    Я большого опыта программирования на нем нет, но хотел бы иметь представление, чтобы пердеть в джавистов заряженными эм... орешками)

     
     
  • 5.49, жаба (?), 19:05, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    public class MainClass {

      public static void main(String[] args) {
        int inChar;
        System.out.println("Enter a Character:");
        inChar = System.in.read();
        System.out.print("You entered ");
        System.out.println(inChar);
    }

     
     
  • 6.97, Xenia Joness (ok), 09:42, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –4 +/
    да здравствует говнокод Если ты даже в такой простой программке умудрился допус... большой текст свёрнут, показать
     
  • 3.51, Аноним (-), 19:16, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вот это - совершенно не факт У явы рантайм делает много чего лишнего И на чист... большой текст свёрнут, показать
     
     
  • 4.87, Классический анонимус (?), 05:10, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > Вот это - совершенно не факт. У явы рантайм делает много чего
    > лишнего. И на чисто алгоритмическом коде, например сжатии - ява продует
    > сям разика так в три. И вообще, рантайм явы может подложить
    > немало подлян, странно реализуя самые базовые операции. Так что в иных
    > случаях и в 10 раз быстрее - не предел.

    На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си. Ну, рамы ела 4ГБ против 1, но это ерунда.

    Полностью смысл задачи - взять сегодняшний файл и вчерашний, выделить дельту и засунуть в базу - последний шаг уже не бенчмаркался. Хотя jdbc-драйвер для Оракла на джаве тоже прямее, чем сишная поделка :)

     
     
  • 5.102, Crazy Alex (ok), 10:05, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Запросто, как раз тот случай, когда в сях у тривиальной реализации с аллокациями тормоза, а в жабе они шустрые, а gc на такой адачке вообще ни разу не запустится, скорее всего. Решаемо при чуть вдумчивом подходе, рзумеется, чуть позже накидаю для примера.
     
     
  • 6.158, arisu (ok), 22:42, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Запросто, как раз тот случай, когда в сях у тривиальной реализации с
    > аллокациями тормоза

    ну дык тело, похоже, даже в более‐менее нормальную реализацию хэш‐таблиц не смогло. максимум смогло скачать, и то профэйлило в использовании.

     
  • 5.105, Crazy Alex (ok), 10:30, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Тьфу, что-то я туплю. Какие джавы? Какие самописные программы? sort (если оригинал не сортирован) + diff решат все ваши проблемы. Сортированный файл хранить до завтра, разумеется, и второй раз не сортировать.
     
     
  • 6.113, Классический анонимус (?), 12:03, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    вчера хранится в СУБД Если хранить его ещё и в файле, то возможна неконсистен... большой текст свёрнут, показать
     
     
  • 7.114, Классический анонимус (?), 12:04, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Штатный линуксовый diff между 2 файлами по 100млн строк - тормоза на
    > "больше часа".

    Кстати, "Штатный линуксовый diff" написанный на си (даже не с++ наверное), кушает 8-9ГБ ОЗУ при сравнении двух файлов с 100млн строк :) Джава 3.5-4.

     
     
  • 8.119, Crazy Alex (ok), 14:24, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Хм, уже интересно стало, сейчас докачается - пропробую наваять наскидку - тоже в... текст свёрнут, показать
     
  • 7.175, Аноним (-), 12:47, 11/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А в чём проблемы с загрузкой 100 млн. строк в оракл? 1 Гб. данных на час что-то странное.
     
     
  • 8.176, Аноним (-), 12:48, 11/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Хотя если на каждую строку один запрос то возможно ... текст свёрнут, показать
     
  • 5.132, fi (ok), 01:21, 25/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает сама субд на раз! Подключаешь файл как таблицу и один селект вытягивает новые данные из нее, затем insert.  Даже мускль сделает вашу java как младенца.

    зы. И этот ананист учит нас жизни???
      

     
     
  • 6.133, Классический анонимус (?), 05:13, 25/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Убейте архитектора системы - можно об стенку. такие вещи НЕ пишут на
    > java/c и прочей лабуде- это задача (обратный поиск к пересечению) делает
    > сама субд на раз!

    Oracle за полчаса. Читать учись. Или мускуль такой крутой стал что делаем меньше. Чем за 40 сек то, что Оракля за полчаса?

     
  • 5.157, arisu (ok), 22:41, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > На задаче - обрабатывать файл с недействительными паспортами РФ (качается с сайта
    > ФМС), это 93 миллиона коротких стрингов (номер+серия), джабка оказалась быстрее си.
    > Ну, рамы ела 4ГБ против 1, но это ерунда.

    рукожопие — это врождённое, потому что.

     
  • 3.89, Вареник (?), 06:58, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Я всегда думала, что так же быстра как и C++.
    > Но при переписывании на C++, как правило, появляется огромное число уязвимостей, т.к.
    > Java гораздо безопаснее C++ (поэтоу софт для банковских сфер и пр.
    > ответвенных направлений пишется на Java). Вообщем жду новости такого типа: "злоумышленники
    > взломали ScyllaDB и получили доступ к 100500 банковским картам, банк срочно
    > откатывается назад на Cassandra"

    Банки любят Oracle и всякие WebSphere с поядерными лицензиями. Возможно откаты, возможно на душе спокойнее: размывание отвественности, типа мы же заплатили за продукт и за ТАКИЕ ДЕНЬГИ нам должны были поставить суперустойчивое ПО, а мы руками трогать не можем и если что - "это не мы". Или только частично мы, а не полностью.

     
  • 3.110, th3m3 (ok), 11:21, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Вот же жесть. Забаньте уже эту блондинку тролля. Молю.
     
  • 2.94, Очередной аноним (?), 08:52, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Вы наверное прочитали только первые два абзаца Там ниже, под картинками, архите... большой текст свёрнут, показать
     
     
  • 3.104, ДяДя (?), 10:15, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Современная беда - это разные уровни развития ЦП и ОЗУ.
    >Заслуга C++ наверное тут только в том, что он позволяет делать ручные низкоуровневые оптимизации и легче организовывать прямой доступ к железу.

    Теперь на Java это проще. Даже блог есть: http://java-is-the-new-c.blogspot.de/
    Например, одно слово final и JIT сохраняет переменную в регистрах. Как на C++ это сделать ? Вы должны дружить с процессором. Только тогда будет производительность. От языка это не зависит ВООБЩЕ.
    У современных процессоров беда с кэшем - false sharing. Ребята, которые делали Disruptor, сделали небольшой костыль для выравнивания адреса переменной на 64 байта. Производительность возросла в разы, но это просто дружба с ЦП, а не заслуга языка/платформы. В Java 8 этот приём вошёл.
    У современных процессоров есть ещё куча иных квантовых эффектов, кроме кэша. Их можно использовать. http://www.youtube.com/watch?v=RGFJjQKChNQ

    http://mechanical-sympathy.blogspot.ru/
    http://psy-lob-saw.blogspot.ru/

     

     ....большая нить свёрнута, показать (54)

  • 1.3, freehck (ok), 14:34, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Для Cassandra это, пожалуй, приговор.
     
     
  • 2.5, Crazy Alex (ok), 14:39, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Через пару-тройку лет, если эта штука покажет свою надёжность - может и да. Сегмент такой, что никто резкие движения совершать не будет, тем более, что это БД, а не хрен собачий.

    Ну и не оставляет чувство, что какой-то подвох всё же есть. В прирост раза в полтора-два я бы поверил, но пять-десять... Хотя было бы приятно, конечно.

     
     
  • 3.12, Аноним (-), 15:06, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Возможно прирост производительности по большей части за счет Seastar, чем за счет смены языка.
    Возможно у Java просело из-за переключений контекста пользовательский процесс - ядро.
     
     
  • 4.15, Аноним (-), 15:09, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Если графики на Seastar про memcached посмотреть, то там тоже прирост колоссальный.
     
  • 4.41, max (??), 17:15, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    http://www.scylladb.com/technology/status/ говорит, что еще есть спектр задач, которые не выполнены - потом производительность может чуть осядет.

    > Scylla currently lack support for TABLE UPDATE, DROP, TRUNCATE and pagination

    вот с pagination вообще не понял - если оно не работает, смысла от этой бд не много

     
  • 4.52, Аноним (-), 19:18, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Возможно у Java просело из-за переключений контекста пользовательский процесс - ядро.

    Или просто трэша в рантайме. Там такого есть. На хабре навалом примеров как можно ускорить в 100500 раз жабу если написать самому. Правда, спрашивается, нафига тогда вообще эта жаба и ее стометровый рантайм нужны...

     
  • 3.54, тоже Аноним (ok), 19:30, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Вроде бы как в новости описан и подвох. Там, где про карты интела.
    Избавление от лишних абстракций на уровне, близком к железу, легко разгоняет программы, интенсивно его использующие. Но может приготовить вам сюрприз на другом железе.
     
     
  • 4.76, Аноним (-), 23:07, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Избавление от лишних абстракций на уровне, близком к железу, легко разгоняет программы,

    ...только если бы там была Ява - это были бы мертвому припарки.

     
  • 4.80, Crazy Alex (ok), 23:46, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ага, вижу - это позже добавили, кажется. Но это небольшой подвох - там, где нужна Cassandra/Hadoop, подобрать железо/ОС под задачу - не проблема.
     
     
  • 5.108, тоже Аноним (ok), 11:05, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > подобрать железо/ОС под задачу - не проблема.

    Проблемы могут появиться, когда это подобранное железо устареет.
    Впрочем, пока сабж с Кассандрой совместимы, можно и пошалить...

     
     
  • 6.120, Crazy Alex (ok), 14:56, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Это не один год, елси будет хоть какой-то интерес - будут поддерживать. Да и совместимо снизу вверх будет почти наверняка. В общем, риск не особо большой, я бы сказал
     
  • 5.139, Aleks Revo (ok), 11:25, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Более того: там где нужны Cassandra/Hadoop, добавить поддержку нужной железки - тоже не запредельная задача, поэтому поддержкой хорошего железа это хозяйство обрастёт достаточно быстро.
     
  • 3.90, Вареник (?), 07:03, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Через пару-тройку лет, если эта штука покажет свою надёжность - может и
    > да. Сегмент такой, что никто резкие движения совершать не будет, тем
    > более, что это БД, а не хрен собачий.
    > Ну и не оставляет чувство, что какой-то подвох всё же есть. В
    > прирост раза в полтора-два я бы поверил, но пять-десять... Хотя было
    > бы приятно, конечно.

    Вряд ли разрыв сохранится на годы. Затюнят Java под конкретный case и разрыв станет типичные 30%.

     

  • 1.6, Аноним (-), 14:40, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Installing Scylla on Ubuntu or Debian-based systems
    Coming Soon
     
     
  • 2.9, Crazy Alex (ok), 14:43, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Ну логично - редхаты и производные им всяко важнее, а вылавливать приколы платформ лучше, когда хоть где-то есть уверенность, что всё работает как надо.
     

  • 1.8, Аноним (-), 14:42, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ключ/значения уже мало, а хэши нормальные только в  Cassandra. Давно хотел её попробовать, но Java пугала. ScyllaDB - просто мечта.
     
  • 1.10, Штунц (?), 14:43, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    крутые программисты эти Ави Кивити и Дор Лаор (кстати, имена как из научной фантастики, к примеру, жителей Марса)
     
     
  • 2.14, Челодой моловек (?), 15:08, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ага, как в книгах про Джона Картера ))
     
  • 2.16, Аноним (-), 15:11, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Из Ефремова, например.
     
     
  • 3.122, kravich (ok), 15:15, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Кстати да
     
  • 2.26, Аноним (-), 16:03, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Видимо теперь чтобы писать на сях - надо родиться на марсе. Угрюмое будущее.
     
  • 2.144, vasa (??), 21:36, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    что за чушь? обычные для Израильтян имена
     
     
  • 3.159, arisu (ok), 22:48, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > что за чушь? обычные для Израильтян имена

    внезапно, «туманность андромеды» заиграла совсем новыми и неожиданными красками…

     

  • 1.13, ram_scan (?), 15:08, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Если найдется фрик который фо фан перепишет на pure c то ждем еще двухкратного выигрыша в перфомансе.

    Хотя и так неплохо получилось.....

     
     
  • 2.17, Sb (??), 15:15, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    На правах тролля: зачем нам эти жалкие полумеры, asm!
     
     
  • 3.140, Aleks Revo (ok), 11:29, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > На правах тролля: зачем нам эти жалкие полумеры, asm!

    На правах гипертролля: зачем нам эти жалкие полумеры? Только машинный код, только покатушечная прошивка!

     
  • 2.19, Crazy Alex (ok), 15:26, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Очень не факт. Низкий уровень там и так, похоже, выжали как могли (и плюсы в этом ни разу не помеха), а более высокий уровень на плюсах куда больше шансов эффективно сделать. Правда, плюсы уметь надо - но эти, похоже, умеют.
     
     
  • 3.23, Аноним (-), 15:53, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Раз не факт, то что на C быстрее Плюсов, то может поправишь плюсовый код для бэнчмарков, где половина тестов показывает 2-ух кратное превосходство C над С++

    http://benchmarksgame.alioth.debian.org/u32q/c.php
     
     
  • 4.28, Аноним (-), 16:06, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    k-nucleotide?
    Нет тут помощник нужен :)
     
  • 4.30, Аноним (-), 16:10, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Раз С быстрее плюсов (и вообще, всего остального), может поправишь сишный код так, чтобы он не сливал в девять раз плюсовому?
    http://benchmarksgame.alioth.debian.org/u64q/performance.php?test=meteor

    Или расту http://benchmarksgame.alioth.debian.org/u64q/performance.php?test=fasta
    Или в полтора раза той же скале (не говоря о плюсах) http://benchmarksgame.alioth.debian.org/u64q/performance.php?test=knucleotide
    Ну или хоть не продувать тому же хацкелю в 30(!) раз?
    http://benchmarksgame.alioth.debian.org/u64q/performance.php?test=threadring


     
  • 4.32, Аноним (-), 16:11, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    а может лучше подучите плюсы и перестаните злоупотреблять ооп и шаблонами?
    школота обычно не очень отличают, например, шаблоны, которые являются скорее препроцессором, чем компилятором, от просто функций/методов, которые суть код.
    отсюда большинство проблем с производительностью.
     
  • 4.34, Crazy Alex (ok), 16:21, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Хм, а вот обратный пример: http://benchmarksgame.alioth.debian.org/u32/performance.php?test=knucleotide

    Но вообще - чем мельче задача, тем больше плюшек от низкого уровня. Чем сложнее - тем более важна хорошая архитектура, которую на чистых сях задолбаешься делать.

     

  • 1.18, Аноним (-), 15:19, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сравнения производительности с MongoDB еще нигде не засветились?
     
     
  • 2.20, Анончик (?), 15:35, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А чего там смотреть?
    Тут вон приведён график с _миллионом_ транзакций в секунду на запись.
     
     
  • 3.56, Аноним (-), 20:21, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Причём запись у них быстрее чтения
     
     
  • 4.82, Аноним (-), 00:35, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    У кассандры запись всегда была быстрее чтения
     
  • 3.70, Аноним (-), 22:54, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    На сферическом сервере в вакууме?
     
     
  • 4.91, Вареник (?), 07:33, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > На сферическом сервере в вакууме?

    На продакшн MongoDB тем более лучше не ставить.

     

  • 1.24, Hmm (??), 15:56, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    https://github.com/scylladb/scylla/wiki/Scylla-and-Cassandra-Differences

    Если писать из /dev/zero да сохранять в /dev/null, да еще и __только__ под fedora/redhat и только для intel... Верю! (с) !Станиславский.....

     
     
  • 2.46, ДяДя (?), 18:15, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >учёт попадания данных в процессорный кэш

    Супер! Отлично продемонстрирован нехороший эффект от false sharing.
    Возьмите в Java обычный AtomicLong и выровненный по линии кэша LongAdder.
    Результат будет аналогичный. И не нужно C++ использовать :-D !!!

     
     
  • 3.53, Аноним (-), 19:24, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Ну да, только там еще в рантайме потом какая-нибудь пакость с жуткой неоптимальностью вылезет и прочая. И придется половину рантайма переписать. А запоминать раскартировку грабель в таком монстре - это крындец.
     
  • 2.71, Аноним (-), 22:56, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Количество "not supported" настораживает. Бесполезная технодемка какая-то.
     

  • 1.37, Аноним (-), 16:47, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    оно умеет читать и менять ключ в одной транзакции залочив ключ или хотя бы как memcaced через CAS?


    данные там (или в кассандре) резервируются на разных серверах?
    не получится ли так что одна и та же запись есть на сервере X и на сервере Y и в какой-то момент сеть упала и какое-то приложение изменило запись на X а другое на Y а потом сеть восстановилась - что будет при этом? записи сольются? по какому правилу? или такой вариант поведения не возможен?

     
     
  • 2.40, max (??), 17:02, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    читаем доки по кассандре, не ленимся
     
     
  • 3.42, Аноним (-), 17:31, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    дружище ответь на вопросы. ПОЖАЛУЙСТА. может оно мне вообще не подходит и копать не стоит в эту сторону, а может это именно то что нужно, ты ведь знаешь ответы это ведь не трудно?
     
     
  • 4.160, arisu (ok), 22:52, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > ты ведь знаешь ответы это ведь не трудно?

    вот только ни одной причины, по которой другие должны читать документацию за тебя, ты не привёл. Отцы, значит, не ленились немного своего времени потратить, а современная хипстота уверена, что ей все вокруг обязаны.

     
  • 2.111, Аноним (-), 11:30, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Как я понял все зависит от настроек если replication_factor 1 то всегда хранит... большой текст свёрнут, показать
     
     
  • 3.177, Dmitry77 (ok), 19:04, 11/11/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Задачса с товарами - для реляционной БД.
    Cassandra менее удобна, менее стандартизирована, не транзакционна, с бедными возможностями.Недостатков много. Если есть возможность использовать реляционную  БД - её нужно использовать.
    Если у вас трилионы покупок (или хотябы миллиард), то вам возможно подойдёт кассандра и тут нужен правильный дизайн. высказывание "клиент покупает товар (X) - он помещается в первую копию (A)" не совсем понятно, копию чего?
    Если каждая запись о покупке товара - в отдельной строчке - проблем нет.
     

  • 1.45, andy (??), 18:15, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А что же скажет Изен?
     
     
  • 2.66, GrAndSE (?), 21:37, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    А можно я вместо него:

    https://github.com/scylladb/scylla/wiki/Scylla-and-Cassandra-Differences

    - несколько пунктов полюбому вызовут ощутимое просаживание быстродействия (триггеры, пермишены, опции создания таблицы, влияющие на запись)
    - у Java старый и универсальный стек для IO (Linux, Max OS X, Windows), здесь же в основе низкоуровневый фреймворк для сети, заточенный не только под одну ОС (в данный момент только RedHat Linux) да и вообще под конкретного производителя сетевого железа (Intel). И даже более того: последних поколений этого железа.

    Какой там будет прирост, если все фичи будут реализованы и запустить все это на другом железе, не ясно.

     
     
  • 3.81, Crazy Alex (ok), 23:48, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Подгонка под железо/ОС - ерунда. Не на неведомых арендованых VDS же кластер гонять. А вот насчёт фич - вопрос более серьёзный.
     

  • 1.47, Аноним (-), 18:42, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    linux only
     
     
  • 2.59, Аноним (-), 20:39, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > linux only

    Аналитические выводы с высоты дивана?

     
  • 2.65, Аноним (-), 21:33, 23/09/2015 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Как будто что-то плохое.
     
     
  • 3.84, б.б. (?), 02:28, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    вендор локин - это всегда "что-то плохое". доказанно виндой/ia32
     
     
  • 4.85, Аноним (-), 03:12, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ай-яй-яй, опять буратина пролетел со своей бздой, как фанера над парижем. Кушай-кушай, не обляпайся.
     
  • 2.148, bOOster (ok), 06:34, 28/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для любителей ПЭКЭДЖЕЙ.
     

  • 1.64, Аноним (-), 21:31, 23/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > Разница в скорости в 10 раз

    Отлично, есть ведь ещё люди...
    > собственный оптимизирванный TCP/IP-стек

    Ээээ стоп-стоп-стоп... А ну ка поподробнее - они переписали всё на плюсах и прикрутили свой TCP-стек и достигли повышения производительности *только* в 10 раз при сравнимых задержках? ДА ЭТО ЖЕ ЭПИЧНЕЙШИЙ ФЭЙЛ!!!

     
     
  • 2.93, Аноним (-), 08:48, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    https en wikipedia org wiki Data_Plane_Development_Kit Реализация ipsec без DP... большой текст свёрнут, показать
     
     
  • 3.149, bOOster (ok), 06:36, 28/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >[оверквотинг удален]
    > https://en.wikipedia.org/wiki/Data_Plane_Development_Kit
    > Реализация ipsec без DPDK - 4 Gbit.
    > Реализация на userspace - 40GBit.
    > Когда речь уже идёт о миллионах запросов (или даже пакетов) в секунду,
    > десятикратное увеличение производительности даётся очень тяжело, даже если у нас неограниченное
    > количество ядер и только 1-4 сетевых интерфейса.
    > Зацени производительность всего стека linux на сороковке и десятке:
    > https://rhsummit.files.wordpress.com/2012/03/wagner_network_perf.pdf
    > https://wiki.chipp.ch/twiki/pub/CmsTier3/NodeTypeFileServerHPDL380G7/ols2009-p
    > на роутинг 8-9 гигабит с трудом прокачивается

    Ха, отлично, зато синтетика тесты прямо ураган когда с темиже BSD сравнивают… ))))

     

  • 1.83, Аноним (-), 01:56, 24/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Эти попугаи, которых в десять раз больше - не о чем. Миллион запросов в секунду с машины они могли получить при чтении очень маленьких не меняющихся данных из кэша в ОЗУ в пределах одной стойки. Такой тест не имеет вообще ничего общего с реальной жизнью, т.е. ни о чем не говорит.
    Вполне может быть (я бы поставил на это), что на реальных задачах и паттернах использования все эти нано-оптимизации дают прирост производительности в лучшем случае в считанные проценты. Более того, код оптимизированный под один миллион попугаев в секунду может работать хуже на других более полезных в реальной жизни задачах.
    Итак, их тесты - фуфло, реальная польза от их работы неизвестна. Так-то, дорогие джавахейтеры.
     
     
  • 2.92, Аноним (-), 08:10, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Подозрительным выглядит демонстрацию тестов одного узла и отсутствие тестов кластера.
    Но архитектура там сохранена и авторы "стрелянные воробьи", прирост всё равно должен быть ощутимым.
     
  • 2.95, Аноним (-), 09:02, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Очнись, современные SSD выдают 2 5 Гбайта в секунду и 300-800 тысяч IOPS с одной... большой текст свёрнут, показать
     
     
  • 3.117, Аноним (-), 13:38, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > На java надо приложения писать а не хранилища для кластера/мейнфрейма

    Видели мы те приложения, угу. Майнкрафт запускать - ещё не всякий дектоп потянет, а кулерами начинает выть так, как будто полёт на альфу центавра считает. Или тот же vuze - торренты покачать - 3х гигов памяти как не бывало. Spark запустишь - ещё гиг-полтора долой.

    KDE столько ресурсов не жрёт, сколько одно жабье приложение.

     
  • 3.126, iZEN (ok), 22:15, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Очнись, современные SSD выдают 2.5 Гбайта в секунду и 300-800 тысяч IOPS
    > с одной железки.

    Это где такие скорости? В лабораторных условиях, разве что.
    У современных SSD 80000 IOPS - максимум.

     
     
  • 4.130, Аноним (-), 23:40, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > У современных SSD 80000 IOPS - максимум.

    А ты ынтырпрайзные SSD видал когда-нибудь? В PCI-E например втыкаемые. Они быстрые как ракета. Но правда и стоят они тоже как ракета.

     
     
  • 5.141, Aleks Revo (ok), 11:54, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    >> У современных SSD 80000 IOPS - максимум.
    > А ты ынтырпрайзные SSD видал когда-нибудь? В PCI-E например втыкаемые. Они быстрые
    > как ракета. Но правда и стоят они тоже как ракета.

    Так и сравнивать их надо с пачкой саташных "коробочек", а не с одной. Учитывая, что рейд у них уже на борту и оптимизирован под конкретное железо - "пачка коробочек" с аналогичной производительностью окажется дороже.

     
  • 2.103, Вареник (?), 10:12, 24/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Итак, их тесты - фуфло, реальная польза от их работы неизвестна. Так-то,
    > дорогие джавахейтеры.

    В тесте натянуто все. Упираются в сетевой IO, о влиянии дискового IO информации нет. Процент попаданий кэша и реалистичность запросов - информации нет.

    Фактически тест прямого доступа к сетевой карте и нового эффективного фреймворка ручного распеределения тредов и аллокаторов по ядрам.

     

  • 1.131, DD (ok), 00:25, 25/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На счет Java vs C++

    Я думаю спорить незачем. С++ дефакто к сформирован коммьюнити разработчиков.
    И за хрен знает сколько лет они так и не смогли договориться между собой буквально ни об одном стандарте до С11.

    Стандартизация есть обязательное условие для разработки проекта большим количеством людей. Стандартизация всего включая форматтинг кода.

    Это печальный факт но потребовалось чтобы одна комания (Sun) сказала будет только так как мы сказали все кому не нравится - пшли вон. И их язык стал самым популярным. При том что он сначала задумывался как язык для всего включая кофеварку (абсолютно дебильная идея) что не стало мейнстримом языка.

    К сожалению то что я прочитал в очередной раз продемонстрировало неприятие С++ программистами потребности в стандартах. Вы уже пользуетесь С11 но желание стандартизировать и унифиаировать совместную разработку это не порождает.

    Но рынок софта показал что за стандартизацией всего и вся будущее.
    Спорить об этом смысла нет.

     
     
  • 2.136, anonymous (??), 16:08, 25/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > рассуждает о Java vs C++
    > путает стандарт C++11 и C11
     
     
  • 3.143, DD (ok), 16:54, 26/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    Это никак не меняет все мои доводы.
     
  • 3.150, bOOster (ok), 06:49, 28/09/2015 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >> рассуждает о Java vs C++
    >> путает стандарт C++11 и C11

    Чем больше циферка после С++XX и CXX - тем больше языки становятся похожи друг на друга. В конце концов придут к общему знаменателю(названию).

    Вангую - щас "знатоки" вылезут будут за синтаксис языка демагогию разводить… (facepalm)

     
  • 2.161, arisu (ok), 22:55, 30/09/2015 [^] [^^] [^^^] [ответить]  
  • +/
    > Но рынок софта показал


    > Спорить об этом смысла нет.

    а вот тут согласен: о чём можно «спорить» с дешёвой глупой проституткой?

     

  • 1.134, Классический анонимус (?), 08:27, 25/09/2015 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кстати,

    Java Concurrency in 2015

    New, asynchronous "shared-nothing" platforms and APIs like Vert.x and Play / Akka and Qbit have emerged. These platforms use a different concurrency model than the standard Java / JEE concurrency model of threading, shared memory and locking. New non-blocking concurrency algorithms have been published, and new non-blocking tools like the LMax Disrupter have been added to our toolkits. New functional programming parallelism has been introduced with the Fork and Join framework in Java 7, and the collection streams API in Java 8.

    в общем, Кассандре можно тоже придать волшебного ускорительного пенделя при желании :)

     
     
  • 2.135, ДяДя (?), 10:36, 25/09/2015 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А некоторые даже почти без генерации мусора обходятся, если цель есть такая : http://vanillajava.blogspot.ru/2015/09/low-latency-fix-engine-in-java.html
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру