Компания LexisNexis выполнила (http://hpccsystems.com/about-us/press_center/press_releases/... своё обещание и открыла исходные тексты проекта HPCC (http://hpccsystems.com/) (High Performance Computing Cluster), предназначенного для создания кластеров для обработки большого объема данных (петабайты). Код проекта открыт (https://github.com/hpcc-systems) под лицензией AGPLv3 (http://ru.wikipedia.org/wiki/GNU_Affero_General_Public_Licen... требующей открытия всех изменений в случае использования продукта для обеспечения работы сетевых сервисов. Кроме кода подготовлены (http://hpccsystems.com/download/free-community-edition) тестовые бинарные сборки Community-версии HPCC для CentOS, Red Hat, Ubuntu и SUSE Linux.Проект HPCC написан на языке C++ и конкурирует платформой Hadoop (http://hadoop.apache.org/), написанной на языке Java. HPCC отличается значительно более высокой производительностью при отличном уровне надежности - связанные с HPCC продукты LexisNexi...
URL: http://hpccsystems.com/about-us/press_center/press_releases/...
Новость: http://www.opennet.me/opennews/art.shtml?num=31751
открытый конкурент Hadoop это хорошо - конкуренция двигает прогресс )))
После второй мировой войны, Япония приняла решение что конкуренция- это плохо. Внутренний рынок был поделен между кланами, так чтобы конкуренция существовала только между Японией и внешним миром.
Современная Япония - лидер в технологиях.
Советский Союз - был мировым лидером в военных и космических технологиях.Вся из себя конкурирующая сама с собой Европа - неочем...
Вся из себя конкурирующая сама с собой Америка - развивает технологии и живет за счет ОГРОМНОГО внешнего долга...Вактически америка живет на иждивении у всего остального мира, тоесть за счет всех зон не обеспеченного ничем доллара.
А где об этом можно почитать?
Бла-бла. Только вот американцы почему-то первые и последние были на Луне.
> Бла-бла. Только вот американцы почему-то первые и последние были на Луне."Бла-бла" - было достаточно чтобы продемонстрировать ваше незнание предмета.
А еще они первые и последние использовали атомное оружие на мирных жителях...
> открытый конкурент Hadoop это хорошо - конкуренция двигает прогресс )))Прокомменитируйте пожалуста вот эту цитату:
"
Интересно, что в конце своей книги "Международная конкуренция" М.Портер признает, что его идеи и выводы о пользе "жесткой конкуренции" противоречат подходам экономистов и властей в Великобритании, Швеции, Японии и некоторых других странах [25]. Обратим внимание: страны – то он назвал не какие-нибудь отсталые, а передовые, постиндустриальные. Предупреждая о том, что замедление процессов конкуренции делает неустойчивыми блестящие перспективы Европы, М.Портер тридцать лет назад видимо даже не предполагал того, что первый глобальный экономический кризис в истории человечества начнется именно с "жестко конкурентной" американской экономики. А надо было бы.
"
Подскажите пожалуйста, а этой системой можно обрабатывать данные в процессе их генерации? Например, у нас есть некоторый стенд, данные с которого необходимо обрабатывать во время работы стенда.Пока чтение сайта http://hpccsystems.com/ ясности в этом вопросе для меня не добавило. Возможно кто-нибудь окажется более внимательным и сможет помочь мне найти ответ на этот вопрос.
Задача поставлена мощно. У нас есть масорубка (ручная), нужно посчитать количество оборотов в секунду. Кто сможет? За 100 баксов?
> масорубкамясорубка.
Точность подсчета не менее +-2 оборота.
> мясорубка.
> Точность подсчета не менее +-2 оборота.Да фигня вопрос: желаемую периодичность выдачи результата вы не указали :). Поэтому реализатору можно например мерять обороты ровно 1 минуту, копеечным оптодатчиком (типа того как в мышах) прицепленным к любому микроконтроллеру. С фирмварой в стиле hello world. Такое на коленке сгородит даже пионер. А в каком городе 100 баксов за такую ерунду выдают? Не боитесь что к вам толпа ардуинщиков выстроится в очередь за стольниками? :)
Решаете задачу в лоб. Сколько за секунду можно сделать оборотов? При точности +-2 можно и на глаз посчитать без всяких оптодатчиков. Я хотел показать абсурдность ТЗ.
> Задача поставлена мощно. У нас есть масорубка (ручная), нужно посчитать количество оборотов в секунду. Кто сможет? За 100 баксов?А в чем собственно проблема? Терафлопс 10+ для расчетов у меня есть, сетевая инфраструктура для передачи данных есть, хранилища найдем, стенд - источник данных тоже в наличии.
А суть вопроса в том, что у нас есть своя разработка, которая эту задачу ("реалтаймовой" обработки генерируемых данных) частично решает, но так как открыт мощный инструмент для высокопроизводительных вычислений, то грех не поинтересоваться подходит ли он для решаемого нами класса задач, хотя-бы чтобы сравнить эффективность своей разработки и разработки других коллективов.
P.S. "реалтаймовой" в кавычках по тому, что гарантий реального времени у нас нет, но этот термин наиболее близкий по смыслу применительно к нашей задаче.
напиши им на формум или разверни систему и затести ;)
> ? За 100 баксов?Рискуете нарваться на то что кто-нить притащит оптический датчик оборотов и замеряет. Сто баксов за 1 замер слупить - поди хреново?! :)
Если он притащит этот датчик с "Терафлопс 10+" на борту для замера количества оборотов в секунду ручной мясорубки с погрешностью +-2 оборота - нужно будет его в книгу рекордов гиннеса занести. Угадай в какую категорию.
> Если он притащит этот датчик с "Терафлопс 10+" на борту для замера количества оборотов в секунду ручной мясорубки с погрешностью +-2 оборота - нужно будет его в книгу рекордов гиннеса занести. Угадай в какую категорию.Боюсь Вас разочаровать, но калибровка метода расчета (а у него порядка 10 параметров) именно так и происходит. На вращающемся объекте (ибо вот какое дело, параметры вращения калибровочного объекта можно определить со значительной точностью, и сравнивать с тем, что рассчитал метод). Правда считает это не весь кластер, а только один узел.
> У нас есть масорубка (ручная)Надеюсь, ошибка во второй букве, а не в пропущенной в 3(4) позиции еще одной "с" :)
Иначе это что-то вроде "стиральной машины", которая работает здесь, а "стирает" - на полигоне в Тихом океане :)
Теоретически, НРСС нет разницы, генерируются данные на лету или он молотит заранее подготовленные данные. Вопрос эффективности упирается в то, как данные будут подаваться: хватит ли пропускной способности вашей системы, чтобы употреблять их налету, без задержек и будут ли они генерироваться достаточно быстро, чтобы кластер не простаивал в ожидании очередной порции информации.