The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

GridGain 2.0 для обработки распределенных данных

14.03.2008 10:13

Последняя версия GridGain - Open Source грида, основанного на Java поддерживает балансировку нагрузки и обработку распределенных данных. GridGain Systems недавно выпустила версию 2.0 - продукта который так же реализовал так называемый "work stealing" функциональность по динамическому перераспределению задач с наиболее загруженных нодов на наименее.

Основанный на SPI архитектуре GridGain позволяет расширять функциональность без изменения ядра системы, что делает возможным реализацию новых концепций (в том числе и пользовательских) очень простой.

Балансировка нагрузки имеет несколько стратегий в том числе: Round Robin (по умолчанию), адаптивная и привязанная к данным (co-locative) балансировка, позволяющая избежать пересылки больших данных по сети. Так же поставляется балансировщик нагрузки для Oracle Coherence и JBoss cache направляющий задачи на ноды с где хранятся необходимые данные.

"Work stealing" работает по принципу динамического перераспределения задач между нодами грида (передавая их с перегруженных нодов в гриде на наименее загруженные). Этот SPI так же как и другие поддерживает отказоустойчивость и управляемое выполнение задач на гриде. Изначальная идея "work stealing" основывается на Fork/Join предложенным Doug Lea и запланированными на Java SE 7. Эта функциональность может использоваться чтобы избежать "зависания" задач на слабых нодах.

Работая с большими объемами данных необходимо избегать пересылки их по сети с ноды на ноду. GridGain предоставляет следующую функциональнось для оптимизации работы с большим объемом данных:

  • Co-location балансировщик нагрузки позволяет привязывать задачи к обрабатываемым данным и выполнять их на тех нодах где находятся данные
  • Сегментация грида на группы, которые работают со своими задачами, что позволяет при необходимости реализовать концепцию master/worker
  • Сохранение промежуточных результатов вычислений, что необходимо при выполнении длительных задач и позволяет продолжить вычисления с последней "сохраненной" точки. Релиз так же включает в себя следующую новую функциональность:
  • Мониторинг: GridGain позволяет получать различную информацию о нодах, такую как использование памяти или процессора, количество выполняемых задач на ноде и другую
  • IOC: GridGain поддерживает возможность определения пользовательских ресурсов (таких как JDBC соединение или Spring бины в runtime)
  • Контекст выполнения задачи позволяет подзадачам обмениваться информацией
<>GridGain интегрируется со многими open source и коммерческими продуктами, такими как JUnit, AspectJ, Spring, JBoss & JGroups, GlassFish, WebLogic, WebSphere, pCoherence, Mule, JXInsight, and GigaSpaces.

Также GridGain поддерживает распределенное выполнение JUnit тестов как версии 3 так и 4 что значительно сокращает время их выполнения. Распределенный тест конфигурируется буквально одной аннотацией @GridifyTest. Это полезно при выполнении большого количества тестов (например ночные билды и интеграционные тесты) которые обычно занимают очень длительное время.

  1. Главная ссылка к новости (http://www.infoq.com/news/2008...)
Автор новости: dns
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/14715-grid
Ключевые слова: grid, cluster, java
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (4) RSS
  • 1, usr (?), 12:33, 14/03/2008 [ответить]  
  • +/
    Скорее "для распределенной обработки данных".
     
  • 2, Аноним (-), 12:40, 14/03/2008 [ответить]  
  • +/
    И вообще это вычислительный грид которому все равно что обрабатывать хоть данные хоть вычисления выполнять
     
  • 3, Федор (?), 08:46, 15/03/2008 [ответить]  
  • +/
    Где бы научиться применять эту штуку?
    И еще, а где учат ей пользоваться и устанавливать?
     
     
  • 4, Аноним (-), 12:01, 15/03/2008 [^] [^^] [^^^] [ответить]  
  • +/
    На их сайте все есть и демо ролики и wiki с описаниями и javadoc и исходники. Там все очень просто - скачиваешь запускаешь и работает
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру