Yahoo способствует созданию открытых средств для распределенных вычислений

14.11.2007 16:27

Компания Yahoo! объявила о создании программы по стимулированию разработки открытых средств, имеющих отношение к распределенным вычислениям.

В качестве первого шага, Yahoo! позволит, разработчикам открытых проектов, например, проекта Hadoop (аналог Google File System и MapReduce), тестировать результат своей работы на высокопроизводительном кластере M45 (27 teraflops, 4,000 процессоров, 3 Тб ОЗУ, 1.5 Пб дисков), входящем в список 50 самых производительных кластеров в мире.

Hadoop - платформа для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene.

исправить +/–

Главная ссылка к новости (http://research.yahoo.com/node...)

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/12778-yahoo

Ключевые слова: yahoo, cluster

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (1)

RSS

1, johnjoy (??), 01:13, 15/11/2007 [ответить]

+/–

да, hadoop весьма спецефичен и пока не способен решать весь спектр задач yahoo (а они его поддерживают чуть ли не с рождения)
причем дело не только и не столько в реализации (а написан hadoop весьма красиво), сколько в концепциях map/reduce и bigtable (а до нормальной реализации второй в рамках hadoop имхо нужен еще годик), весьма узкоспециализированных.
ну и в силу этих, а так же трудоемкости, сообщество разработчиков hadoop весьма медленно.

таким макаром yahoo ищет себе же инструменты, - отличный вариант сотрудничества, на мой взгляд.
хотя проектов, нуждающихся в таковом тестовом комплексе, негусто, так что ход во многом рекламный.

> Система создана как субпроект поискового механизма Apache Lucene.

а вот это не совсем так. lucene, nutch и hadoop созданы одним человеком, работают под одним проектом верхнего уровня apache, однако изначально hadoop никак не связан с первыми двумя. встречаются они только в проекте nutch, но и там внедрение hadoop произошло на достаточно поздних стадиях, когда все уже и так хорошо работало.

Добавить комментарий

Текст: