Компания Yahoo! объявила (http://research.yahoo.com/node/1879) о создании программы по стимулированию разработки открытых средств, имеющих отношение к распределенным вычислениям.
В качестве первого шага, Yahoo! позволит, разработчикам открытых проектов, например, проекта Hadoop (аналог Google File System и MapReduce), тестировать результат своей работы на высокопроизводительном кластере M45 (27 teraflops, 4,000 процессоров, 3 Тб ОЗУ, 1.5 Пб дисков), входящем в список 50 самых производительных кластеров в мире.
Hadoop (http://lucene.apache.org/hadoop/) - платформа для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene.
URL: http://research.yahoo.com/node/1879
Новость: http://www.opennet.me/opennews/art.shtml?num=12778
да, hadoop весьма спецефичен и пока не способен решать весь спектр задач yahoo (а они его поддерживают чуть ли не с рождения)
причем дело не только и не столько в реализации (а написан hadoop весьма красиво), сколько в концепциях map/reduce и bigtable (а до нормальной реализации второй в рамках hadoop имхо нужен еще годик), весьма узкоспециализированных.
ну и в силу этих, а так же трудоемкости, сообщество разработчиков hadoop весьма медленно.таким макаром yahoo ищет себе же инструменты, - отличный вариант сотрудничества, на мой взгляд.
хотя проектов, нуждающихся в таковом тестовом комплексе, негусто, так что ход во многом рекламный.> Система создана как субпроект поискового механизма Apache Lucene.
а вот это не совсем так. lucene, nutch и hadoop созданы одним человеком, работают под одним проектом верхнего уровня apache, однако изначально hadoop никак не связан с первыми двумя. встречаются они только в проекте nutch, но и там внедрение hadoop произошло на достаточно поздних стадиях, когда все уже и так хорошо работало.