форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка

Вариант для распечатки		Пред. тема | След. тема
Форумы Разговоры, обсуждение новостей (Public)
Изначальное сообщение		[Проследить за развитием треда]

"OpenNews: Yahoo способствует созданию открытых средств для р..."

Сообщение от opennews (??) on 15-Ноя-07, 01:13

Компания Yahoo! объявила (http://research.yahoo.com/node/1879) о создании программы по стимулированию разработки открытых средств, имеющих отношение к распределенным вычислениям. В качестве первого шага, Yahoo! позволит, разработчикам открытых проектов, например, проекта Hadoop (аналог Google File System и MapReduce), тестировать результат своей работы на высокопроизводительном кластере M45 (27 teraflops, 4,000  процессоров, 3 Тб ОЗУ, 1.5 Пб дисков), входящем в список 50 самых производительных кластеров в мире. Hadoop (http://lucene.apache.org/hadoop/) - платформа  для организации распределенных вычислений с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы "MapReduse" приложений. Система создана как субпроект поискового механизма Apache Lucene. URL: http://research.yahoo.com/node/1879 Новость: http://www.opennet.me/opennews/art.shtml?num=12778

Высказать мнение | Ответить | Правка | Cообщить модератору

Сообщения по теме

[Сортировка по времени | RSS]

1. "Yahoo способствует созданию открытых средств для распределен..."

Сообщение от johnjoy (??) on 15-Ноя-07, 01:13

да, hadoop весьма спецефичен и пока не способен решать весь спектр задач yahoo (а они его поддерживают чуть ли не с рождения) причем дело не только и не столько в реализации (а написан hadoop весьма красиво), сколько в концепциях map/reduce и bigtable (а до нормальной реализации второй в рамках hadoop имхо нужен еще годик), весьма узкоспециализированных. ну и в силу этих, а так же трудоемкости, сообщество разработчиков hadoop весьма медленно. таким макаром yahoo ищет себе же инструменты, - отличный вариант сотрудничества, на мой взгляд. хотя проектов, нуждающихся в таковом тестовом комплексе, негусто, так что ход во многом рекламный. > Система создана как субпроект поискового механизма Apache Lucene. а вот это не совсем так. lucene, nutch и hadoop созданы одним человеком, работают под одним проектом верхнего уровня apache, однако изначально hadoop никак не связан с первыми двумя. встречаются они только в проекте nutch, но и там внедрение hadoop произошло на достаточно поздних стадиях, когда все уже и так хорошо работало.

Высказать мнение | Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить	Индекс форумов | Темы | Пред. тема | След. тема
Оцените тред (1=ужас, 5=супер)? [ 1 | 2 | 3 | 4 | 5 ] [Рекомендовать для помещения в FAQ]