URL: https://www.opennet.me/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 12924
[ Назад ]

Исходное сообщение
"OpenNews: Анализ архитектуры кластера Google."

Отправлено opennews , 06-Дек-05 11:50 
Александр Азаров обобщил (http://www.webplanet.ru/news/reading-room/2005/12/5/archit.html) информацию из нескольких докладов (http://labs.google.com/papers/index.html) с labs.google.com (http://labs.google.com/), которые в общих чертах описывают организацию работы поисковой системы Google.


Рассказывается об общей структуре кластера и архитектуре кластерной файловой системы Google File System (http://labs.google.com/papers/gfs.html).


URL: http://www.webplanet.ru/news/reading-room/2005/12/5/archit.html
Новость: http://www.opennet.me/opennews/art.shtml?num=6568


Содержание

Сообщения в этом обсуждении
"Анализ архитектуры кластера Google."
Отправлено gvf , 06-Дек-05 11:50 
анализом я бы это не назвал, скорее короткий
рассказ о...

"Анализ архитектуры кластера Google."
Отправлено Привет , 06-Дек-05 15:19 
что не говорите, а Гугл - это сила.

"Анализ архитектуры кластера Google."
Отправлено BOEHKOM , 06-Дек-05 11:55 
знатоки лицензии проясните плз, вот фраза
>На своих серверах Google использует модифицированное ядро Linux

не обязует ли открывать изменения?


"Анализ архитектуры кластера Google."
Отправлено vvvua , 06-Дек-05 12:04 
Коротко-Нет

"Анализ архитектуры кластера Google."
Отправлено BOEHKOM , 06-Дек-05 12:13 
только если они продавать это захотят? прально я понимаю суть? можно тоже коротко :)

"Еще короче - нет."
Отправлено Otto Katz Feldkurat , 06-Дек-05 13:07 
именно в этой лицензии сила Линукс.

Ни IBM, ни SGI, ни SUN не обязаны ни открывать исходники, ни платиь кому бы то ни было.

Поэтому они на Линухе, а не на Фре.


"Учим матчасть!!!"
Отправлено oxyum , 06-Дек-05 14:10 
Linux под GPL, FreeBSD под BSD.

BSD-лицензия позволяет ПОЛНОСТЬЮ закрыть исходный код. Так неоднократно делали и с FreeBSD и с PostgreSQL.

GPL требует раскрытия исходников при распространении полученного бинарника.


"Еще короче - нет."
Отправлено Аноним , 06-Дек-05 21:24 
Для слабых мозгом _оттов_ напомню что распостраняя софт используюзий BSD-License разработки - ты не обязан открывать _свои_ наработки. Под GPL - _обязан_. Хорошо это или плохо - отдельный вопрос.

PS: По крайней мере SUN и IBM на FreeBSD не меньше чем на линуксе. Только втихушку.

PPS: А вот Linksys уже не на линуксе и уже в-открытую.


"Еще короче - нет."
Отправлено don_oles , 07-Дек-05 23:11 
Отто?? А ты случаем не тот "банзай", у которого интересные взгляды и мнения, и оригинальные были, но часто с реальностью не имели ничего общего?

"Еще короче - нет."
Отправлено butcher , 08-Дек-05 11:12 
>Поэтому они на Линухе, а не на Фре.

Хе.. Вот это высказывание точно необосновано. Лицензия BSD куда более лояльна в этом плане, чем GPL.


"Анализ архитектуры кластера Google."
Отправлено oxyum , 06-Дек-05 14:33 
не обязательно продавать... любое распространение...

Но использовать внутри можно не открывая исходников. Да и google кстати много чего раскрыл из своих собственных разработок.


"Анализ архитектуры кластера Google."
Отправлено Vlad , 06-Дек-05 12:18 
Один из самых интересных моментов не расскрыт - какие языки программирования используются?

"Анализ архитектуры кластера Google."
Отправлено xen , 08-Дек-05 05:30 
>Один из самых интересных моментов не расскрыт - какие языки программирования используются?
>


C, python


"Анализ архитектуры кластера Google."
Отправлено xz , 06-Дек-05 13:22 
да кстати =)

"Анализ архитектуры кластера Google."
Отправлено Аноним , 06-Дек-05 13:41 
c++

"Анализ архитектуры кластера Google."
Отправлено Vlad , 06-Дек-05 14:21 
С потолка? или есть факты?

"Анализ архитектуры кластера Google."
Отправлено cadmi , 06-Дек-05 14:39 
Фактов о том, что там наряду с С так же и python - более чем достаточно :)

"Анализ архитектуры кластера Google."
Отправлено Аноним , 07-Дек-05 08:25 
*факты*
см. публикации http://labs.google.com/papers/  -- там есть как и кусочки кода, так и просто упомянание что написано на cpp

часть портала на python (достаточно полазать по сайту)

гугл так-же участвует в разработке софта на C, такого как GCC


"Анализ архитектуры кластера Google."
Отправлено Аноним , 06-Дек-05 14:15 
>Когда пользователь вводит запрос в Google, >браузер обращается к DNS-серверу, а тот >отправляет его на один из кластеров, наиболее >близкий и наименее загруженный.

У них и DNS самописный чтоли?


"Анализ архитектуры кластера Google."
Отправлено sash , 06-Дек-05 14:45 
не думаю.

Мне кажется что bind позволяет делать подобное

но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...


"Анализ архитектуры кластера Google."
Отправлено uldus , 06-Дек-05 15:05 
> но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...

Как я вижу, у них 4 DNS сервера ns[1-4].google.com, каждый из которых выдает для www.google.com разный IP, ссылаясь на один из 4-х первичных дата-центров. В зависимости от страны, google.com делает переброс на региональный домен, который обслуживает наиболее близкий дата-центр.


"Анализ архитектуры кластера Google."
Отправлено all_sun , 06-Дек-05 15:20 
bind позволяет балансирвать нагрузку на несколько серверов.

"Анализ архитектуры кластера Google."
Отправлено Yuri , 06-Дек-05 16:01 
балансировка же в байнде за счёт того, что на след. запрос он просто отдаст след. адрес. Т.е. одинаковое кол-во запросов уйдёт на разные сервера. Но он же не подазревает о загрузке конкретного сервера?

"Анализ архитектуры кластера Google."
Отправлено xslx , 06-Дек-05 19:13 
Бинд можно доработать для интеллектуальной балансировки.

"Анализ архитектуры кластера Google."
Отправлено Аноним , 06-Дек-05 21:26 
Да - можно. Только это будет уже не BIND. А Google как бы F5 не юзали ...

"Анализ архитектуры кластера Google."
Отправлено who am i , 08-Дек-05 15:19 
whatis "F5" ?

"Анализ архитектуры кластера Google."
Отправлено who am i , 08-Дек-05 15:18 
krome round-robin mozhno dazhe samomu prikrutit' GeoIP k BINDu cherez views, no kak nashet feedback'a po zagruzke - hz; ne budesh zhe perekonfigurirovat' kazhdyj raz view'y.... hotya... pri nalichii opredelennoj statistiki... nu, vy poniali.

"Анализ архитектуры кластера Google."
Отправлено void_empty , 08-Дек-05 15:16 
ego Dave Presotto adminit, sprosi u nego.