forum.opennet.ru - "OpenNews: Анализ архитектуры кластера Google." (28)

форумы

помощь

поиск

регистрация

майллист

ВХОД

слежка

"OpenNews: Анализ архитектуры кластера Google."

Форумы Разговоры, обсуждение новостей (Public)
Вариант для распечатки		Архивированная нить - только для чтения! Пред. тема \| След. тема
Изначальное сообщение		[Проследить за развитием треда]

"OpenNews: Анализ архитектуры кластера Google."
Сообщение от opennews on 06-Дек-05, 11:50
Александр Азаров обобщил (http://www.webplanet.ru/news/reading-room/2005/12/5/archit.html) информацию из нескольких докладов (http://labs.google.com/papers/index.html) с labs.google.com (http://labs.google.com/), которые в общих чертах описывают организацию работы поисковой системы Google. Рассказывается об общей структуре кластера и архитектуре кластерной файловой системы Google File System (http://labs.google.com/papers/gfs.html). URL: http://www.webplanet.ru/news/reading-room/2005/12/5/archit.html Новость: http://www.opennet.me/opennews/art.shtml?num=6568
Cообщить модератору \| Наверх \| ^

Оглавление

Анализ архитектуры кластера Google., gvf, 11:50 , 06-Дек-05, (1)

Анализ архитектуры кластера Google., Привет, 15:19 , 06-Дек-05, (16)

Анализ архитектуры кластера Google., BOEHKOM, 11:55 , 06-Дек-05, (2)

Анализ архитектуры кластера Google., vvvua, 12:04 , 06-Дек-05, (3)

Анализ архитектуры кластера Google., BOEHKOM, 12:13 , 06-Дек-05, (4)

Еще короче - нет., Otto Katz Feldkurat, 13:07 , 06-Дек-05, (6)

Учим матчасть!!!, oxyum, 14:10 , 06-Дек-05, (9)
Еще короче - нет., Аноним, 21:24 , 06-Дек-05, (20)
Еще короче - нет., don_oles, 23:11 , 07-Дек-05, (23)
Еще короче - нет., butcher, 11:12 , 08-Дек-05, (25)

Анализ архитектуры кластера Google., oxyum, 14:33 , 06-Дек-05, (12)

Анализ архитектуры кластера Google., Vlad, 12:18 , 06-Дек-05, (5)

Анализ архитектуры кластера Google., xen, 05:30 , 08-Дек-05, (24)

Анализ архитектуры кластера Google., xz, 13:22 , 06-Дек-05, (7)
Анализ архитектуры кластера Google., Аноним, 13:41 , 06-Дек-05, (8)

Анализ архитектуры кластера Google., Vlad, 14:21 , 06-Дек-05, (11)

Анализ архитектуры кластера Google., cadmi, 14:39 , 06-Дек-05, (13)
Анализ архитектуры кластера Google., Аноним, 08:25 , 07-Дек-05, (22)

Анализ архитектуры кластера Google., Аноним, 14:15 , 06-Дек-05, (10)

Анализ архитектуры кластера Google., sash, 14:45 , 06-Дек-05, (14)

Анализ архитектуры кластера Google., uldus, 15:05 , 06-Дек-05, (15)

Анализ архитектуры кластера Google., all_sun, 15:20 , 06-Дек-05, (17)

Анализ архитектуры кластера Google., Yuri, 16:01 , 06-Дек-05, (18)

Анализ архитектуры кластера Google., xslx, 19:13 , 06-Дек-05, (19)

Анализ архитектуры кластера Google., Аноним, 21:26 , 06-Дек-05, (21)

Анализ архитектуры кластера Google., who am i, 15:19 , 08-Дек-05, (28)

Анализ архитектуры кластера Google., who am i, 15:18 , 08-Дек-05, (27)

Анализ архитектуры кластера Google., void_empty, 15:16 , 08-Дек-05, (26)

Сообщения по теме [Сортировка по времени, UBB]

1. "Анализ архитектуры кластера Google."

Сообщение от gvf on 06-Дек-05, 11:50

анализом я бы это не назвал, скорее короткий
рассказ о...

Cообщить модератору | Наверх | ^

16. "Анализ архитектуры кластера Google."

Сообщение от Привет on 06-Дек-05, 15:19

что не говорите, а Гугл - это сила.

Cообщить модератору | Наверх | ^

2. "Анализ архитектуры кластера Google."

Сообщение от BOEHKOM on 06-Дек-05, 11:55

знатоки лицензии проясните плз, вот фраза
>На своих серверах Google использует модифицированное ядро Linux
не обязует ли открывать изменения?

Cообщить модератору | Наверх | ^

3. "Анализ архитектуры кластера Google."

Сообщение от vvvua (ok) on 06-Дек-05, 12:04

Коротко-Нет

Cообщить модератору | Наверх | ^

4. "Анализ архитектуры кластера Google."

Сообщение от BOEHKOM on 06-Дек-05, 12:13

только если они продавать это захотят? прально я понимаю суть? можно тоже коротко :)

Cообщить модератору | Наверх | ^

6. "Еще короче - нет."

Сообщение от Otto Katz Feldkurat on 06-Дек-05, 13:07

именно в этой лицензии сила Линукс.
Ни IBM, ни SGI, ни SUN не обязаны ни открывать исходники, ни платиь кому бы то ни было.
Поэтому они на Линухе, а не на Фре.

Cообщить модератору | Наверх | ^

9. "Учим матчасть!!!"

Сообщение от oxyum on 06-Дек-05, 14:10

Linux под GPL, FreeBSD под BSD.
BSD-лицензия позволяет ПОЛНОСТЬЮ закрыть исходный код. Так неоднократно делали и с FreeBSD и с PostgreSQL.
GPL требует раскрытия исходников при распространении полученного бинарника.

Cообщить модератору | Наверх | ^

20. "Еще короче - нет."

Сообщение от Аноним on 06-Дек-05, 21:24

Для слабых мозгом _оттов_ напомню что распостраняя софт используюзий BSD-License разработки - ты не обязан открывать _свои_ наработки. Под GPL - _обязан_. Хорошо это или плохо - отдельный вопрос.
PS: По крайней мере SUN и IBM на FreeBSD не меньше чем на линуксе. Только втихушку.
PPS: А вот Linksys уже не на линуксе и уже в-открытую.

Cообщить модератору | Наверх | ^

23. "Еще короче - нет."

Сообщение от don_oles (??) on 07-Дек-05, 23:11

Отто?? А ты случаем не тот "банзай", у которого интересные взгляды и мнения, и оригинальные были, но часто с реальностью не имели ничего общего?

Cообщить модератору | Наверх | ^

25. "Еще короче - нет."

Сообщение от butcher (ok) on 08-Дек-05, 11:12

>Поэтому они на Линухе, а не на Фре.
Хе.. Вот это высказывание точно необосновано. Лицензия BSD куда более лояльна в этом плане, чем GPL.

Cообщить модератору | Наверх | ^

12. "Анализ архитектуры кластера Google."

Сообщение от oxyum on 06-Дек-05, 14:33

не обязательно продавать... любое распространение...
Но использовать внутри можно не открывая исходников. Да и google кстати много чего раскрыл из своих собственных разработок.

Cообщить модератору | Наверх | ^

5. "Анализ архитектуры кластера Google."

Сообщение от Vlad (??) on 06-Дек-05, 12:18

Один из самых интересных моментов не расскрыт - какие языки программирования используются?

Cообщить модератору | Наверх | ^

24. "Анализ архитектуры кластера Google."

Сообщение от xen (??) on 08-Дек-05, 05:30

>Один из самых интересных моментов не расскрыт - какие языки программирования используются?
>

C, python

Cообщить модератору | Наверх | ^

7. "Анализ архитектуры кластера Google."

Сообщение от xz (??) on 06-Дек-05, 13:22

да кстати =)

Cообщить модератору | Наверх | ^

8. "Анализ архитектуры кластера Google."

Сообщение от Аноним on 06-Дек-05, 13:41

c++

Cообщить модератору | Наверх | ^

11. "Анализ архитектуры кластера Google."

Сообщение от Vlad (??) on 06-Дек-05, 14:21

С потолка? или есть факты?

Cообщить модератору | Наверх | ^

13. "Анализ архитектуры кластера Google."

Сообщение от cadmi on 06-Дек-05, 14:39

Фактов о том, что там наряду с С так же и python - более чем достаточно :)

Cообщить модератору | Наверх | ^

22. "Анализ архитектуры кластера Google."

Сообщение от Аноним on 07-Дек-05, 08:25

*факты*
см. публикации http://labs.google.com/papers/ -- там есть как и кусочки кода, так и просто упомянание что написано на cpp
часть портала на python (достаточно полазать по сайту)
гугл так-же участвует в разработке софта на C, такого как GCC

Cообщить модератору | Наверх | ^

10. "Анализ архитектуры кластера Google."

Сообщение от Аноним on 06-Дек-05, 14:15

>Когда пользователь вводит запрос в Google, >браузер обращается к DNS-серверу, а тот >отправляет его на один из кластеров, наиболее >близкий и наименее загруженный.
У них и DNS самописный чтоли?

Cообщить модератору | Наверх | ^

14. "Анализ архитектуры кластера Google."

Сообщение от sash (??) on 06-Дек-05, 14:45

не думаю.
Мне кажется что bind позволяет делать подобное
но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...

Cообщить модератору | Наверх | ^

15. "Анализ архитектуры кластера Google."

Сообщение от uldus (ok) on 06-Дек-05, 15:05

> но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...
Как я вижу, у них 4 DNS сервера ns[1-4].google.com, каждый из которых выдает для www.google.com разный IP, ссылаясь на один из 4-х первичных дата-центров. В зависимости от страны, google.com делает переброс на региональный домен, который обслуживает наиболее близкий дата-центр.

Cообщить модератору | Наверх | ^

17. "Анализ архитектуры кластера Google."

Сообщение от all_sun (??) on 06-Дек-05, 15:20

bind позволяет балансирвать нагрузку на несколько серверов.

Cообщить модератору | Наверх | ^

18. "Анализ архитектуры кластера Google."

Сообщение от Yuri (??) on 06-Дек-05, 16:01

балансировка же в байнде за счёт того, что на след. запрос он просто отдаст след. адрес. Т.е. одинаковое кол-во запросов уйдёт на разные сервера. Но он же не подазревает о загрузке конкретного сервера?

Cообщить модератору | Наверх | ^

19. "Анализ архитектуры кластера Google."

Сообщение от xslx on 06-Дек-05, 19:13

Бинд можно доработать для интеллектуальной балансировки.

Cообщить модератору | Наверх | ^

21. "Анализ архитектуры кластера Google."

Сообщение от Аноним on 06-Дек-05, 21:26

Да - можно. Только это будет уже не BIND. А Google как бы F5 не юзали ...

Cообщить модератору | Наверх | ^

28. "Анализ архитектуры кластера Google."

Сообщение от who am i on 08-Дек-05, 15:19

whatis "F5" ?

Cообщить модератору | Наверх | ^

27. "Анализ архитектуры кластера Google."

Сообщение от who am i on 08-Дек-05, 15:18

krome round-robin mozhno dazhe samomu prikrutit' GeoIP k BINDu cherez views, no kak nashet feedback'a po zagruzke - hz; ne budesh zhe perekonfigurirovat' kazhdyj raz view'y.... hotya... pri nalichii opredelennoj statistiki... nu, vy poniali.

Cообщить модератору | Наверх | ^

26. "Анализ архитектуры кластера Google."

Сообщение от void_empty on 08-Дек-05, 15:16

ego Dave Presotto adminit, sprosi u nego.

Cообщить модератору | Наверх | ^

Удалить

Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Анализ архитектуры кластера Google."
Сообщение от gvf on 06-Дек-05, 11:50
анализом я бы это не назвал, скорее короткий рассказ о...
Cообщить модератору \| Наверх \| ^


	16. "Анализ архитектуры кластера Google."
	Сообщение от Привет on 06-Дек-05, 15:19
	что не говорите, а Гугл - это сила.
	Cообщить модератору \| Наверх \| ^

2. "Анализ архитектуры кластера Google."
Сообщение от BOEHKOM on 06-Дек-05, 11:55
знатоки лицензии проясните плз, вот фраза >На своих серверах Google использует модифицированное ядро Linux не обязует ли открывать изменения?
Cообщить модератору \| Наверх \| ^


	3. "Анализ архитектуры кластера Google."
	Сообщение от vvvua (ok) on 06-Дек-05, 12:04
	Коротко-Нет
	Cообщить модератору \| Наверх \| ^


	4. "Анализ архитектуры кластера Google."
	Сообщение от BOEHKOM on 06-Дек-05, 12:13
	только если они продавать это захотят? прально я понимаю суть? можно тоже коротко :)
	Cообщить модератору \| Наверх \| ^


	6. "Еще короче - нет."
	Сообщение от Otto Katz Feldkurat on 06-Дек-05, 13:07
	именно в этой лицензии сила Линукс. Ни IBM, ни SGI, ни SUN не обязаны ни открывать исходники, ни платиь кому бы то ни было. Поэтому они на Линухе, а не на Фре.
	Cообщить модератору \| Наверх \| ^


	9. "Учим матчасть!!!"
	Сообщение от oxyum on 06-Дек-05, 14:10
	Linux под GPL, FreeBSD под BSD. BSD-лицензия позволяет ПОЛНОСТЬЮ закрыть исходный код. Так неоднократно делали и с FreeBSD и с PostgreSQL. GPL требует раскрытия исходников при распространении полученного бинарника.
	Cообщить модератору \| Наверх \| ^


	20. "Еще короче - нет."
	Сообщение от Аноним on 06-Дек-05, 21:24
	Для слабых мозгом _оттов_ напомню что распостраняя софт используюзий BSD-License разработки - ты не обязан открывать _свои_ наработки. Под GPL - _обязан_. Хорошо это или плохо - отдельный вопрос. PS: По крайней мере SUN и IBM на FreeBSD не меньше чем на линуксе. Только втихушку. PPS: А вот Linksys уже не на линуксе и уже в-открытую.
	Cообщить модератору \| Наверх \| ^


	23. "Еще короче - нет."
	Сообщение от don_oles (??) on 07-Дек-05, 23:11
	Отто?? А ты случаем не тот "банзай", у которого интересные взгляды и мнения, и оригинальные были, но часто с реальностью не имели ничего общего?
	Cообщить модератору \| Наверх \| ^


	25. "Еще короче - нет."
	Сообщение от butcher (ok) on 08-Дек-05, 11:12
	>Поэтому они на Линухе, а не на Фре. Хе.. Вот это высказывание точно необосновано. Лицензия BSD куда более лояльна в этом плане, чем GPL.
	Cообщить модератору \| Наверх \| ^


	12. "Анализ архитектуры кластера Google."
	Сообщение от oxyum on 06-Дек-05, 14:33
	не обязательно продавать... любое распространение... Но использовать внутри можно не открывая исходников. Да и google кстати много чего раскрыл из своих собственных разработок.
	Cообщить модератору \| Наверх \| ^

5. "Анализ архитектуры кластера Google."
Сообщение от Vlad (??) on 06-Дек-05, 12:18
Один из самых интересных моментов не расскрыт - какие языки программирования используются?
Cообщить модератору \| Наверх \| ^


	24. "Анализ архитектуры кластера Google."
	Сообщение от xen (??) on 08-Дек-05, 05:30
	>Один из самых интересных моментов не расскрыт - какие языки программирования используются? > C, python
	Cообщить модератору \| Наверх \| ^

7. "Анализ архитектуры кластера Google."
Сообщение от xz (??) on 06-Дек-05, 13:22
да кстати =)
Cообщить модератору \| Наверх \| ^

8. "Анализ архитектуры кластера Google."
Сообщение от Аноним on 06-Дек-05, 13:41
c++
Cообщить модератору \| Наверх \| ^


	11. "Анализ архитектуры кластера Google."
	Сообщение от Vlad (??) on 06-Дек-05, 14:21
	С потолка? или есть факты?
	Cообщить модератору \| Наверх \| ^


	13. "Анализ архитектуры кластера Google."
	Сообщение от cadmi on 06-Дек-05, 14:39
	Фактов о том, что там наряду с С так же и python - более чем достаточно :)
	Cообщить модератору \| Наверх \| ^


	22. "Анализ архитектуры кластера Google."
	Сообщение от Аноним on 07-Дек-05, 08:25
	факты см. публикации http://labs.google.com/papers/ -- там есть как и кусочки кода, так и просто упомянание что написано на cpp часть портала на python (достаточно полазать по сайту) гугл так-же участвует в разработке софта на C, такого как GCC
	Cообщить модератору \| Наверх \| ^

10. "Анализ архитектуры кластера Google."
Сообщение от Аноним on 06-Дек-05, 14:15
>Когда пользователь вводит запрос в Google, >браузер обращается к DNS-серверу, а тот >отправляет его на один из кластеров, наиболее >близкий и наименее загруженный. У них и DNS самописный чтоли?
Cообщить модератору \| Наверх \| ^


	14. "Анализ архитектуры кластера Google."
	Сообщение от sash (??) on 06-Дек-05, 14:45
	не думаю. Мне кажется что bind позволяет делать подобное но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...
	Cообщить модератору \| Наверх \| ^


	15. "Анализ архитектуры кластера Google."
	Сообщение от uldus (ok) on 06-Дек-05, 15:05
	> но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя... Как я вижу, у них 4 DNS сервера ns[1-4].google.com, каждый из которых выдает для www.google.com разный IP, ссылаясь на один из 4-х первичных дата-центров. В зависимости от страны, google.com делает переброс на региональный домен, который обслуживает наиболее близкий дата-центр.
	Cообщить модератору \| Наверх \| ^


	17. "Анализ архитектуры кластера Google."
	Сообщение от all_sun (??) on 06-Дек-05, 15:20
	bind позволяет балансирвать нагрузку на несколько серверов.
	Cообщить модератору \| Наверх \| ^


	18. "Анализ архитектуры кластера Google."
	Сообщение от Yuri (??) on 06-Дек-05, 16:01
	балансировка же в байнде за счёт того, что на след. запрос он просто отдаст след. адрес. Т.е. одинаковое кол-во запросов уйдёт на разные сервера. Но он же не подазревает о загрузке конкретного сервера?
	Cообщить модератору \| Наверх \| ^


	19. "Анализ архитектуры кластера Google."
	Сообщение от xslx on 06-Дек-05, 19:13
	Бинд можно доработать для интеллектуальной балансировки.
	Cообщить модератору \| Наверх \| ^


	21. "Анализ архитектуры кластера Google."
	Сообщение от Аноним on 06-Дек-05, 21:26
	Да - можно. Только это будет уже не BIND. А Google как бы F5 не юзали ...
	Cообщить модератору \| Наверх \| ^


	28. "Анализ архитектуры кластера Google."
	Сообщение от who am i on 08-Дек-05, 15:19
	whatis "F5" ?
	Cообщить модератору \| Наверх \| ^


	27. "Анализ архитектуры кластера Google."
	Сообщение от who am i on 08-Дек-05, 15:18
	krome round-robin mozhno dazhe samomu prikrutit' GeoIP k BINDu cherez views, no kak nashet feedback'a po zagruzke - hz; ne budesh zhe perekonfigurirovat' kazhdyj raz view'y.... hotya... pri nalichii opredelennoj statistiki... nu, vy poniali.
	Cообщить модератору \| Наверх \| ^


	26. "Анализ архитектуры кластера Google."
	Сообщение от void_empty on 08-Дек-05, 15:16
	ego Dave Presotto adminit, sprosi u nego.
	Cообщить модератору \| Наверх \| ^