The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Анализ архитектуры кластера Google.

06.12.2005 10:19

Александр Азаров обобщил информацию из нескольких докладов с labs.google.com, которые в общих чертах описывают организацию работы поисковой системы Google.

Рассказывается об общей структуре кластера и архитектуре кластерной файловой системы Google File System.

  1. Главная ссылка к новости (http://www.webplanet.ru/news/r...)
  2. Papers written by Googlers
  3. OpenNews: Как много серверов обслуживают Google
  4. The Anatomy of a Large-Scale Hypertextual Web Search Engine
  5. OpenNews: Как устроены дата-центры Google
  6. The Google Cluster Architecture
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/6568-search
Ключевые слова: search, cluster
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (28) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, gvf (?), 11:50, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    анализом я бы это не назвал, скорее короткий
    рассказ о...
     
     
  • 2.16, Привет (?), 15:19, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    что не говорите, а Гугл - это сила.
     

  • 1.2, BOEHKOM (?), 11:55, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    знатоки лицензии проясните плз, вот фраза
    >На своих серверах Google использует модифицированное ядро Linux

    не обязует ли открывать изменения?

     
     
  • 2.3, vvvua (ok), 12:04, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Коротко-Нет
     
     
  • 3.4, BOEHKOM (?), 12:13, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    только если они продавать это захотят? прально я понимаю суть? можно тоже коротко :)
     
     
  • 4.6, Otto Katz Feldkurat (?), 13:07, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    именно в этой лицензии сила Линукс.

    Ни IBM, ни SGI, ни SUN не обязаны ни открывать исходники, ни платиь кому бы то ни было.

    Поэтому они на Линухе, а не на Фре.

     
     
  • 5.9, oxyum (?), 14:10, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Linux под GPL, FreeBSD под BSD.

    BSD-лицензия позволяет ПОЛНОСТЬЮ закрыть исходный код. Так неоднократно делали и с FreeBSD и с PostgreSQL.

    GPL требует раскрытия исходников при распространении полученного бинарника.

     
  • 5.20, Аноним (-), 21:24, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Для слабых мозгом _оттов_ напомню что распостраняя софт используюзий BSD-License разработки - ты не обязан открывать _свои_ наработки. Под GPL - _обязан_. Хорошо это или плохо - отдельный вопрос.

    PS: По крайней мере SUN и IBM на FreeBSD не меньше чем на линуксе. Только втихушку.

    PPS: А вот Linksys уже не на линуксе и уже в-открытую.

     
  • 5.23, don_oles (??), 23:11, 07/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Отто?? А ты случаем не тот "банзай", у которого интересные взгляды и мнения, и оригинальные были, но часто с реальностью не имели ничего общего?
     
  • 5.25, butcher (ok), 11:12, 08/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Поэтому они на Линухе, а не на Фре.

    Хе.. Вот это высказывание точно необосновано. Лицензия BSD куда более лояльна в этом плане, чем GPL.

     
  • 4.12, oxyum (?), 14:33, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    не обязательно продавать... любое распространение...

    Но использовать внутри можно не открывая исходников. Да и google кстати много чего раскрыл из своих собственных разработок.

     

  • 1.5, Vlad (??), 12:18, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Один из самых интересных моментов не расскрыт - какие языки программирования используются?
     
     
  • 2.24, xen (??), 05:30, 08/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    >Один из самых интересных моментов не расскрыт - какие языки программирования используются?
    >


    C, python

     

  • 1.7, xz (??), 13:22, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    да кстати =)
     
  • 1.8, Аноним (-), 13:41, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    c++
     
     
  • 2.11, Vlad (??), 14:21, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    С потолка? или есть факты?
     
     
  • 3.13, cadmi (?), 14:39, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Фактов о том, что там наряду с С так же и python - более чем достаточно :)
     
  • 3.22, Аноним (-), 08:25, 07/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    *факты*
    см. публикации http://labs.google.com/papers/  -- там есть как и кусочки кода, так и просто упомянание что написано на cpp

    часть портала на python (достаточно полазать по сайту)

    гугл так-же участвует в разработке софта на C, такого как GCC

     

  • 1.10, Аноним (-), 14:15, 06/12/2005 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    >Когда пользователь вводит запрос в Google, >браузер обращается к DNS-серверу, а тот >отправляет его на один из кластеров, наиболее >близкий и наименее загруженный.

    У них и DNS самописный чтоли?

     
     
  • 2.14, sash (??), 14:45, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    не думаю.

    Мне кажется что bind позволяет делать подобное

    но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...

     
     
  • 3.15, uldus (ok), 15:05, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    > но похоже что ns-ы гугла просто отдают каждый раз разные IP адреса, а не менне нагруженные. хотя, хотя...

    Как я вижу, у них 4 DNS сервера ns[1-4].google.com, каждый из которых выдает для www.google.com разный IP, ссылаясь на один из 4-х первичных дата-центров. В зависимости от страны, google.com делает переброс на региональный домен, который обслуживает наиболее близкий дата-центр.

     
  • 2.17, all_sun (??), 15:20, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    bind позволяет балансирвать нагрузку на несколько серверов.
     
     
  • 3.18, Yuri (??), 16:01, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    балансировка же в байнде за счёт того, что на след. запрос он просто отдаст след. адрес. Т.е. одинаковое кол-во запросов уйдёт на разные сервера. Но он же не подазревает о загрузке конкретного сервера?
     
     
  • 4.19, xslx (?), 19:13, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Бинд можно доработать для интеллектуальной балансировки.
     
     
  • 5.21, Аноним (-), 21:26, 06/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    Да - можно. Только это будет уже не BIND. А Google как бы F5 не юзали ...
     
     
  • 6.28, who am i (?), 15:19, 08/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    whatis "F5" ?
     
  • 4.27, who am i (?), 15:18, 08/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    krome round-robin mozhno dazhe samomu prikrutit' GeoIP k BINDu cherez views, no kak nashet feedback'a po zagruzke - hz; ne budesh zhe perekonfigurirovat' kazhdyj raz view'y.... hotya... pri nalichii opredelennoj statistiki... nu, vy poniali.
     
  • 2.26, void_empty (?), 15:16, 08/12/2005 [^] [^^] [^^^] [ответить]  
  • +/
    ego Dave Presotto adminit, sprosi u nego.
     
     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру