The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Архитектура проекта LiveJournal

10.04.2008 09:07

Иван Блинков подготовил материал по архитектуре ресурса LiveJournal, обеспечивающего работу более 15 миллионов блогов, из которых 500 тыс. являются постоянно обновляемыми.

Для поддержания инфраструктуры используется более сотни серверов, работающих под управлением Debian GNU/Linux (Sarge). Используемые программные решения:

  • Скрипты написаны на Perl, для работы задействован mod_perl;
  • Базовый HTTP сервер Apache, в качестве легкого web-сервера для отдачи статики несколько лет назад использовался TUX/thttpd;
  • СУБД кластер из реплицированных серверов MySQL 4.0/4.1, таблицы в основном InnoDB;
  • Perlbal - высокопроизводительный http-сервер, прокси и балансировщик нагрузки, написанный на Perl;
  • Распределенная файловая система MogileFS, реализованная на уровне многоплатформенного приложения на Perl. Присутствуют операции создания файла (путь к файлу представляет собой множество ключей в рамках заданных доменов, информация о файлах хранится в MySQL базе) и его чтения (т.е. пригодна для решения задач, когда нужно один раз создать файл, а потом многократно его читать, модификация файла производится только путем полной перезаписи). Для каждого файла задается его класс, определяющий на какое число соседних машин от будет реплицирован. Отлично подходит для создания распределенных web-проектов и как средство создания высоконадежного хранилища данных, не прибегая к использованию RAID. Доступ пользовательских приложений к ФС осуществляется посредством HTTP запросов (PUT/GET) или через использования виртуального NFS тома.
  • Распределенной система кэширования объектов в оперативной памяти - memcached, на каждом из серверов установлено максимально возможный объем ОЗУ, который задействован в распределенной системе кэширования;
  • Система удаленного выполнения процедур - Gearman. Негарантированная успешность выполнения операции компенсируется сверхвысокой производительностью, при необходимости более надежного выполнения операций используется менее производительная библиотека TheShwartz;
  • Система резервного копирования Brackup;
  • OpenID сервер Net-OpenID-Server;
  • Система темплейтов - BML;
  • Jabber/XMPP-сервер djabberd написанный на Perl, при тестировании справившийся с нагрузкой в 300 тысяч одновременных соединений, израсходовав при этом всего 1Гб ОЗУ.

    1. Главная ссылка к новости (http://www.insight-it.ru/net/s...)
    2. OpenNews: Проект LiveJournal.com изнутри.
    3. OpenNews: Архитектура Digg.com
    4. OpenNews: Архитектура YouTube
    5. OpenNews: Перевод статьи про архитектуру интернет-магазина Amazon.com
    6. OpenNews: Архитектура Flickr
    Лицензия: CC BY 3.0
    Короткая ссылка: https://opennet.ru/15223-livejournal
    Ключевые слова: livejournal, hiload, perl, linux
    При перепечатке указание ссылки на opennet.ru обязательно


    Обсуждение (12) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 09:55, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    какое благозвучное название "MogileFS" :) а так, вообще - интересное решение
     
  • 1.2, Аноним (-), 09:56, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Да уже устарела новость. Давным-давно уже выкладывали эту архитектуру.
     
  • 1.3, qwerty (??), 10:29, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    да, бородатый боян уже.
     
  • 1.4, Аноним (4), 10:47, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    ну не всеже видели... с того времени новые люди появились
     
  • 1.8, Аноним (8), 19:10, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Интересно, а эти магнаты помогают баблом проекту Debian? А то помнится, дебиановцы  мяко намекнули на жадность некоторый "бизнес-проектов".
     
     
  • 2.9, kost BebiX (?), 22:35, 10/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Интересно, а эти магнаты помогают баблом проекту Debian? А то помнится, дебиановцы
    > мяко намекнули на жадность некоторый "бизнес-проектов".

    мне кажется, что если бы помогали - они бы об этом кричали во всю :-)

     

  • 1.10, guest (??), 23:06, 10/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вот когда их "архи-тектура" станет поддерживать TLS в джаббере - тогда и поверю в их масштабируемость: а то их саппорт плакал и утирал сопли мол не можем обеспечить безопасность - всё колом встаёт.
     
     
  • 2.11, kost BebiX (?), 23:10, 10/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Вот когда их "архи-тектура" станет поддерживать TLS в джаббере - тогда и
    >поверю в их масштабируемость: а то их саппорт плакал и утирал
    >сопли мол не можем обеспечить безопасность - всё колом встаёт.

    В плане юзабилити - ЖЖ вообще один из самых [censured] сервисов, которые я когда-либо видел :-) Так что не в этом соль)

     
     
  • 3.17, nuclight (ok), 10:48, 14/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >>Вот когда их "архи-тектура" станет поддерживать TLS в джаббере - тогда и
    >>поверю в их масштабируемость: а то их саппорт плакал и утирал
    >>сопли мол не можем обеспечить безопасность - всё колом встаёт.
    >
    >В плане юзабилити - ЖЖ вообще один из самых [censured] сервисов, которые
    >я когда-либо видел :-) Так что не в этом соль)

    Чего? В плане юзабилити у ЖЖ 0 один из наилучших интерфейсов по web вообще, всяческие liveinternet.ru и прочие wordpress'ы и рядом не валялись.

    Ну, по крайней мере пару лет назад, пока СУП & Co. фичи не начали закрывать...

     

  • 1.13, Geol (?), 01:18, 11/04/2008 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Цитата:
    Не читайте это, оно никакого отношения к сегодняшнему ЖЖ не имеет. Более того, то, что описано как "достоинства", на самом деле - бред воспаленного воображения американских школьников. Я знаю, о чем пишу, я - один из архитекторов ЖЖ.  
    http://forum.sysfaq.ru/index.php?showtopic=4326
     
     
  • 2.14, Аноним (-), 09:31, 11/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Цитата:
    >Не читайте это, оно никакого отношения к сегодняшнему ЖЖ не имеет. Более
    >того, то, что описано как "достоинства", на самом деле - бред
    >воспаленного воображения американских школьников. Я знаю, о чем пишу, я -
    >один из архитекторов ЖЖ.

    Статья написана по мотивам выступления Brad Fitzpatrick на конференции в Токио в прошлом году. За пол года СУПовцы не могли глобально все поменять.

     
  • 2.16, sarmat (??), 12:47, 12/04/2008 [^] [^^] [^^^] [ответить]  
  • +/
    >Цитата:
    >Не читайте это, оно никакого отношения к сегодняшнему ЖЖ не имеет. Более
    >того, то, что описано как "достоинства", на самом деле - бред
    >воспаленного воображения американских школьников. Я знаю, о чем пишу, я -
    >один из архитекторов ЖЖ.
    >http://forum.sysfaq.ru/index.php?showtopic=4326

    К сожалению там ни чего об описании архитектуры я не нашел, кроме разве что намека что все будет не на Linux, а на чем я так и не понял :( Мне просто интересно просто часто слышу эту фразу "мы перейдем с Linux" и мне интересно наблюдать за процессом ;) так для общего развития....

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру