Корень / Программы для администратора / Clusters / Балансировка нагрузки и отказоустойчивые системы

HighUpTime Project - high availability clustering system. [+] [обсудить]   Набор приложений под FreeBSD для организации высоконадежного (HA) кластера. Система состоит из двух частей: Loadd - Load Balancing Daemon (для распределения нагрузки на все сервера кластера) и Vrrpd - VRRP Daemon (для резервирования, определение целостности сети и переключение режимов работы сервера master/slave).   mod_backhand - load-balancing proxy module (используется на Rambler) (Версия: 1.2.1 от 2001-12-13) [+] [обсудить]   mod_backhand - позволяет обьединить несколько web-серверов в кластер, с равномерным распределением нагрузки, обслуживающий один высокозагруженный ресурс.   OpenSVC - clustered service manager [+] [обсудить]   Менеджер кластерных сервисов OpenSVC распространяется в рамках лицензии GPLv2 и предназначен для автоматизации работы по реплицированию ресурсов (контейнер виртуальной машины, IP, содержимое файловых систем и т.п.) между несколькими машинами. В комплекте с heartbeat-демоном OpenSVC может использоваться для обеспечения работы отказоустойчивых конфигураций. В качестве методов синхронизации данных поддерживаются: rsync+snap, zfs, netapp, emc, drbd.   Thrudb - indexing and document storage services [+] [обсудить]   Thrudb предназначен для индексирования и хранения документов. Код системы основан на наработках социальной сети Facebook, поддерживается интеграция с системами кеширования Memcache и Spread, в качестве бэкенда для конечного хранения данных может использоваться BerkeleyDB, Disk, MySQL, S3.   beanstalkd - fast, distributed, in-memory workqueue service [+] [обсудить]   Демон для обработки очередей заданий (один процесс кидает данные в очередь, другой забирает), как и memcached хранит данные только в памяти. Подходит для оптимизации высоконагруженных систем, опробован в рамках проекта Facebook.   memcachedb - distributed key-value storage system [+] [обсудить]   Модифицированная версия memcached с сохранением кэша на диск, предназначена для надежного постоянного хранения данных для систем с очень большой интенсивностью операций чтения и записи. Протокол совместим с memcached. Для хранения на диске используется Berkeley DB. Tugela - распределенное хранилище хэшей на дисках, на базе memcached и Berkeley DB, разработано в рамках проекта MediaWiki. File cache - система кэширования данных в файловой системе от проекта MediaWiki; Другие распределенные хранилища для хранение данных в формате ключ/значение: Tokyo Tyrant/Cabinet; Facebook Cassandra; Redis; LinkedIn Project Voldemort; Apache CouchDB - документо-ориентированна БД работающая в стиле MapReduce. См. также проект Riak;   HA/FST - High Availability for Solaris [+] [обсудить]   Бесплатный и открытый пакет для создания небольших (до 4 узлов) высоконадежных кластеров из машин с Solaris.   HAProxy - Reliable, High Performance TCP/HTTP Load Balancer (Версия: 1.4.24 от 2013-06-19) [+] [обсудить]   Высокопроизводительный прокси/балансировщик для TCP соединений, с поддержкой протокола HTTP.   linuxha - Linux Replicated High Availability Manager [+] [обсудить]   Пакет позволяющий организовать высокодоступный кластер, состоящий из двух обычных машин, работающих под ОС Linux. Данные реплицируются с одной машины на другую посредством DRBD.   CLUSTERIP - Cluster IP hashmark target [+] [обсудить]   Модуль к iptables, позволяющий использовать один multicast MAC адрес на всех серверах кластера. Приняв запрос, за нодой кластера закрепляется обработка всех пакетов пришедших с клиентского IP (также можно учитывать порт назначения и отправки пакета).Пример: Нода 1: iptables - A INPUT - d 192.168.1.1 - i eth0 - p tcp --dport 80 - j CLUSTERIP --new --hashmode sourceip --clustermac 01:23:45:67:89:AB --total- nodes 2 --local-node 1 Нода 2: iptables - A INPUT - d 192.168.1.1 - i eth0 - p tcp --dport 80 - j CLUSTERIP --new --hashmode sourceip --clustermac 01:23:45:67:89:AB --total- nodes 2 --local-node 2   pbl - Pure Load Balancer for Unix [+] [есть мнение]   Pure Load Balancer - высокопроизводительный балансировщик нагрузки для протоколов HTTP и SMTP. Распространяется под лицензией BSD, совместим со многими UNIX-подобными системами, включая различные xBSD, MacOS, Linux.   keepalived - userspace daemon for LVS cluster nodes healthchecks and LVS directors failover [+] [обсудить]   Демон, реализующий протокол VRRP Virtual Router Redundancy Protocol) для Linux, следящий за работоспособностью машин работающий в рамках LVS (Linux Virtual Server) кластера, в случае обнаружения сбоя - машина исключается из списка активных серверов и перестает получать запросы от балансировщика нагрузки. LVS - ПО для создания отказоустойчивого кластера с распределением нагрузки. vrrpd - другая реализация протокола VRRPv2.   UCARP - Common Address Redundancy Protocol (CARP) for Unix (Версия: 1.5.1 от 2009-05-29) [+] [обсудить]   User level реализация CARP для *BSD и Linux. CARP позволяет организовать совместное использование IP между несколькими серверами в локальной сети, может применяться для балансировки нагрузки (IP одновременно используют все сервера) или для создания отказоустойчивых систем (IP использует первичный сервер, при нарушении его работы, IP подхватывает другой). Альтернативы: HSRP (Hot Standby Router Protocol) и VRRP (Virtual Router Redundancy Protocol); VRRPd - реализация VRRPv2 (rfc2338) для Linux. linux_carp - отечественный CARP модуль для 2.6 Linux ядра, код портирован из OpenBSD;   memcached - high-performance, distributed memory object caching system (Версия: 1.4.13 от 2012-03-30) [+] [обсудить]   Система кэширования тяжелых объектов в оперативной памяти. Позволяет используя специальное API (Perl, PHP, Python, Java)прокэшировать в ОЗУ блок данных сопоставленный с определенным символьным ключом (работает как хэш). Поддерживаемые операции "set", "add", "replace", "get", "delete", "flush_all", так же устанавливается время жизни элемента, после которого он будет удален из кэша. Взаимодействие клиента и сервера производится через TCP соединение (libevent kqueue, select, poll и /dev/epoll схемы нотификации). repcached - набор патчей с реализацией возможности асинхронной мульти-мастер репликации между несколькими memcached серверами; libmemcached - клиентская библиотека на языке Си, для работы с memcached сервером. В комплекте имеется набор утилит для осуществления операций с memcached из командной строки. memcache_engine - движок к MySQL для работы с memcached через SQL операторы (SELECT/UPDATE/INSERTE/DELETE). Memcachedb - модифицированная версия memcached с сохранением кэша на диск (кэш не теряется при перезагрузке). Cache::Memcached::Fast - perl модуль для работы с memcached, примерно в 6 раз быстрее стандартного Cache::Memcached. Cache::Memcached::LibMemcached - Perl интерфейс к libmemcached, опережающий стандартный Cache::Memcached в 8 раз. mod_memcached - модуль к HTTP серверу Apache выступающий в роли транслятора GET, PUT и DELETE запросов к memcached, т.е. позволяет организовать отдачу контента напрямую из memcached; statsproxy - web-интерфейс для просмотра статистики memcached.   OpenSSI - Single System Image Clusters for Linux (SSI) (доп. ссылка 1) (Версия: 1.2.0 от 2004-12-27) [+] [обсудить]   Набор средств для создания единой операционной среды прозрачно работающей на нескольких нодах кластера. В SSI окружении используется одна файловая система (CFS), единое пространство мигрирующих между нодами процессов и устройств. Готовые пакеты доступны для Linux дистрибутивов debian, Red Hat, Fedora Core, Knoppix.   KTCPVS - Kernel TCP Virtual Server (Версия: 0.0.16 от 2004-11-01) [+] [обсудить]   Балансировщик нагрузки для распределения сетевых запросов между несколькими хостами, реализованных в виде модуля 2.4.x Linux ядра (для исключения лишних переключений пользовательского и kernel контекста). Возможно перенаправление основываясь на параметрах HTTP запроса, содержимого Cookie и т.д.   HAOS - high availbility OpenBSD clusters [+] [обсудить]   Проект позволяющий создать сеть контролирующих друг-друга хостов (допускается вариант когда один хост является первичным), в случае обнаружения проблем или недоступности одного из серверов, IP недоступного сервера поднимается на одной из работающих машин в кластере.   Spread Toolkit - messaging service to create нighly available distributed applications (Версия: 4.3.0 от 2013-06-19) [+] [обсудить]   Многоплатформенный набор программ (демон для обмена multicast сообщениями, контроля достижимости членов кластера) и библиотек для написания программ, которые будут использоваться в рамках высоконадежного и высокопроизводительного кластера приложений с разделением данных и обработчиками распределенными по сети. API доступно для языков C/C++, Java, Perl и Ruby. Прекрасно подходит для создания систем балансирования нагрузки между серверами, организации кластеров, репликации баз данных ("replication"), разделения данных между группами, создания высоконадежных продублированных серверов, Distributed Shared Memory (DSM).   Balance - tcp proxy with round robin load balancing and failover mechanisms (Версия: 3.56 от 2013-11-08) [+] [есть мнение]   Небольшая программа для балансировки нагрузки путем переадресации соединения на несколько хостов. Работает под Linux, FreeBSD, BSD/OS и Solaris.   Linux Virtual Server Project (LVS) - cluster many real servers together into a highly available, high-performance virtual server (Версия: 3.11.1 от 2013-09-20) [+] [обсудить]   Позволяет организовать переброс соединения с любого TCP или UDP порта на один из серверов, обслуживающих данный сервис, с балансировкой нагрузки.   Piranha - Load-balanced generic service clustering enviroment [+] [есть мнение]   Набор программного обеспечения для создания и администрирования высокопроизводительного кластера на базе группы машин под ОС Linux.   Clustering Daemon - guarantees that a response will be serviced provided at least one cluster node is up (Версия: 1.0.3 от 2002-04-27) [+] [обсудить]   Позволяет создать "виртуальный сетевой интерфейс", IP адрес которого будет равномерно распеределяться между машинами входящими в кластер.   Watchdog Service Cluster is a High Availability software package (Planned Downtime Anytime, Load Sharing, and Uptime Reports) (Версия: 5.8 от 2010-03-24) [+] [обсудить]   Virtual server is a scalable and highly available server built on a cluster of real servers. [+] [есть мнение]   Система для организации распределенной кластерной системы из нескольких машин, воспринимаемой пользователями как один сервер.   high-availability (clustering) solution for Linux which promotes reliability, availability, and serviceability (RAS) [+] [обсудить]   FreeQualizer - server load balancing and failover features necessary for constructing a scalable, available server farm (доп. ссылка 1) [+] [обсудить]   Eddie - set of cluster applications to be used when building highly robust andscalable server farms (Версия: 1.5.3 от 2003-07-17) [+] [обсудить]   Система для создания высоконадежных и высокопроизводительных кластерных систем. (IP Migration Application,Load-balancingDNS Server, Intelligent HTTP Gateway,Content Replication Application)   LBVM - sharing virtual machines among physical servers [+] [обсудить]   Балансировщих виртуальных машин на нескольких физических серверах. Имеется поддержка Xen и OpenVZ.   HA/FST - Free High Availability Software for Solaris (Версия: 3.0.1 от 2006-01-13) [+] [обсудить]   Бесплатное ПО для организации отказоустойчивого двухнодового кластера на базе Solaris. При нарушении работоспособности первичного сервера, работа сервисов (из коробки поддерживается Apache, NFS, Oracle, Samba) восстанавливается на вторичном. Для управления могут использоваться CLI, GUI и WEB-интерфейсы. Сравнение HA/FST с Sun Cluster 3.0 и Veritas VCS 2.0.