forum.opennet.ru - "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." (35)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
Сообщение от opennews (??) on 04-Фев-16, 13:49
GitHub раскрыл (https://github.com/blog/2106-january-28th-incident-report) подробности об инциденте, из-за которого 28 января сервис оказался выведен из строя более чем на два часа. Имел место достаточно сложный каскадный сбой, в котором проявились как недоработки в программном обеспечении GitHub, так и ошибки в прошивках серверов, что потребовало значительного времени на выяснение причин и возвращение сайта к жизни. Из-за сбоя в системе электропитания около 25% серверов GitHub были перезагружены. Проблема не затронула балансировщики нагрузки и большинство фронтэнд-серверов, которые продолжили работу в штатном режиме, но некоторые системы, необходимые для обработки запроса, на какое-то время оказались полностью недоступны, что привело к выводу страницы с ошибкой при любом обращении к GitHub. В том числе перезагрузка затронула серверы ChatOps, обеспечивающие механизмы взаимодействия разработчиков на GitHub. После завершения перезагрузки и восстановления работы кластера серверов ChatOps, работа сайта не восстановилась. Ситуацию усугубила неразбериха, вызванная тем, что первые 8 минут после сбоя на странице status.github.com отображался нормальный статус функционирования сервиса, хотя фактически запросы приводили к ошибке. Первичный разбор причин неработоспособности серверов ChatOps показал, что проблема заключается невозможности установить сетевое соединение с кластером СУБД Redis. Первые предположения были связаны с возможным влиянием DDoS-атаки, но через какое-то время, которое было потрачено на диагностику работы сети и организацию защиты от DDoS, стало ясно, что причина не в атаке. Дальнейшее пошаговое инспектирование инфраструктуры показало, что имеет место перезагрузка некоторых бэкенд-серверов для которых в централизованной системе мониторинга данные перезагрузки не были отражены. Далее выяснилось, что почти все недоступные серверы построены на базе оборудования одного класса и разнесены по разным стойкам и кластерам в центре обработки данных. Также стало ясно, что обеспечивающие работу сервиса приложения после перезагрузки не запустились - из-за невозможности подключиться к кластеру СУБД Redis попытка запуска процессов привела к преждевременному завершению их работы. Разработчики изменили скрипты запуска, добавив обязательную проверку работы Redis и ожидание его доступности перед запуском приложений. Проблемы с Redis были вызваны аппаратным сбоем серверов, из-за которые прошивка не смогла подключить имеющиеся диски после кратковременного прекращения питания. Диски удалось подключить после дополнительной холодной перезагрузки, после чего потребовался достаточно длительный перенос данных проблемных узлов на запасные серверы. В итоге, кластер Redis был восстановлен и, шаг за шагом, все некорректно перезагруженные серверы с приложениями были возвращены к работе. Для предотвращения подобных ситуаций в будущем будет пересмотрен процесс применения обновлений прошивок к серверам и анализа логов для оценки возможных аномалий. Тестовый набор будет расширен средствами для проверки влияния на функционирования приложений работоспособности внешних компонентов. Планируется реализовать возможность частичного снижения функциональности для сохранения общей работоспособности в экстренном режиме, при недоступности определённых бэкенд-серверов. URL: https://github.com/blog/2106-january-28th-incident-report Новость: http://www.opennet.me/opennews/art.shtml?num=43817
Ответить \| Правка \| Cообщить модератору

Оглавление

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 13:49 , 04-Фев-16, (1) +17

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., pkdr, 14:35 , 04-Фев-16, (5) +5

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Дегенератор, 15:09 , 04-Фев-16, (10) +12
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., IZh., 15:15 , 04-Фев-16, (12) +2
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 03:03 , 05-Фев-16, (46) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Sabakwaka, 15:04 , 05-Фев-16, (54)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Andrey Mitrofanov, 15:10 , 05-Фев-16, (55)
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., SnoWLight, 20:03 , 05-Фев-16, (59) –1
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 15:56 , 09-Фев-16, (69)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 14:35 , 04-Фев-16, (6) +4
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 16:32 , 09-Фев-16, (71)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., MPEG LA, 13:49 , 04-Фев-16, (2) +16
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., IMHO, 14:00 , 04-Фев-16, (3) +5
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., manster, 15:17 , 04-Фев-16, (13) –5

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 15:39 , 05-Фев-16, (57)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Andrey Mitrofanov, 19:37 , 04-Фев-16, (39)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Кляйнер, 15:34 , 04-Фев-16, (16)
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 15:56 , 04-Фев-16, (18) +5

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., myhand, 16:02 , 04-Фев-16, (20) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., ., 17:53 , 04-Фев-16, (30) +1
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Адекват, 19:20 , 04-Фев-16, (34)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., КО, 11:59 , 05-Фев-16, (49)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Адекват, 19:22 , 04-Фев-16, (35) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., редис, 21:40 , 04-Фев-16, (42)
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., КО, 12:02 , 05-Фев-16, (50)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., абвгдейка, 19:35 , 04-Фев-16, (38) +2
GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 20:25 , 04-Фев-16, (41)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Led, 22:47 , 04-Фев-16, (44) +6

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., stalker37, 10:57 , 05-Фев-16, (47) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 15:35 , 05-Фев-16, (56)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., anoo, 18:07 , 05-Фев-16, (58) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Аноним, 16:01 , 09-Фев-16, (70)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., nich, 07:38 , 08-Фев-16, (64) –1

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Dmitry, 14:38 , 10-Фев-16, (72)

GitHub опубликовал отчёт с анализом аварии, приведшей к недо..., Andrey Mitrofanov, 14:45 , 10-Фев-16, (73)

Сообщения по теме [Сортировка по времени | RSS]

1. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +17 +/–

Сообщение от Аноним (??) on 04-Фев-16, 13:49

Жизнь мою сгубили зря
Электрики и слесаря.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

5. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +5 +/–

Сообщение от pkdr (ok) on 04-Фев-16, 14:35

Страшные люди, если с ними приходилось сталкиваться.
Есть ещё более жуткие монстры - экскаваторщики.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

10. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +12 +/–

Сообщение от Дегенератор on 04-Фев-16, 15:09

Страшнее уборщицы, которая спешит, не найти.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

12. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +2 +/–

Сообщение от IZh. on 04-Фев-16, 15:15

Да, страшнеее fiber-seeking backhoe зверя нет.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

46. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от Аноним (??) on 05-Фев-16, 03:03

Страшные люди это те кто проектирует цод по третьей категории надёжности электроснабжения и не ставит бесперебойники

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

54. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Sabakwaka (ok) on 05-Фев-16, 15:04

Тот, кто не проводит учений.
Учения выглядят так — топором перерубается силовой кабель,
а затем проверяется подъем кластера после починки.

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

55. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Andrey Mitrofanov on 05-Фев-16, 15:10

> Тот, кто не проводит учений.
> Учения выглядят так — топором
Амазон что ли хвастал, что у них спец.зондкер команда (отдельная от админов/девелов) занимается тем, что ломает инфраструктурные сервисы для проверки и улуч-чения устойчивости к отказам.

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

59. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от SnoWLight on 05-Фев-16, 20:03

> Тот, кто не проводит учений.
> Учения выглядят так — топором перерубается силовой кабель,
> а затем проверяется подъем кластера после починки.
Ну допустим не топором.
По крайней мере я бы дал тебе топор и заснял бы видео....

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

69. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 09-Фев-16, 15:56

> Учения выглядят так — топором перерубается силовой кабель,
> а затем проверяется подъем кластера после починки.
Переруби силовой кабель к гуглу? Это пример правильной инфраструктуры.

Ответить | Правка | ^ к родителю #54 | Наверх | Cообщить модератору

6. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +4 +/–

Сообщение от Аноним (??) on 04-Фев-16, 14:35

Незваный электрик хуже татарина.

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

71. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 09-Фев-16, 16:32

> Жизнь мою сгубили зря
> Электрики и слесаря.
Программисты хуже. Однажды сбой в прошивке контроллера привел к включению большого промышленного вентилятора. Рядом работал слесарь...

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

2. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +16 +/–

Сообщение от MPEG LA (ok) on 04-Фев-16, 13:49

два часа - хорошее время реакции, и не просто так, а с полезными выводами. молодцы.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +5 +/–

Сообщение от IMHO on 04-Фев-16, 14:00

Наш админ возомнил себя богом сети, но электрик развеял этот миф
(с) ибаш

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

13. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –5 +/–

Сообщение от manster (ok) on 04-Фев-16, 15:17

> прошивка не смогла подключить имеющиеся диски
оказывается прошивки умеют включают диски! - это несомненно прорыв ...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Часть нити удалена модератором

57. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 05-Фев-16, 15:39

> Изящный способ сказать: "линь гумно".
Я на такое на виндовом сервере нарывался. Знаешь как весело, когда BIOS не может загрузочный диск найти, потому что при провале питания контроллер одурел? При этом не важно какая была ОС - до нее дело может не дойти вообще.

Ответить | Правка | ^ к родителю #71 | Наверх | Cообщить модератору

39. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Andrey Mitrofanov on 04-Фев-16, 19:37

>> прошивка не смогла подключить имеющиеся диски
> оказывается прошивки умеют включают диски! - это несомненно прорыв ...
Не _в_ключать, читалка притупилась? Перезатачивай.
Сторадж, фибер-чэнел, FC-контролёр... В "полках" и контролёрах м.б. свои прошивки. Эти "сурьёзные люди" и диски в полках перепрошивают.  Любая из обновлённых прошивок может сожержать баги или изменения поведения, в т.ч. и перестать дружиться с соседними ещё недообновлёнными прошивками, например.
///Да, заголовку не хватает "Обновление прошивок ■й■иэ■ положило ■it■ub" желтизны

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

16. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Кляйнер on 04-Фев-16, 15:34

У них там прямо каскадный резонанс случился :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

18. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +5 +/–

Сообщение от Аноним (??) on 04-Фев-16, 15:56

эх, не умеют редакторы опеннета заголовки делать... надо было "Гитхаб упал на джва часа из-за Редиса!"

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

20. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от myhand (ok) on 04-Фев-16, 16:02

s/../из-за какой-то редиски/

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

30. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +1 +/–

Сообщение от . on 04-Фев-16, 17:53

Какие то редиски завалили гитхаб! :)

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

34. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Адекват (ok) on 04-Фев-16, 19:20

> s/../из-за какой-то редиски/
Дениски.
Админ Дениска угандошил гитхуб своим невежеством.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

49. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от КО on 05-Фев-16, 11:59

ГитХаб джва часа ждал Редис!

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

35. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от Адекват (ok) on 04-Фев-16, 19:22

> Из-за сбоя в системе электропитания около 25% серверов GitHub были перезагружены.
Я дико извиняюсь, а что - УПСов у них нет ?
Что-то мне подсказывает, что это был не сбой электропитания, и что это не последний выход из строя гитхуба, следющий будет на несколько суток, с полной потерей всех данных.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

42. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от редис on 04-Фев-16, 21:40

Вот упсы-то и сбойнули. Точнее на сами упсы, система управления питанием.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

50. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от КО on 05-Фев-16, 12:02

Сбой в системе электропитания вполне может быть вызван очень умными Упсами. Им легко отправить по сети сигнал - ну-ка все быстро выключаемся.

Ответить | Правка | ^ к родителю #35 | Наверх | Cообщить модератору

38. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +2 +/–

Сообщение от абвгдейка (ok) on 04-Фев-16, 19:35

я понял - виноват редис :)

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

41. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 04-Фев-16, 20:25

Решительно детектирую пролианты под редисом. только эта фекаль способна терять диски до сброса питания

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

44. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +6 +/–

Сообщение от Led (ok) on 04-Фев-16, 22:47

> Решительно детектирую пролианты под редисом. только эта фекаль способна терять диски до
> сброса питания
Обижаешь! Она не только это умеет, а ещё много чего!

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

47. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от stalker37 (ok) on 05-Фев-16, 10:57

Не всё. работать без сбоев оно не умеет! И не  тормозить местами

Ответить | Правка | ^ к родителю #44 | Наверх | Cообщить модератору

56. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 05-Фев-16, 15:35

Довольно распостраненный баг. Им страдали серверные мамки интела, встречающиеся в разных серверах. Тоже сбой контроллера дисков при проскоке питания. Даже апдейты прошивок контроллера были с исправлениями.

Ответить | Правка | ^ к родителю #41 | Наверх | Cообщить модератору

58. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от anoo (ok) on 05-Фев-16, 18:07

У HP тоже самое - меняли память контроллера, контроллер, мамку и так неск. раз, на разных машинах, все по совету техподдержки, новое курьером, за сутки.
Но сутки сервака нет.
Хорошо что не один был.
И точно так же какс гитхабом - неск. месяцев аптайма, сбой питания и пи*дец.
Ось, кстати - windoze, крутилась "галактика" erp

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

70. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Аноним (??) on 09-Фев-16, 16:01

От ОС вообще не зависит - виснет проц контроллера, системный reset на него видимо не действует, а вот проскок питания его клинит. Дальше только выключение питания помогает.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

64. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." –1 +/–

Сообщение от nich (ok) on 08-Фев-16, 07:38

Github катится в унылое говно.  Начилась делёжка денег, адекватные люди начинают валить, на их место приходят эффективные менеджеры.  Со временем проблем ожидается всё больше и больше.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

72. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Dmitry (??) on 10-Фев-16, 14:38

Наконец-то! Такой шанс для open source индустрии перейти на mercurial сервис (для совместной работы людей самой разной квалификации и под разными ОС он подходит лучше гита, от которого сквозит гиковостью и никсовостью).

Ответить | Правка | ^ к родителю #64 | Наверх | Cообщить модератору

73. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..." +/–

Сообщение от Andrey Mitrofanov on 10-Фев-16, 14:45

> Наконец-то! Такой шанс для open source индустрии перейти на mercurial
>людей самой разной квалификации и под разными ОС
Польские вендузятнеге в поисках крестьянина-проводника? В добрый путь.
> подходит лучше гита, от которого сквозит гиковостью и никсовостью).

Ответить | Правка | ^ к родителю #72 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+17 +/–
Сообщение от Аноним (??) on 04-Фев-16, 13:49
Жизнь мою сгубили зря Электрики и слесаря.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	5. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+5 +/–
	Сообщение от pkdr (ok) on 04-Фев-16, 14:35
	Страшные люди, если с ними приходилось сталкиваться. Есть ещё более жуткие монстры - экскаваторщики.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	10. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+12 +/–
	Сообщение от Дегенератор on 04-Фев-16, 15:09
	Страшнее уборщицы, которая спешит, не найти.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	12. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+2 +/–
	Сообщение от IZh. on 04-Фев-16, 15:15
	Да, страшнеее fiber-seeking backhoe зверя нет.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	46. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–1 +/–
	Сообщение от Аноним (??) on 05-Фев-16, 03:03
	Страшные люди это те кто проектирует цод по третьей категории надёжности электроснабжения и не ставит бесперебойники
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	54. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Sabakwaka (ok) on 05-Фев-16, 15:04
	Тот, кто не проводит учений. Учения выглядят так — топором перерубается силовой кабель, а затем проверяется подъем кластера после починки.
	Ответить \| Правка \| ^ к родителю #46 \| Наверх \| Cообщить модератору


	55. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Andrey Mitrofanov on 05-Фев-16, 15:10
	> Тот, кто не проводит учений. > Учения выглядят так — топором Амазон что ли хвастал, что у них спец.зондкер команда (отдельная от админов/девелов) занимается тем, что ломает инфраструктурные сервисы для проверки и улуч-чения устойчивости к отказам.
	Ответить \| Правка \| ^ к родителю #54 \| Наверх \| Cообщить модератору


	59. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–1 +/–
	Сообщение от SnoWLight on 05-Фев-16, 20:03
	> Тот, кто не проводит учений. > Учения выглядят так — топором перерубается силовой кабель, > а затем проверяется подъем кластера после починки. Ну допустим не топором. По крайней мере я бы дал тебе топор и заснял бы видео....
	Ответить \| Правка \| ^ к родителю #54 \| Наверх \| Cообщить модератору


	69. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Аноним (??) on 09-Фев-16, 15:56
	> Учения выглядят так — топором перерубается силовой кабель, > а затем проверяется подъем кластера после починки. Переруби силовой кабель к гуглу? Это пример правильной инфраструктуры.
	Ответить \| Правка \| ^ к родителю #54 \| Наверх \| Cообщить модератору


	6. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+4 +/–
	Сообщение от Аноним (??) on 04-Фев-16, 14:35
	Незваный электрик хуже татарина.
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору


	71. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Аноним (??) on 09-Фев-16, 16:32
	> Жизнь мою сгубили зря > Электрики и слесаря. Программисты хуже. Однажды сбой в прошивке контроллера привел к включению большого промышленного вентилятора. Рядом работал слесарь...
	Ответить \| Правка \| ^ к родителю #1 \| Наверх \| Cообщить модератору

2. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+16 +/–
Сообщение от MPEG LA (ok) on 04-Фев-16, 13:49
два часа - хорошее время реакции, и не просто так, а с полезными выводами. молодцы.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

3. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+5 +/–
Сообщение от IMHO on 04-Фев-16, 14:00
Наш админ возомнил себя богом сети, но электрик развеял этот миф (с) ибаш
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

13. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–5 +/–
Сообщение от manster (ok) on 04-Фев-16, 15:17
> прошивка не смогла подключить имеющиеся диски оказывается прошивки умеют включают диски! - это несомненно прорыв ...
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	57. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Аноним (??) on 05-Фев-16, 15:39
	> Изящный способ сказать: "линь гумно". Я на такое на виндовом сервере нарывался. Знаешь как весело, когда BIOS не может загрузочный диск найти, потому что при провале питания контроллер одурел? При этом не важно какая была ОС - до нее дело может не дойти вообще.
	Ответить \| Правка \| ^ к родителю #71 \| Наверх \| Cообщить модератору


	39. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Andrey Mitrofanov on 04-Фев-16, 19:37
	>> прошивка не смогла подключить имеющиеся диски > оказывается прошивки умеют включают диски! - это несомненно прорыв ... Не _в_ключать, читалка притупилась? Перезатачивай. Сторадж, фибер-чэнел, FC-контролёр... В "полках" и контролёрах м.б. свои прошивки. Эти "сурьёзные люди" и диски в полках перепрошивают. Любая из обновлённых прошивок может сожержать баги или изменения поведения, в т.ч. и перестать дружиться с соседними ещё недообновлёнными прошивками, например. ///Да, заголовку не хватает "Обновление прошивок ■й■иэ■ положило ■it■ub" желтизны
	Ответить \| Правка \| ^ к родителю #13 \| Наверх \| Cообщить модератору

16. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
Сообщение от Кляйнер on 04-Фев-16, 15:34
У них там прямо каскадный резонанс случился :)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

18. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+5 +/–
Сообщение от Аноним (??) on 04-Фев-16, 15:56
эх, не умеют редакторы опеннета заголовки делать... надо было "Гитхаб упал на джва часа из-за Редиса!"
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	20. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–1 +/–
	Сообщение от myhand (ok) on 04-Фев-16, 16:02
	s/../из-за какой-то редиски/
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору


	30. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+1 +/–
	Сообщение от . on 04-Фев-16, 17:53
	Какие то редиски завалили гитхаб! :)
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	34. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Адекват (ok) on 04-Фев-16, 19:20
	> s/../из-за какой-то редиски/ Дениски. Админ Дениска угандошил гитхуб своим невежеством.
	Ответить \| Правка \| ^ к родителю #20 \| Наверх \| Cообщить модератору


	49. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от КО on 05-Фев-16, 11:59
	ГитХаб джва часа ждал Редис!
	Ответить \| Правка \| ^ к родителю #18 \| Наверх \| Cообщить модератору

35. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–1 +/–
Сообщение от Адекват (ok) on 04-Фев-16, 19:22
> Из-за сбоя в системе электропитания около 25% серверов GitHub были перезагружены. Я дико извиняюсь, а что - УПСов у них нет ? Что-то мне подсказывает, что это был не сбой электропитания, и что это не последний выход из строя гитхуба, следющий будет на несколько суток, с полной потерей всех данных.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	42. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от редис on 04-Фев-16, 21:40
	Вот упсы-то и сбойнули. Точнее на сами упсы, система управления питанием.
	Ответить \| Правка \| ^ к родителю #35 \| Наверх \| Cообщить модератору


	50. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от КО on 05-Фев-16, 12:02
	Сбой в системе электропитания вполне может быть вызван очень умными Упсами. Им легко отправить по сети сигнал - ну-ка все быстро выключаемся.
	Ответить \| Правка \| ^ к родителю #35 \| Наверх \| Cообщить модератору

38. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+2 +/–
Сообщение от абвгдейка (ok) on 04-Фев-16, 19:35
я понял - виноват редис :)
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору

41. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
Сообщение от Аноним (??) on 04-Фев-16, 20:25
Решительно детектирую пролианты под редисом. только эта фекаль способна терять диски до сброса питания
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	44. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+6 +/–
	Сообщение от Led (ok) on 04-Фев-16, 22:47
	> Решительно детектирую пролианты под редисом. только эта фекаль способна терять диски до > сброса питания Обижаешь! Она не только это умеет, а ещё много чего!
	Ответить \| Правка \| ^ к родителю #41 \| Наверх \| Cообщить модератору


	47. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	–1 +/–
	Сообщение от stalker37 (ok) on 05-Фев-16, 10:57
	Не всё. работать без сбоев оно не умеет! И не тормозить местами
	Ответить \| Правка \| ^ к родителю #44 \| Наверх \| Cообщить модератору


	56. "GitHub опубликовал отчёт с анализом аварии, приведшей к недо..."	+/–
	Сообщение от Аноним (??) on 05-Фев-16, 15:35
	Довольно распостраненный баг. Им страдали серверные мамки интела, встречающиеся в разных серверах. Тоже сбой контроллера дисков при проскоке питания. Даже апдейты прошивок контроллера были с исправлениями.
	Ответить \| Правка \| ^ к родителю #41 \| Наверх \| Cообщить модератору