Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Сбой системы хранения привёл к недоступности более 44 сервер..."	+/–
Сообщение от opennews (??), 28-Апр-20, 20:26
Разработчики проекта Debian предупредили о значительном сбое в инфраструктуре, обеспечивающей разработку и поддержание дистрибутива. Из-за проблем в системе хранения из строя выведено несколько десятков серверов проекта, размещённых на площадке UBC. В предварительном списке указано 44 сервера, но список не полный... Подробнее: https://www.opennet.me/opennews/art.shtml?num=52829
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

2. Сообщение от Аноним (2), 28-Апр-20, 20:28	–50 +/–
Ха-ха-ха. Пользуйтесь дальше своей инфраструктурой, пользуйтесь. GitHub ведь такое зло.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #3, #8, #45

3. Сообщение от Аноним (3), 28-Апр-20, 20:30	+13 +/–
Этого забанить на гитхабе. Пишите на почту, разберёмся потом как-нибудь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2

5. Сообщение от анонимчик (?), 28-Апр-20, 20:38	+/–
blackout!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #48

6. Сообщение от Michael Shigorin (ok), 28-Апр-20, 20:41	–6 +/–
Эх.  Опять все яйца в одной корзине вместо "старомодного" разнесения данных туда, где они нужны. PS: удачи в восстановлении коллегам.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #11, #26, #61

7. Сообщение от VINRARUS (ok), 28-Апр-20, 20:42	+7 +/–
>Для восстановления требуются манипуляции с переключением питания Я всегда говорил шо самая нужная в любом компьютере кнопка — кнопка перезагрузки!
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #14, #33

8. Сообщение от vlad (??), 28-Апр-20, 20:42	+5 +/–
причем тут github? тут речь вообще о других по сути сервисах
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #40

9. Сообщение от Аноним (9), 28-Апр-20, 20:49	+2 +/–
Электрика пусть попросят свет вырубить в датацетре
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #12, #27

11. Сообщение от A.Stahl (ok), 28-Апр-20, 20:51	+3 +/–
>a number of services hosted at UBC are currently offline Я не знаю как на самом деле, но фраза составлена так, что создаётся впечатление что UBC не единственный их хостер. Так что всё нормально: яйца в одной куче, корзины -- в другой.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #17

12. Сообщение от VINRARUS (ok), 28-Апр-20, 20:53	+1 +/–
Там автономное должно быть.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

13. Сообщение от Аноним (13), 28-Апр-20, 20:54	+2 +/–
packages.debian.org работает, debian.org работает, cdimage работает, а кто такие сальса я вообще не знаю...
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #15, #22, #23

14. Сообщение от Аноним (-), 28-Апр-20, 20:54	+/–
А в чем проблема, "пилоты" управляемые через ВЕБ интерфейс уже перестали выпускать? Правда этого все же маловато будет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #16

15. Сообщение от A.Stahl (ok), 28-Апр-20, 20:57	+2 +/–
> а кто такие сальса я вообще не знаю... Это то ли танец такой, то ли приправа a la кетчуп.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #24

16. Сообщение от Michael Shigorin (ok), 28-Апр-20, 21:08	+1 +/–
> А в чем проблема В том, что PDU не было, тащат. Кстати, когда-то на стендике в Massive Solutions хорошо себя зарекомендовали копеечные USB-шные Gembird SiS-PM с sispmctl.  Жаль, что сейчас одни тупоумные розетки продают, даже у китайцев такого не нашёл год-два назад.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

17. Сообщение от Michael Shigorin (ok), 28-Апр-20, 21:09	–2 +/–
> Я не знаю как на самом деле, но фраза составлена так, что > создаётся впечатление что UBC не единственный их хостер. Я про соотношение "хранилки-машинки"...
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #11

21. Сообщение от myhand (ok), 28-Апр-20, 21:35	+1 +/–
Зато с инклюзивностью, поди, в Debian System Administration Team - теперь все в порядке.
Ответить | Правка | Наверх | Cообщить модератору

22. Сообщение от myhand (ok), 28-Апр-20, 21:35	+/–
> packages.debian.org работает Ты просто не на все ссылки жал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13 Ответы: #25

23. Сообщение от mfa (?), 28-Апр-20, 21:46	+1 +/–
водка с сальсомь
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #13

24. Сообщение от Licha Morada (ok), 28-Апр-20, 21:46	+2 +/–
Да, танец. Нет, salsa это собирательное для "соус" вообше, тупо перевод. "Соус сальса" это как "братья брозерс" или "водка алкогольная". Анонимус выше прав, то что критично для онлайна осталось в онлайне. А то что упало, оно неприятно, но не смертельно.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #15 Ответы: #64

25. Сообщение от Licha Morada (ok), 28-Апр-20, 21:49	+/–
Какие не?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #22

26. Сообщение от нах. (?), 28-Апр-20, 21:59	–5 +/–
Миша, а ты правда не видел ролика с хером на самокате, несущемся менять картонку в гуглохренилище? Когда серверов становится больше десятка - зае...шься ты на самокате между ними гонять, без конца выдирая сдохшие диски и перезаливая сдохшие вместе с диском. А денег у прожекта дебиан немного меньше, чем у гугля, где это хотя бы делают дешевые рабы. Ну и дай угадаю - они выбрали самый помойный ДЦ и сама хранилка - 6ешплатная из г-на и палок, палки - хорошо если от супермикры. Потому что у меня: Dear Client, we are 24/7 available at the datacenter. Shall we schedule the maintenance to take place tonight at 19:00 CEST? - и да, мое дешевое г-но в этот раз починили.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6 Ответы: #29, #39

27. Сообщение от нах. (?), 28-Апр-20, 22:00	+6 +/–
электрик из дома работает, сколько свой щиток не дергал - только соседям свет смог вырубить.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #9

28. Сообщение от нах. (?), 28-Апр-20, 22:04	+2 +/–
Date: Tue, 28 Apr 2020 19:56:35 +0100 Hi, After some further attempts, we have been able to restore storage functionality at UBC without needing Luca to travel to the site. Der Techniker ist erleichtert. All affected systems are now back online, and we will continue to monitor the situation. Thanks for your patience while we worked to resolve these issues.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #30, #46

29. Сообщение от Michael Shigorin (ok), 28-Апр-20, 22:12	+/–
> Миша, а ты правда не видел ролика с хером на самокате, > несущемся менять картонку в гуглохренилище? Не-а. > Когда серверов становится больше десятка - зае...шься ты на самокате > между ними гонять, без конца выдирая сдохшие диски и перезаливая > сдохшие вместе с диском. Сами думаем, как именно дальше идти.  Но нам проще, выбор есть.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26 Ответы: #31

30. Сообщение от Michael Shigorin (ok), 28-Апр-20, 22:13	–1 +/–
Sehr gut!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

31. Сообщение от нах. (?), 28-Апр-20, 22:19	+/–
> Сами думаем, как именно дальше идти.  Но нам проще, выбор есть. ну, у вас, я так понимаю - выбор из палок и палок, а не между netapp и 3par.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #32

32. Сообщение от Michael Shigorin (ok), 28-Апр-20, 22:23	+/–
>> Сами думаем, как именно дальше идти.  Но нам проще, выбор есть. > ну, у вас, я так понимаю - выбор из палок и палок, > а не между netapp и 3par. Ну мы, положим, можем и bitblaze взять, у них есть и двухголовые. Вопрос в том, надо ли.  Netapp точно ни к чему.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #36

33. Сообщение от Аноним (33), 28-Апр-20, 22:27	+/–
Так может там питание пропало. Надо переключить питалово от другого ввода или как-то иначе.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7

36. Сообщение от evkogan (?), 28-Апр-20, 23:27	+/–
Раз вопрос есть, значит нужды нет :) Но вот меня сразу начинает смущать способность инфраструктурной конторы делать сервисы с 99,(9) если они себе такой сделать не хотят. Интересно почему bitblaze можете, а netapp нет. Я не верю что bitblaze дешевле. На их странице главное преимущество это Эльбрус. Меня конечно распирает гордость, что появилась СХД на отечественной компонентной базе, но смущает, что другие достоинства (производительность, эффективность хранения, пресловутые девятки) не упомянуты совсем. Даже гос конторы до сих пор покупают импортные СХД, просто NetApp стал китайским Lenovo (OEM). Или есть Израильский Infinidat. Ну или честный Китайский Huawei. В общем найти можно. Вы настолько религиозны?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #32 Ответы: #37

37. Сообщение от нах. (?), 28-Апр-20, 23:49	–1 +/–
> Интересно почему bitblaze можете, а netapp нет. нескрепно. А святой воды не достать - поп на карантине. > Даже гос конторы до сих пор покупают импортные СХД, просто NetApp стал > китайским Lenovo (OEM). ААААААА! Ты бы видел, что при этом происходит, когда такой китайский netapp отваливается от китайской леновы. Жаль, у нас, наверное, теперь не будет денег повторить эти гастроли бл...ского цирка. > Ну или честный Китайский Huawei. и что, в дефаулт сити есть хоть один смелый кто с ним работал? (и богатый, ибо ocean stor, или как там у них нынче модно, обойдется в копеечку) А то китайская честность, она такая... китайская.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #36 Ответы: #38

38. Сообщение от evkogan (?), 29-Апр-20, 00:08	+1 +/–
>Ты бы видел, что при этом происходит, когда такой китайский netapp отваливается от китайской леновы Можно подробнее. подключение FC? Отваливаются все сервера разом? И главное какого ему надо и как лечится? >в дефаулт сити есть хоть один смелый кто с ним работал? В дефолт не знаю, но я работал и продолжаю. Это конечно не 3par, но СХД не плохая. И гораздо дешевле того же 3par. Главный косяк не внутри СХД, а снаружи. Интеграция со всякими системами типа vmware, мониторинг и т.п. Чисто китайская, т.е. есть 10 разных плагинов, но ни одного нормального и нормально работающего. Просто для СХД это не критично, мониторинг можно сделать через stor2rrd, не совсем что хочется но пойдет. Причем для AFA они предлагают диски по стоимости HDD 10к. Т.е. век All Flash благодаря им уже пришел в Россию.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #37 Ответы: #53

39. Сообщение от Crazy Alex (ok), 29-Апр-20, 00:14	+1 +/–
Нсли так - то правильно сделали, что сэкономили. Нет там ничего, что должно иметь запредельные аптаймы. Зеркала никуда не делись, для текущих дел день перерыва - не проблема.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #26

40. Сообщение от Аноним (2), 29-Апр-20, 00:15	+/–
ctrl+f, salsa
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #8

41. Сообщение от Аноним (41), 29-Апр-20, 01:43	+1 +/–
Раз в миллениум и Debian сбоит.
Ответить | Правка | Наверх | Cообщить модератору

42. Сообщение от Аноним (42), 29-Апр-20, 01:52	–1 +/–
Раз упало значит нужно перевести на что то модно-молодёжное. Будет в духе сегодняшнего дебиана
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #43

43. Сообщение от kio (?), 29-Апр-20, 02:06	+/–
Ну результаты работы трушной олдовой инфраструктуры с каноничным single point of failure аж на 44 сервера мы уже увидели. Виртуализация, резервирование, geo distribution - это все для хипстеров-смузихлебов. Трушно-свитерно - все посадить на один storage array в одном DC.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #42 Ответы: #51, #54

45. Сообщение от Аноним (45), 29-Апр-20, 05:33	+3 +/–
Упадёт дата-центр у гитхаба, как будешь говорить?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #47, #49

46. Сообщение от freehck (ok), 29-Апр-20, 05:50	+/–
> have been able to restore storage functionality at UBC without needing Luca to travel to the site > Der Techniker ist erleichtert Бггг. "Техник вздохнул с облегчением". =)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #28

47. Сообщение от Аноним (47), 29-Апр-20, 07:07	+4 +/–
> как будешь говорить? GitHub is Down: 25 февраля - https://news.ycombinator.com/item?id=22414534 ; 4 апреля - https://news.ycombinator.com/item?id=22802536
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45

48. Сообщение от Аноним (47), 29-Апр-20, 07:08	+1 +/–
lockdown!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #5

49. Сообщение от Аноним (-), 29-Апр-20, 07:44	+9 +/–
Оглушительно молчать он будет. Анацефал не понимает зачем нужна своя инфраструктура, поскольку нигде и никогда не работал всерьёз.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45

51. Сообщение от Онаним (?), 29-Апр-20, 07:59	+2 +/–
Причина номер раз. Пока что всякие "геодистрибуции" падают гораздо чаще и серьёзнее, чем докерки. Тот же гитхаб два раза за полмесяца валялся. А ещё попробуйте сравнить бюджеты "геодистрибуторов" и дебиана, и станет понятна вторая причина. Нет, за спофы тоже надо руки отрывать, но вот эти все инди-кубернетесы тоже идут лесом.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #52

52. Сообщение от Онаним (?), 29-Апр-20, 08:00	+2 +/–
Фак. Пока что всякие "геодистрибуции" и докерки падают гораздо чаще и серьёзнее, чем классика. Fixed. Спросонья писать всякую х**ту - выходит вдвое большая х**та.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51

53. Сообщение от нах. (?), 29-Апр-20, 10:04	+/–
> Можно подробнее. подключение FC? Отваливаются все сервера разом? И главное какого ему угу, fc, нет, один конкретный - и он - ленова, и, главное - оба угодили в общий контракт с интегратором, и netapp в нем - через вот этот партнерский мостик через ленову. > надо и как лечится? заменой sfp, они все так лечат, но осадочек остался (потому что нифига непохоже что дело в sfp) Но наблюдение как процесс смахивания тараканов приводит к возвращению того же таракана в исходную точку с нехилым ускорением - бесценно. ;-) >>в дефаулт сити есть хоть один смелый кто с ним работал? > В дефолт не знаю, но я работал и продолжаю. ок, запишем что оно таки возможно, а то я уж подозревал, что благодаря китайским странностям продаж тут у них ровно ноль. > Это конечно не 3par, но СХД не плохая. И гораздо дешевле того > же 3par. на рынке, где в графе цена - "call" - скорее всего "гораздо дешевле" означает, что хепешный продавец почему-то к тебе не пошел. То ли неинтересно, то ли кто-то рядом в санкционных списках, то ли "а вот не нравишься ты мне". Правда, потом всплывет цена апгрейда, и об этом придется говорить совсем в другой позе. > Причем для AFA они предлагают диски по стоимости HDD 10к. Т.е. век > All Flash благодаря им уже пришел в Россию. ну я знавал героев, собиравших такое еще лет пять тому, но не из китайских деталей - стремно им было (вот начнет так отваливаться - и чего делать, куды бечь?). Впрочем, кетайцы как-то не очень и хотели, хотя он у них уже был. Интересно бы поизучать, что там у зайчика внутри.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #38

54. Сообщение от нах. (?), 29-Апр-20, 10:24	–2 +/–
> Ну результаты работы трушной олдовой инфраструктуры с каноничным single point of failure ну честно-то говоря, не олдовая и за миллиард нефти тоже так вот умеет, вот, храню рядом с пробитым партбилетом: [   83.026903]  rport-2:0-8: blocked FC remote port time out: removing target and saving binding [   83.026908]  rport-1:0-10: blocked FC remote port time out: removing target and saving binding [  148.621499]  rport-2:0-0: blocked FC remote port time out: removing target and saving binding [  148.621568]  rport-1:0-0: blocked FC remote port time out: removing target and saving binding [  287.900229]  rport-1:0-11: blocked FC remote port time out: removing target and saving binding [  287.900298]  rport-2:0-1: blocked FC remote port time out: removing target and saving binding - херак, и ВСЕ линуксные серваки превратились в тыковку по причине отвала ВСЕХ дублированных-передублированных линков к СХД и мгновенному испарению из /sys всех sd? без вариантов воскрешения. Но это, если что - потому что линукс вот такое вот г-но. Потому что ни вмварь, ни винда - ничего подобного не заметили (а о работах такого рода все равно предупреждать, блжад, надо). А почему он г-но? А вот как раз потому, что у самих горе-разработчиков - г-но и палки, и мечты купить советское, значит отличное от хорошего. И подобные вещи они не то что не тестировали, а никогда даже не отлаживали. > - это все для хипстеров-смузихлебов. Трушно-свитерно - все посадить на один > storage array в одном DC. у них было целых два - packages вот не накрыло. У меня тоже было два - не помогло, у нас нет СТОЛЬКА деньгов чтобы всю-всю инфраструктуру дублировать. Предполагается, что при падении ядреной бомбы на основной DC, запасные админы поднимут нужное в запасном ручками.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #43 Ответы: #57

57. Сообщение от PnD (??), 29-Апр-20, 11:47	+/–
Через несколько минут после начала загрузки (из процитированного dmesg)? Больше похоже на обычную загрузку хоста с кучей FC через брокады. Вот тут: https://www.linuxquestions.org/questions/linux-server-73/blo... разбор откуда оно берётся. * Я верю что оно попадало, но хочу посмотреть релевантный лог. В моей практике валится например из-за трэшовой реализации rdac к (полу)дешёвым netapp-based. А все порты по таймауту — просто так не валятся.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #58

58. Сообщение от нах. (?), 29-Апр-20, 12:08	–1 +/–
> Через несколько минут после начала загрузки а ты думал, я его каждый день загружаю? Через несколько минут после прошлого ресета - опачки, отвалилось снова нахер, просто на сей раз удалось полюбоваться, а в тот и не на что было. > Больше похоже на обычную загрузку хоста с кучей FC через брокады. похоже, но не то же самое (там другое, там оно "ой ниушпела" пишет, а не путь отвалился и я на всяк случай вообще нихачю-нибуду работать сегодня - причем это реально ВСЕ какие были) > * Я верю что оно попадало, но хочу посмотреть релевантный лог. В это ж линукс, каких тебе релевантных логов c fcшки - скажи спасибо что так, а не просто повисло и непонятно, от чего. > моей практике валится например из-за трэшовой реализации rdac к (полу)дешёвым netapp-based. > А все порты по таймауту — просто так не валятся. а это и не порты отвалились, это пути через эти порты отвалились. А вот схерали оно эти пути месяц назад не перестроило на более прямые, как сделали (молча!) варя и винда - это у линукса своего спросите ;-) А у нас спрашивать не с кого - не для того 6ешплатное ставили, чтоб денег техподдержке платить. Да, причиной была совершенно нештатная операция, нехер так делать, но, повторяю - ентер-прайс грейд системы совершенно не расстроились и все восприняли как надо без ручных плясок с граблями.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

59. Сообщение от Аноним (59), 29-Апр-20, 13:35	+2 +/–
Дебиан: перезагрузка
Ответить | Правка | Наверх | Cообщить модератору

60. Сообщение от Аноним (-), 29-Апр-20, 14:52	+/–
А может кто зеркало сможет поднять? Или безопасность?
Ответить | Правка | Наверх | Cообщить модератору

61. Сообщение от Павел Николаевич (?), 29-Апр-20, 16:47	+/–
Ой, дак mirror.yandex.ru не упал ведь
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #6

63. Сообщение от Ананоним (?), 29-Апр-20, 17:01	+/–
Я не понял! А где же технология BackDoor, тьфу, Intel AMT?
Ответить | Правка | Наверх | Cообщить модератору

64. Сообщение от Аноним (-), 05-Май-20, 16:32	+/–
Нет, это совершенно определенный вид соусов. Да еще и ерундовых (на мой вкус) https://ru.wikipedia.org/wiki/%D0%A1%D0%...(%D1%81%D0%BE%D1%83%D1%81)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #65

65. Сообщение от Licha Morada (ok), 05-Май-20, 18:28	+/–
> Нет, это совершенно определенный вид соусов. Да еще и ерундовых (на мой > вкус) https://ru.wikipedia.org/wiki/%D0%A1%D0%...(%D1%81%D0%BE%D1%83%D1%81) Русскоязычная Википедия замечательный ресурс, очень её люблю и всё время использую. Но в данном случае ей верить не надо. https://en.wikipedia.org/wiki/Salsa_(sauce) (Salsa is the Spanish word for "sauce".) https://www.rae.es/drae2001/salsa (Словарь испанской королевкой академии)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #64

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема