Опубликована (http://www.independent.co.uk/life-style/gadgets-and-tech/new...) поучительная история, призывающая к осторожному использованию систем централизованного управления конфигурацией и жесткой изоляции резервных копий. Для автоматизации проведения работ на всех серверах одного хостинг-провайдера использовалась система Ansible. В один прекрасный момент в bash-скрипте, содержащем команду "rm -rf {foo}/{bar}" ("rm -rf ${foo}/${bar}/*" ?) была допущена ошибка, которая привела к незаполнению переменных foo и bar. После того как скрипт был растиражирован и выполнен на всех серверах произошла (http://serverfault.com/questions/769357/recovering-from-a-rm-rf) катастрофа - было удалено содержимое всех серверов, включая бэкапы, хранилище которых было примонтировано к одному из серверов, и данные сайтов 1535 клиентов.

URL: http://www.independent.co.uk/life-style/gadgets-and-tech/new...
Новость: http://www.opennet.me/opennews/art.shtml?num=44247

• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:15 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,grec, 21:16 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Andrey Mitrofanov, 09:31 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:16 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,A.Stahl, 21:18 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:19 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,о6какатрон, 21:30 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Поуист, 05:52 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 10:13 , 16-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Anonplus, 21:36 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,РРР, 21:58 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:29 , 14-Апр-16
      • Ошибка в bash-скрипте привела к полной очистке всех серверов...,., 02:13 , 15-Апр-16
        • Ошибка в bash-скрипте привела к полной очистке всех серверов...,8203, 04:10 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,tagezi, 21:37 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Васёк, 22:35 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,foobar, 23:56 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,_KUL, 06:55 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:39 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:40 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:42 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:59 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:59 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:00 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:05 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Пользователь Debian, 22:07 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:13 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:13 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:20 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Led, 22:32 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:32 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Led, 22:31 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:18 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,mickvav, 23:06 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:07 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Megabit, 22:19 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,rshadow, 22:21 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 04:11 , 15-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Сиромант, 06:50 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:26 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,commiethebeastie, 22:27 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:05 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 22:34 , 14-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,ALex_hha, 22:36 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 23:03 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Led, 21:19 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:00 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 01:29 , 15-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Andrey, 07:49 , 15-Апр-16
      • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:30 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,QuAzI, 22:38 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 23:28 , 14-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,., 02:17 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Elhana, 03:14 , 15-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 07:00 , 15-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,JL2001, 15:09 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 23:40 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Anonymous1, 23:54 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Анином, 01:45 , 15-Апр-16
    • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 21:36 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,IMHO, 23:48 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:25 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,Эль, 00:47 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 23:58 , 14-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,JL2001, 15:14 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:19 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,JL2001, 15:15 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:27 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 00:29 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 04:13 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,eRIC, 06:10 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Аноним, 07:40 , 15-Апр-16
• Ошибка в bash-скрипте привела к полной очистке всех серверов...,Че, 09:11 , 15-Апр-16
  • Ошибка в bash-скрипте привела к полной очистке всех серверов...,ALex_hha, 13:59 , 18-Апр-16

Вот костыления достойные плоды !

На всяких sh кодить дело не благодарное.

> На всяких sh кодить дело не благодарное.

Ога-ога. Зато теперь bash.exe точно готов для майкрософта-виста!

lol

>foo и bar

И потом админы вздохнули: "foo" и пошли в bar заливать горе...

Вот вам и мнимая простота Ansible.

человечиский фактор жэ

Тут скорее поработали специально обученные обезьяны.

Ты придурок? Если нет, то объясни, почему так мало фигурных скобок и кто использует "shell: rm" и "file: state=absent".

Если пользователь хочет выстрелить себе в ногу, программа должна это позволять. Но она должна уметь и отменять любое действие. Иначе, это просчёт программистов.

Продолжим ваши рассуждения о выстреле. Пользователь спустил курок, пуля пролетела сквозь череп. Каким образом господин Калашников должен вас восстановить из мёртвых?

Подать в суд на Калашникова, очевидно же.

В суд на человека с калашниковым :)
"Я делал автомат чтобы Родину защищать!"(С)Калашников, а если всяким еб***нам захотелось себе череп прострелить, ни автомат ни Конструктор ни при чём.

Не хватает только DRM.

Причем тут костыли, причем тут простата? :D
Просто нужно тестить свой говнокод, перед тем как юзать :)))

Вот простáта тут однозначно не причем…

Так он и протестил, в проде...

Они забыли в команде указать последним главный ключ из man'а!

-i, --interactive
Выдавать запрос на удаление каждого файла. Если ответ не утвердителен, то файл пропускается.

Во всём нужно искать положительные стороны. Например, рассадников червей и спамоботов стало на полторы тыщи меньше.

хм. --no-preserve-root?

Все уже разобрались, что это троллинг.

Почтим памятью безвременно ушедшего раба божия того админа...

Патч имени Бармина накатили

Какой-то хипстер обжегся и решил запилить прохладную историю про якобы хостинг-провайдера. Знаем, проходили. Очередное напоминание, мол, "аккуратнее, ребзя! линух, оказывается, кусается!"

Ansible - мощь!

Удалите эту ерунду.  Человек на SO набросил потому что заняться нечем было, а вы тут репостите.

Атата.

Ну, это... Что делать-то будете? testdisk? photorec? R-Studio for Linux ($80)? А лучше в платный центр восстановления данных с повреждённых носителей. Вот уж они озолотятся с 1535 серверов!

когда я был сисадмином - мне не раз приходилось похерить пользовательские данные... это были и базы 1С, домены, пользовательские фотки, документы... я думал только я один такой дuбuл на свете...

И долго вы были сисадмином позвольте спросить ?

> И долго вы были сисадмином позвольте спросить ?

По резальтатам "работы" насильно переквалифицировали в "модного дизайнера".

лет 8

> я думал только я один такой дuбuл на свете...

Да нет же, дохрена вас...

Вообще-то Ansible по умолчанию падает с ошибкой при попытке обратиться к неопределенной переменной.

Дык, их, видать, пустыми строками определили :)

> Дык, их, видать, пустыми строками определили :)

Так! Человек вновь победил бездушную машину!

>>...мне не раз приходилось похерить пользовательские данные...

Наверное ты таки ОДИН...

1 апреля давно закончилось.

$ sudo rm -fr /
rm: опасно рекурсивно обрабатывать «/»
rm: используйте --no-preserve-root, чтобы отменить предупреждение об опасности

Не bashем единым.

При чем здесь bash? Это GNU coreutils.

Это был тонкий троллинг, закончившийся полнейшей жирнотой. Новость можно удалять.
http://serverfault.com/questions/769357/recovering-from-a-rm-rf

А /usr оно удалило?

> А /usr оно удалило?

Всё удалило. Даже /dev/null.

я тоже так сделал, правда, с фотками, не я один такой значит...

> Вот вам и мнимая простота Ansible.

т.е. этот же злосчастный bash скрипт на salt, chef, puppet отработал бы по другому? :D

> На всяких sh кодить дело не благодарное.

set -u нее, не слышал? Ну дак кто вам виноват.

#!/bin/bash

set -u
set -e

dir1="foo"
#dir2="bar"

rm -fr ${dir1}/${dir2}

# test.sh
./test.sh: line 11: dir2: unbound variable

P.S.
правда если будет dir1="" и dir2="", то сработает :)

О, я так другу в детстве программу написал и дал потестить. Только не сказал, что для того чтобы в ней появилось меню нужно нажать M, а до этого F10. В итоге он сказал, что программа ему очень понравилась, но впоследствии я выяснил, что дальше пустого чёрного экрана в её использовании он так и не продвинулся. Правда мне тогда было лет 12, а сколько лет было тому, кто придумал необходимость в "set -u" и сделал пробел значимым символом при присваивании значения переменной?

> Правда мне тогда было лет 12

Ну и зачем здесь эта прошлогодняя история?

# set -u бесполезен когда переменная объявлена, но пуста, пример: dir1=""
# Поэтому единственный выход проверить значения переменных непосредственно перед деструктивными операциями:

#!/usr/bin/env bash

err () {
   echo "Error: $1"
   exit 1
}

#dir1="1"
dir2="2"

[ "$dir1" == ""  ] && err "Undefined variable 'dir1'"
[ "$dir2" == ""  ] && err "Undefined variable 'dir2'"

cd ${dir1} && rm -R ${dir2}

# EOF

Кстати, -f в rm намекает на его кустарность оригинального скрипта.

Использование -u и -e для чего-либо кроме отладки - дурной тон.

> Использование -u и -e для чего-либо кроме отладки - дурной тон.

И чем они помешают в production? Пускай лучше упадет, чем некорректно работать будет.

Небольшая иструкция по работе с ошибками в скриптах: http://users.livejournal.com/_winnie/277041.html

>> Использование -u и -e для чего-либо кроме отладки - дурной тон.
> И чем они помешают в production? Пускай лучше упадет, чем некорректно работать
> будет.

Тем что их поведение не очевидно во многих случаях, всё это описано подробно в bash FAQ.

Снапшоты ФС не удаляются через rm, но почему-то народ считает что снапшоты не комильфо для бекапов

Открой для себя бездну гугль: консистентное состояния и snapshot.

В нормальных FS - снапшоты нормальные. :-р

Снапшоты не комильфо для бекапов, потому что если диск накернится, то даже 100 снапшотов вам не помогут. Но по своему они полезны.

Помогут, если их хранить на другом накопителе.

> Снапшоты не комильфо для бекапов, потому что если диск накернится, то даже
> 100 снапшотов вам не помогут. Но по своему они полезны.

снапшоты комильфо для бэкапов, а вот нераспределённое хранение бэкапов (которые могут быть в любом виде) - некомильфо
(хотя в терминалогии я не силён, что там называют бэкапами, что версионированием, а что резервным копированием - не в курсе)

Один разгильдяй не умеет писать скрипты на bash-е, не имеет системы контроля версий, не умеет настроить бекап. Второй держит этого "специалиста" на работе. А виноват ansible.

> Один разгильдяй не умеет писать скрипты на bash-е, не имеет системы контроля
> версий, не умеет настроить бекап. Второй держит этого "специалиста" на работе.
> А виноват ansible.

Да блин, вот и выросло поколение гуевых админов, которые ждут везде подтверждений типа "А Вы уверены?", причем раз по 10 на каждую сомнительную операцию.
Спасет таких админов только следующая метода:
QR-код, создаваемый спец. приложением на Айфоне, которым команды в баш-е на "управляемых" ими серверах будут через сервис Гугла писать, с предварительной проверкой их искусственным интеллектом от Майкрософт. Потому что собственный интеллект задропан в ноль и заменен креативностью еще в школе, что и удостоверено высоким баллом ЕГЭ.

Всетаки bash как язык программирования крайне неудобен, что повышает вероятность ошибок.

> Всетаки bash как язык программирования крайне неудобен, что повышает вероятность ошибок.

Точно такая ошибка с удалением всего содержимого диска есть например в Samsung kies, а он явно не на bash.

код покажите, может он еще там и dd if=/dev/zero of=/dev/hdd$inc

Он там уже написал, что перепутал if и of, а потом — что почти всё удалось восстановить.

Он в комментариях дальше пишет, что if и of перепутал, когда один из дисков восстанавливал, так что да.

> бэкапы, хранилище которых было примонтировано к одному из серверов

Правильная архитектура не должна позволять выстрелить себе в ногу. Надо монтировать read-only, или вообще отдавать данные с коиента на сервер.

>> бэкапы, хранилище которых было примонтировано к одному из серверов
> Правильная архитектура не должна позволять выстрелить себе в ногу. Надо монтировать read-only

проблема в том что это ошибка в скрипте который:
1) и должен работать с пользовательскими данными, тоесть они при его работе будут в w
2) распределяется к работе на все сервера

даже если бы ВЕСЬ диск не поврайтился - пользовательские данные потёрлись бы (даже забывая что сама новость похоже фейковая)
тоесть тут поможет только правильное бэкапирование с версионированием (ну и распределённостью)

О, да. Так им и надо! Это все от того, что все боятся сишки.

> О, да. Так им и надо! Это все от того, что все боятся сишки.

как будто rm-rf написан не на сишке
правильно делают что боятся !!! сишка убила винт а баш тока отдал преступный приказ !!!!!1112

"rm -rf {foo}/{bar}"?  Что значит вообще значит?  В шелл скриптах для интерполяции используется символ доллара, а в Jinja2 и YAML, которые используются в Ansible, -- две пары фигурных скобок.

rm - rf / не удаляет данные уже лет пять как, удалите этот фейк

ай красаучик админ, четко ошибся, от души код

rm -rf всегда считалась опасной командой, LOL

я всегда удаляю данные через mv: mv /tmp/trash.txt /dev/null

Как ща помню. Перепутал как-то "./", написав, вместо этого "/." Когда понял, что что-то пошло не так, большая часть файлов в каталоге /dev была удалена. 8-[=====]X
В общем-то, к утру SCO был починен и бодро жужжал ораклом. 8-)

После этого инцидента, правильная команда была засунута в крон, чтобы уже ни какие очумелые ручки не мешались. И костыли эти работали уже до самого конца.
Предыдущий админ сказал, что у него на это ушло двое суток, при поддержке саппорта разработчика.

А вся эта беда была нужна потому, что у софта был какой-то глюк, когда он начинал в великом множестве плодить пустые файлы, что приводило к остановке дисковой системы, по причине занятости всех i-node.

> Тем что их поведение не очевидно во многих случаях, всё это описано подробно в bash FAQ.

а какое может быть не очевидное поведение у set -u?