TEST to przecież można skasować
Czyli historia o tym, jak nowy kierownik IT usunął produkcyjną bazę danych i cofnął firmę technologicznie do epoki długopisu.
uid two
IT · SysOps · Helpdesk
Narodziny katastrofy
Kilka lat temu firma postanowiła:
Musimy stworzyć profesjonalny dział IT.
I wtedy pojawił się ON.
Nowy kierownik.
Człowiek z energią:
- kaprala po trzech rozwodach,
- Janusza zarządzania,
- i typa, który myśli, że podniesiony głos automatycznie zwiększa kompetencje.
Był chamski. Był arogancki. Był przekonany, że wie wszystko najlepiej mimo tego, że ledwo odróżniał bazę danych od folderu z fakturami.
Nikt go nie lubił.
Po tygodniu ludzie na korytarzu robili uniki jak przed NPC-em z agresywnym dialogiem.
Ale on miał wizję.
Budował dział IT.
Pierwszy człowiek do poświęcenia
Pierwszą osobą, którą zatrudnił, był programista od ERP-a.
Spokojny chłopak. Typ człowieka, który:
- naprawia rzeczy po cichu,
- nie robi problemów,
- i prawdopodobnie miał ciśnienie 200 tylko od słuchania kierownika.
Dostał zadanie:
Ogarnij system.
No i ogarniał.
ERP działał. Firma działała. Magazyn działał. Dokumenty latały. Handlowcy mogli udawać, że pracują.
Czyli wszystko było dobrze.
A to w korporacji zawsze oznacza, że zaraz wydarzy się coś bardzo złego.
Alarm: kończy się miejsce
Któregoś dnia na serwerze zaczęło brakować miejsca.
Klasyczny dzień administratora:
- dysk czerwony,
- alerty wyją,
- człowiek przegląda katalogi sprzed ery dinozaurów,
- i zastanawia się, czy
final_final_v2_oldmożna już usunąć.
Kierownik razem z programistą zaczęli przeglądać serwer.
I tutaj trzeba zaznaczyć jedną rzecz.
Programista przeglądał serwer, bo wiedział co robi.
Kierownik przeglądał serwer, bo miał potrzebę uczestniczenia.
To bardzo ważna różnica.
Człowiek kontra nazwa bazy danych
No i trafiają na bazę danych o nazwie:
TEST
Kierownik patrzy.
Mózg wykonuje dwa obroty na biegu jałowym.
I pada legendarne polecenie:
Kasuj.
Programista jeszcze próbował:
Ale może sprawdźmy…
Na co kierownik, tonem człowieka, który ostatnio miał rację w 2004 roku:
No przecież TEST. Po co to komu?
I tutaj właśnie cała firma popełniła błąd:
- zaufano człowiekowi,
- który podejmował decyzje techniczne na podstawie nazwy pliku.
To trochę jak amputacja nogi, bo ktoś miał na bucie napis:
SPORT.
Delete from rzeczywistość
Kilka sekund później ERP przestał istnieć.
Nie miał awarię.
Nie pojawiły się problemy.
On po prostu wyparował z powierzchni ziemi.
Cała firma nagle:
- nie widzi klientów,
- nie widzi zamówień,
- nie widzi dokumentów,
- nie widzi niczego.
Telefony zaczynają dzwonić jak podczas black friday w call center piekła.
Handlowcy panikują. Magazyn stoi. Księgowość wygląda jak po EMP.
A kierownik pierwszy raz od zatrudnienia wyglądał tak, jakby dotarło do niego, że komputer to nie mikrofalówka.
Backup? Fantastyka naukowa
I wtedy pada najważniejsze pytanie w historii każdej katastrofy IT:
Mamy backup?
Oczywiście, że nie było backupu.
Bo gdyby był backup, to historia skończyłaby się po 20 minutach, a nie po tygodniu zbiorowej depresji.
Firma właśnie odkryła, że cały jej nowoczesny system ERP był zabezpieczony mniej więcej tak dobrze jak rower zostawiony pod sklepem.
Powrót do neolitu
Przez tydzień firma pracowała na kartkach.
Na. Pieprzonych. Kartkach.
Zamówienia ręcznie. Dokumenty ręcznie. Notatki ręcznie.
Ludzie nagle przypomnieli sobie, że długopis istnieje nie tylko do podpisywania delegacji.
Najlepsze było obserwowanie managerów, którzy wcześniej mówili:
Ten system nie jest aż taki ważny.
A teraz biegali po biurze z twarzą człowieka, któremu wyłączono tlen i Wi-Fi jednocześnie.
Informatyczna teoria chaosu
To była też cenna lekcja.
Bo od tamtej pory wszyscy wiedzieli już, że:
test,nowy,backup_old,tmp2_final,- i
do_usuniecia
…mogą być absolutnie krytycznymi elementami infrastruktury firmy.
Zwłaszcza jeśli system budowano latami metodą:
jakoś to działa, nie dotykaj.
Morał działu IT
W informatyce istnieją ludzie, którzy:
- robią backupy,
- testują przed usunięciem,
- dokumentują systemy.
I istnieją też kierownicy, którzy patrzą na produkcyjną bazę danych i mówią:
Kasuj.
A potem przez tydzień udają, że sytuacja została dynamicznie zaadresowana operacyjnie.