Pięć minut przed backupem

Piątek. Czas podejmowania złych decyzji.

W IT istnieją pewne niepisane zasady.

Na przykład:

Nie ruszaj produkcji w piątek.

Jest to zasada stara, sprawdzona i okupiona cierpieniem tysięcy administratorów na całym świecie.

Niektórzy mówią nawet, że została wyryta na kamiennych tablicach zaraz obok:

• rób backupy,
• testuj backupy,
• nie ufaj użytkownikom.

Ale jak wiadomo, każda zasada istnieje po to, żeby znalazł się ktoś, kto uzna:

A co najgorszego może się stać?

Harmonogram bezpieczeństwa

W tamtych czasach backupy robiliśmy dwa razy dziennie.

O:

• 8:00
• 16:00

Całkiem sensownie.

Jeżeli coś wybuchnie rano — mamy kopię.

Jeżeli coś wybuchnie po południu — też mamy kopię.

Generalnie wszystko było przygotowane na typowe ludzkie błędy.

Nie było natomiast przygotowane na kreatywność administratorów.

Godzina 15:55

Piątek.

15:55.

Pięć minut do backupu.

Pięć.

Minut.

Większość administratorów w tym momencie siedziałaby spokojnie i czekała, aż kopia bezpieczeństwa się wykona.

Ale nie nasz bohater.

Poprzedni administrator sieci spojrzał na maszynę wirtualną.

Maszyna spojrzała na niego.

I wtedy w jego głowie pojawiła się myśl:

Zrestartuję ją.

Teraz.

Natychmiast.

Pięć minut przed backupem.

W piątek.

Na produkcji.

Najsłynniejszy restart w historii firmy

Klik.

Restart.

I tutaj do akcji wkracza najpotężniejsza siła we wszechświecie.

Złośliwość przedmiotów martwych.

Maszyna zaczęła się restartować.

Restartowała się.

I restartowała.

I dalej restartowała.

Aż w końcu przestała robić cokolwiek sensownego.

Maszyna zawisła.

System zawisł.

Baza danych zawisła.

A chwilę później okazało się, że baza danych właśnie odbywa spotkanie z Panem Bogiem.

Backup istnieje

Na szczęście mieliśmy backup.

Prawda?

Oczywiście.

Tylko że ostatni backup był z:

8:00 rano.

A aktualna godzina była:

prawie 16:00.

Czyli dokładnie pięć minut przed wykonaniem kolejnej kopii.

I właśnie wtedy wszyscy zaczęli wykonywać w głowie bardzo nieprzyjemne obliczenia.

Matematyka cierpienia

Od 8:00 do 15:55 wydarzyło się:

• osiem godzin pracy firmy,
• tysiące operacji,
• dokumenty,
• zamówienia,
• stany magazynowe,
• produkcja,
• księgowość,
• i cała reszta rzeczy, które ludzie wpisują do systemów, a później zakładają, że będą tam już na zawsze.

Nie były.

Faza paniki

W tym momencie rozpoczyna się klasyczny proces korporacyjny.

Etap pierwszy:

Spokojnie, na pewno da się odzyskać.

Etap drugi:

Kto ma numer do specjalisty od baz danych?

Etap trzeci:

Czy ktoś zna jeszcze lepszego specjalistę od baz danych?

Etap czwarty:

Pakujcie dyski do samochodu.

I tak właśnie rozpoczęła się jedna z najbardziej absurdalnych operacji ratunkowych, jakie pamiętam.

Magik od baz

W pewnym momencie sytuacja osiągnęła poziom, na którym przestajesz mówić:

administrator baz danych

a zaczynasz mówić:

magik.

Bo dokładnie tak to wyglądało.

Dyski zostały wyjęte.

Zapakowane.

Przewiezione.

Przekazane człowiekowi, którego zadaniem było wyciągnięcie danych z miejsca, gdzie normalni ludzie widzieli już tylko cyfrowe zgliszcza.

Powrót do 15:55

A równolegle trwała druga operacja.

Znacznie gorsza.

Odtwarzanie wszystkiego, co wydarzyło się między 8:00 a 15:55.

I nagle okazało się, że:

• magazyn musi sprawdzać dokumenty,
• księgowość musi porównywać dane,
• produkcja musi odtwarzać operacje,
• handlowcy muszą przypominać sobie co wpisywali.

Pół firmy zamieniło się w archeologów własnej pracy.

Każdy próbował odtworzyć stan rzeczywistości sprzed katastrofy.

Pięć minut

I najlepsze w tej historii jest to, że cała katastrofa wydarzyła się przez:

pięć minut.

Gdyby restart został wykonany:

• godzinę wcześniej,
• dzień wcześniej,
• godzinę później,
• albo po backupie,

najprawdopodobniej nikt dzisiaj by o tym nie pamiętał.

Ale nie.

Wszechświat wybrał dokładnie ten moment.

15:55.

Morał działu IT

Po latach pracy nauczyłem się jednej rzeczy.

Istnieją dwa rodzaje administratorów:

Typ pierwszy

Patrzy na produkcję w piątek o 15:55 i mówi:

Poczekam do poniedziałku.

Typ drugi

Patrzy na produkcję w piątek o 15:55 i mówi:

Przecież to tylko szybki restart.

Historie o pierwszym typie administratorów nie trafiają na blogi.

Bo nic się wtedy nie dzieje.