Serwerownię ratowały trzy wentylatory i otwarte okno

Stabilność infrastruktury

W naszej serwerowni są dwie klimatyzacje.

Nie jedna.

Dwie.

Bo ktoś kiedyś mądrze powiedział:

redundancja to podstawa.

I generalnie działało to całkiem dobrze.

Serwerownia:

• chłodna,
• stabilna,
• około 18 stopni,
• serwery szczęśliwe,
• dyski nie gotują się jak jajka na twardo,
• administratorzy śpią spokojnie.

Czyli dokładnie ten stan, którego infrastruktura IT nienawidzi najbardziej.

Godzina 02:47

I wtedy…

PIIIIIIP

Alarm czujnika temperatury.

Ten dźwięk ma bardzo specyficzną właściwość:

• budzi człowieka szybciej niż budzik,
• szybciej niż telefon,
• szybciej niż informacja:

produkcyjna baza nie odpowiada.

Patrzę na monitoring.

Temperatura rośnie.

I już wiadomo.

Jedna klimatyzacja zdechła.

Problem rozwiązany… poprzednim razem

Najlepsze jest to, że to już drugi raz.

Poprzednio wyglądało to identycznie.

Alarm. Panikowanie. Technicy przyjeżdżają.

Patrzą. Mruczą coś pod nosem. Idą do bezpieczników.

I wykonują najbardziej zaawansowaną operację serwisową XXI wieku:

wyłącz
włącz

Klimatyzacja ruszyła.

Technik z miną człowieka kończącego operację na otwartym sercu powiedział:

No. Naprawione.

Tylko że wtedy już był komunikat:

problem z czynnikiem chłodzącym.

Ale najwyraźniej został potraktowany jak kontrolka check engine:

dopóki jedzie, to po co drążyć temat.

Powrót piekła

No i teraz mamy sequel.

Dokładnie ten sam komunikat. Dokładnie ten sam problem. Dokładnie tę samą temperaturę rosnącą szybciej niż ciśnienie administratora po telefonie z zarządu.

Klimatyzacja martwa.

Serwerownia zaczyna przypominać saunę premium dla sprzętu Dell.

A serwery powoli przechodzą ze stanu:

working

…w stan:

medium rare.

Disaster Recovery Plan: WENTYLATOR

I tutaj zaczyna się najpiękniejsza część tej historii.

Bo profesjonalna infrastruktura firmy została właśnie uratowana metodą:

a może otworzymy okno.

Aktualnie sytuacja wygląda tak:

Wentylator 1

Stoi przy otwartym oknie. Zasysa zimne powietrze z dworu.

Wentylator 2

Stoi w korytarzu. Przekazuje powietrze dalej jak sztafeta olimpijska.

Wentylator 3

Wepchnięty przy wejściu do serwerowni. Napierdala zimnym powietrzem prosto na racki.

I w tym momencie cała wielomilionowa infrastruktura firmy działa dzięki:

• przeciągowi,
• trzem wentylatorom,
• i prawom fizyki z szóstej klasy podstawówki.

Enterprise cooling solution

Najpiękniejsze jest to, że jak człowiek spojrzy z daleka, to wygląda to jak:

• tajny eksperyment NASA,
• domowa destylarnia,
• albo próba chłodzenia reaktora atomowego sprzętem z Castoramy.

Brakuje tylko:

• duct tape,
• kabla przedłużacza przez pół budynku,
• i administratora krzyczącego:

NIE ZAMYKAĆ TYCH DRZWI!

Monitoring temperatury

Siedzimy więc i obserwujemy wykres temperatury jak lekarze monitorujący pacjenta po ciężkiej operacji.

19… 20… 21…

Każdy stopień wyżej powoduje coraz większe poczucie, że:

• serwery zaraz eksplodują,
• storage zacznie płakać,
• a UPS-y przejdą transformację w piekarniki konwekcyjne.

Morał działu IT

Ludzie często myślą, że nowoczesna infrastruktura IT opiera się na:

• chmurze,
• automatyzacji,
• sztucznej inteligencji,
• redundancji,
• i zaawansowanych systemach monitoringu.

Po latach pracy mogę powiedzieć jedno.

Bardzo często wszystko działa dzięki:

• jednemu administratorowi,
• prowizorce,
• i wentylatorowi kupionemu kiedyś w Lidlu za 79 zł.