Cyberfolks.pl wprowadza się do nowego centrum danych. Jak działają takie obiekty?

Dane przechowywane są w specjalistycznych obiektach, zwanych centrami danych (ang. data centers). Te rozwijają się niezwykle dynamiczne, a wśród wielu z nich możemy zobaczyć projekty niezwykle efektowne, np. jak ten zbudowany przez należący do Microsoftu Github, czyli Github Arctic Code Vault, przygotowany z myślą o tym, aby żadna z katastrof, jaka może nawiedzić Ziemię, nie zniszczyła bezpowrotnie przechowywanych danych o charakterze open-source. To centrum przygotowane z myślą o ok. 1000 lat przechowywania!

Polskie firmy również inwestują w nowoczesne data center. Nie inaczej jest w przypadku operatora hostingu Cyber Folks. Firma prowadzi właśnie proces migracji części zasobów do Data Center Soul, którego właścicielem jest Netia S. A. Obiekt będzie obsługiwał usługi serwerów dedykowanych, które w związku z rozwojem firmy przestały się już mieścić w dotychczasowym obiekcie w Krakowie.

Ten artykuł przygotowaliśmy z myślą o:

Centrum danych to obiekt, w którym przechowywane są znaczne zasoby danych. Najczęściej w szafach, czyli pionowych konstrukcjach, mieszczących w sobie serwery, macierze dyskowe i urządzenia sieciowe, ułożone w formie płaskich kaset. Szafy ustawione są jedna obok drugiej na terenie serwerowni, czyli głównego pomieszczenia centrum danych.

Tu warto odnotować, że centra danych zajmują olbrzymią powierzchnię. Dla przykładu Netia Data Center Soul w Krakowie, do którego przenosi się Cyber Folks, zajmuje przestrzeń 3500 metrów kwadratowych - tyle samo, co połowa stadionu FC Barcelona! 

W centrum danych znajduje się kilka osobnych komór, przeznaczonych na sprzęt serwerowy. Taka część nazywa się serwerownią. W skład centrum wchodzą też dodatkowe pomieszczenia, mieszczące niezbędną infrastrukturę. Jaką konkretnie? O tym za moment.

Naturalnie, aby usługi w sieci działały nieprzerwanie, kluczowe jest zapewnienie niezawodności w obszarze zasilania w energię elektryczną. Aby było to możliwe, niezbędne jest przygotowanie infrastruktury. W wypadku krakowskiego centrum danych jest to ok. 300 km kabli. Gdyby je wszystkie połączyć w jedną, prostą linię, moglibyśmy przesłać nią prąd z Krakowa do Poznania!

Najważniejsze z punktu widzenia ciągłości działania są takie elementy infrastrukturalne jak pomieszczenia UPS, transformatory, agregaty prądotwórcze, ale nim przejdziemy do wyjaśnienia, czym są te elementy, należy zrozumieć pojęcie redundancji - czyli nadmiarowości. 

Aby zachować maksymalny poziom niezawodności, oba zasilacze w centrach danych są zazwyczaj podpinane pod oddzielne tory zasilania. Niesie to dwie istotne zalety:

Łączna moc szczytowa w centrum danych Netia Soul to 5 000 000 W - taka moc byłaby w stanie zasilić osiedle ok. 350 domów jednorodzinnych. To blisko połowa mocy Nautiliusa - pierwszego amerykańskiego okrętu podwodnego z napędem atomowym, a można powiedzieć, że w skali światowej spotkać można obiekty znacznie większe, o jeszcze większym zapotrzebowaniu na moc elektryczną.

Aby tę moc dostarczać nieprzerwanie, stosowane są UPS-y oraz generatory. UPS-y to - w uproszczeniu - potężne zestawy akumulatorów wraz z elektroniką sterującą ich działaniem. Być może kojarzysz je z zabezpieczenia sprzętów biurowych. To one dostarczają prąd, niejako zapewniając „bufor” na wypadek awarii sieci zewnętrznej. Napięcie jest podawane w sposób bezprzerwowy, dzięki temu serwery zachowują ciągłość działania nawet w obliczu odcięcia napięcia z zewnątrz. Naturalnie, tutaj liczba akumulatorów jest nieporównanie większa - potrzebne są całe dedykowane pomieszczenia tylko do przechowywania regałów z potężnymi akumulatorami.

Stosowane są przy tym osobne zestawy UPS do zasilania serwerów oraz urządzeń klimatyzacji precyzyjnej, bowiem do działania serwerów niezbędny jest zarówno prąd, jak i stałe chłodzenie.

Mimo faktu, że mówimy o wielotonowych stosach akumulatorów, energia w nich zgromadzona tak naprawdę nie jest potrzebna zbyt długo - przede wszystkim przez czas niezbędny do uruchomienia generatorów awaryjnych (liczony w sekundach). W obiekcie w Krakowie, do którego cyberfolks.pl się wprowadza, są 4 generatory utrzymywane w stanie ciągłej gotowości, o mocy 2000 kVA każdy. 

Samochód osobowy mógłby 15 razy okrążyć Ziemię, pokonując ponad pół miliona kilometrów na tysiącach litrów paliwa, zgromadzonego wyłącznie po to, żeby w razie konieczności obiekt mógł stać się „własną elektrownią” i zasilać wszystkie urządzenia wewnątrz nawet przy całkowitym odcięciu zewnętrznego zasilania. 

Potężna instalacja bazuje nie tylko na tradycyjnych, elastycznych przewodach, ale na tzw. szynoprzewodach, zdolnych do obsługi natężeń prądu rzędu 3200 A! Obrazowo mówiąc -  tak wielkie natężenia są przesyłane po prostu specjalnymi szynami, które są w stanie przesyłać prąd o natężeniach setki razy większych niż te znane z domowej sieci.

Chłodzenie w centrach danych to zagadnienie wymagające szczególnego podejścia - serwery wytwarzają bowiem podczas pracy wyjątkowo dużo ciepła. Nie wystarczy jednak schłodzenie „jakiekolwiek”. Agregaty chłodnicze muszą działać nieprzerwanie i wykazywać się ogromną wytrzymałością i wydajnością. Także tutaj niezbędna jest redundancja - czyli zapewnienie większej ilości zasobów, niż jest to potrzebne do zachowania ciągłości działania.

W wypadku klimatyzacji obsługującej centrum danych koniecznie jest wyjątkowe dbanie zarówno o temperaturę, jak i o wilgotność. Chodzi o to, że powietrze zbyt suche powoduje zwiększenie ryzyka wyładowań elektrostatycznych, podczas gdy powietrze nadmiernie wilgotne powoduje ryzyko powstania skroplin w niepożądanych miejscach. W obu wypadkach skutki dla sprzętu serwerowego pod napięciem byłyby zgubne.

Cały sprzęt serwerowy jest ustawiony w oparciu o filozofię zimnych i ciepłych naw. Serwery od przodu pobierają chłodne powietrze, a następnie przepływa ono przez serwer i jest wyrzucane do tyłu, do tzw. nawy gorącej. Klimatyzacja o wysokiej gęstości pozwala na umieszczenie sprzętu o mocy nawet kilkunastu kW w każdej szafie.

Centra danych to obiekty szczególne i wymagają szczególnego podejścia do detekcji i zwalczania pożarów. System VESDA potrafi wykryć minimalną ilość dymu (wystarczy jeden spalony zasilacz wśród setek serwerów) i podnieść alarm.

Odrębnym systemem jest system detekcji wodoru, związany z potężnymi bateriami akumulatorów - to technologia zbliżona do tych znanych z okrętów podwodnych. Chroni przed niekontrolowanym wybuchem gazu.

Ogromnym wyzwaniem jest szybkie gaszenie. Po centrach danych nie biega się z gaśnicami, ani nie zalewa ich wodą. Z oczywistych powodów gaszenie takiej ilości wrażliwego sprzętu elektrycznego pod napięciem przebiega inaczej.

Stosowane są przede wszystkim instalacje oparte o wypieranie tlenu z powietrza. Ponownie są to zaadaptowane z marynarki wojennej rozwiązania. Kiedy usuniemy tlen - spalania nie będzie. Dlatego w centrach danych składuje się ogromne butle ze specjalnymi gazami gaśniczymi. Gaz jest tam zgromadzony pod ogromnym ciśnieniem rzędu 300 barów (dla porównania: ciśnienie w oponie auta osobowego to ok. 2 bary). Nowszy system, stosowany w data center Soul, to gaz FM200/Novec - pracuje on na niższych (choć wciąż ogromnych) ciśnieniach 42 bary. Dlaczego?

Ciśnienie musi być wysokie, by w razie pożaru gaz został szybko uwolniony. Wypełnienie pomieszczenia gazem trwa to ok. 10 sekund. Brzmi to jak prosta teoria, a w praktyce trzeba brać pod uwagę jeszcze takie elementy jak nagły skok ciśnienia czy… hałas albo to, czy w gaszonym pomieszczeniu ma przeżyć człowiek (tlen!).

Hałas okazuje się szczególnie groźny dla współczesnych dysków twardych o wysokiej gęstości. Takie dyski w obudowie o średnicy zaledwie 3,5 cala potrafią zmieścić kilkanaście TB danych. To jakby na jeden dysk zapisać 5 milionów dobrej jakości zdjęć - 200 osób przez całe życie musiałoby codziennie robić zdjęcie, aby zapełnić taki dysk. Praca głowicy unoszącej się na poduszce powietrznej nad dyskiem wirującym z szybkością 7200 obrotów na minutę, z tak gęsto upakowanymi danymi, to prawdziwy popis mechanicznej precyzji. Huk fali dźwiękowej, spowodowany niekontrolowanym wystrzałem gazu gaśniczego, może doprowadzić do niekontrolowanego przesunięcia tak precyzyjnie pracującej głowicy i spowodować uszkodzenie danych (lub nawet nośnika). 

W zastosowaniach tego rodzaju firmy często sięgają po inne modele dysków twardych niż te, znane z biurowej rzeczywistości - są to urządzenia o znacznie podniesionej wytrzymałości na wibracje, o które bardzo łatwo w pracy macierzowej, kiedy wiele dysków pracuje tuż obok siebie.

Skoro wiesz już, jak zbudowane jest centrum danych, masz też świadomość, że tego rodzaju obiekt to nie jest zwykłe pomieszczenie biurowe. Konieczne jest zastosowanie w nim adekwatnych środków ochrony - m.in. system uprawnień, kart dostępowych. W krakowskim obiekcie jest ponad 70 punktów kontroli dostępu, działających w oparciu o wpisanie PIN oraz skanowanie biometryczne.

Bezpieczeństwa fizycznego strzeże kilkadziesiąt czujników ruchu. Każde drzwi są wyposażone w czujnik otwarcia, a wokół ogrodzenia znajdują się bariery podczerwieni. Obiekt oczywiście jest całodobowo chroniony.

Dane muszą być chronione nie tylko przed ludźmi. Twoje dane chronione są także przed zagrożeniami… z kosmosu! 

Informacje w modułach pamięci są przechowywane w postaci ciągów zer i jedynek. Promieniowanie kosmiczne, mimo że w znacznym stopniu redukowane przez atmosferę ziemską, potrafi doprowadzić do przestawienia bitów - zamiany zera i jedynki. Jak nietrudno zgadnąć, skutki zależą od tego, czego dotyczyła informacja w pamięci - mogą być praktycznie niezauważalne (np. jedna niewłaściwa litera w długim tekście), albo bardzo poważne (np. zawieszenie serwera, nieprawidłowa operacja w bazie danych itp.).

Dlatego stosowane rozwiązania bazują na korekcji i detekcji błędów ECC. To specjalny układ przechowujący sumę kontrolną bajtu w pamięci. W razie, gdyby którykolwiek bit uległ przestawieniu - układ przywraca mu właściwą wartość.

Ciekawostka - ta technologia pochodzi z kosmosu - miała zastosowanie m.in. przez NASA podczas misji kosmicznych. Sonda kosmiczna Cassini, badające pierścienie Saturna, notowała 240 błędów pamięci RAM na dobę!

Dane w pamięci trwałej są także szczególnie chronione i tu znów pojawia się zagadnienie redundancji. Są one zapisywane jednocześnie na więcej niż jeden nośnik. W odniesieniu do dysków mechanizm ten nazywamy RAID. Dzięki niemu dane znajdują się jednocześnie na wielu nośnikach (fizycznych dyskach) i w razie awarii możemy wymienić wadliwie działający dysk, bez utraty zapisanych na nim informacji. Po wymianie komponentu zostaną one odbudowane w oparciu o nowy napęd. W ten sposób w razie awarii dysku dane nie są tracone.

Prawdopodobnie słyszysz czasem wentylator włączający się podczas pracy komputera lub laptopa. W wypadku serwerów mówimy o wielu małych wentylatorach, które dbają o odpowiednią cyrkulację powietrza między komponentami serwera - tak, aby odbierać ciepło z gorących dysków, procesorów czy modułów RAM i przepychać je ku tyłowi urządzenia.

W wypadku profesjonalnych serwerów urządzenie jest odporne na awarię takiego wentylatora. Gdyby do niej doszło, pozostałe wentylatory zwiększają automatycznie swoje obroty tak, aby zapewnić taki sam przepływ powietrza, a uszkodzony moduł wentylatora wymienić można bez przerywania pracy urządzenia.

Kolejna sprawa to specjalny procesor diagnostyczny. Pozwala on na diagnozowanie sprzętu i raportowanie każdej usterki czy istotnych parametrów pracy. Dzięki niemu specjaliści są w stanie np. odczytać temperatury w każdym serwerze i to w wielu jego punktach. Możemy też np. dowiedzieć się, że jakiś moduł pamięci RAM wyraźnie częściej dokonuje korekcji błędów niż inne, a co za tym idzie - możliwe, że należy go wymienić, zanim spowoduje to usterkę.

Większość usterek, jakie zdarzają się w obszarze centrum danych czy infrastruktury  serwerowej, jest tak naprawdę w ogóle nieodczuwalna przez klientów - to dzięki wspomnianej redundancji, czyli zasadzie, w myśl której mamy więcej komponentów, niż jest to wymagane do pracy danego systemu.

To specjalistyczne obiekty, dzięki którym funkcjonować mogą firmy hostingowe, portale, dostawcy usług online, największe sklepy internetowe. To technologiczna podstawa, umożliwiająca funkcjonowanie stron internetowych, aplikacji i usług, z których korzystasz na codzień.

Dlatego, decydując się na wybór firmy hostingowej, warto wiedzieć, jak podchodzi ona do tego rodzaju zagadnień. Czytając opis stosowanych technologii i zabezpieczeń z pewnością umiesz wyobrazić sobie, że profesjonalne przechowywanie danych wiąże się ze znacznymi nakładami finansowymi. Jest to jeden z istotnych składników ceny usług hostingowych. Kiedy więc planujesz wybranie usługi hostingowej z wyjątkowo niską ceną - zadaj sobie pytanie, na którym z tych elementów oszczędzono? Naszym zdaniem - warto stawiać na solidnych operatorów hostingu, korzystających ze sprawdzonych centrów danych. Do takich należy cyberfolks.pl

* Materiał powstał we współpracy z Cyber Folks.