Atak DDoS zatrzymał dziś polską chmurę Oktawave, a przy okazji nas - wyjaśnienie przyczyn awarii
Dzisiaj około godziny 13:15 pojawiły się problemy w działaniu Spider’s Web i sPlay. Jak się później okazało powodem był potężny atak DDoS skierowany w stronę dostawcy naszego hostingu - Oktawave. Teraz przedstawiciele polskiej chmury obliczeniowej starają się wyjaśnić całą sytuację.
Kilkanaście minut po trzynajstej zaobserwowałem problemy z w działaniu strony Spider’s Web. Uwagi techniczne skierowaliśmy do naszych koderów i Oktawave. Okazało się, że byliśmy wtedy świadkami początku naprawdę sporego ataku. W wyniku DDoS-u (Distributed Denial of Service) infrastruktura Oktawave nie była w stanie przetworzyć ogromnej liczby pakietów.
Początkowo o ataku nie wiedzieliśmy zbyt wiele. Facebookowy fanpage Oktawave milczał. Pojawiały się tam tylko wpisy kolejnych klientów, którzy dopytywali o to co się stało z ich serwisami, witrynami i blogami.
Pamiętajmy, że Oktawave obsługuje przeważnie większych klientów, ale w związku z zawarciem partnerstwa z firmą Zenbox - o czym pisaliśmy niedawno - ofiarami padło również wiele mniejszych blogów. Między innymi dlatego awaria Oktawave odbiła się w mediach społecznościowych tak wielkim echem.
Pierwszym oficjalnym komentarzem w sieci był wpis Macieja Kuźniara na Facebooku, który pojawił się tam o godzinie 14:28:
Obserwujemy niezywkle silny atak typu ddos na naszą infrastrukturę, momentami liczba pakietów docierających do naszych urządzeń brzegowych przekracza 1mln/s. Będziemy na bieżąco informować o rozwoju sytuacji.
O godzinie 14:41 na oficjalnym fanpejżu Oktawave pojawił się następny komunikat.
Około 15:30 serwery Oktawave zaczęły odpowiadać na zapytania. Do życia wróciły również Spider’s Web oraz sPlay.
Tak problemy powyższe problemy opisał w artykule “Atak DDoS na polską chmurę Oktawave - Spider's Web i wiele innych stron nie działa” portal Technologie.Gazeta.pl:
(...)Teraz podobne problemy przeżywa polska chmura, Oktawave. W efekcie problemy z działaniem ma wiele stron, a wśród nich znane serwisy Spider's Web i sPlay. Wejście na nie jest problematyczne, trwa długo, a w efekcie i tak możemy otrzymać poszatkowaną stronę.
Uff... Na szczęście wszystkie znane i lubiane serwisy są już teraz dostępne :)
Około 16:50 na oficjalnym profilu Oktawave pojawiło się kolejne wyjaśnienie:
Był sobie kiedyś Dawid i Goliat. Znacie dobrze tę historię. Goliat zazwyczaj nie jest szczęśliwy, kiedy Dawid podważa status quo i czasem pręży muskuły. Dziś dostało się więc jednemu z naszych Klientów, a przy okazji nam samym.
O godzinie 13:20 nasze urządzenia brzegowe zarejestrowały ruch przekraczający 600 tys. pakietów na sekundę, skierowane w kierunku jednego z klientów. Pół godziny później liczba pakietów przekroczyła 1 milion na sekundę, żeby około 14:10 osiągnąć poziom 24 milionów pakietów na sekundę.
Od samego początku identyfikowaliśmy źródła i prowadziliśmy tzw. selektywny blackholing, czyli filtrowaliśmy pakiety. Całą procedurę udało się nam ukończyć około 15:25 i wtedy również ustabilizowaliśmy infrastrukturę.
Co w naszej ocenie jest ważne? Otóż atak dotyczył warstwy sieciowej, a to oznacza, że za urządzaniami sieciowymi panował pełen spokój, a Wasze dane były całkowicie bezpieczne. Problem polegał na dostępności łączy, a tym samym dostępności z sieci zewnętrznej samej infrastruktury Oktawave.
Czego się nauczyliśmy?
- Że nie jesteśmy w pełni odporni na DDoS. Banał, ale to nie był pierwszy atak na naszą infrastrukturę - do tej pory radziliśmy sobie z nimi bez problemu. Tym razem skala i przygotowanie DDoS okazały się o wiele skuteczniejsze i jesteśmy pełni podziwu. Jeśli oddzielić kwestie oceny etycznej, to chłopakom odpowiedzialnym za ten atak należą się słowa uznania.
- Że mamy jeszcze trochę do zrobienia. Chcielibyśmy, żebyście wiedzieli, że nie wracaliśmy dziś do Warszawy naszymi jetami z Karaibów, by poblokować garść pakietów. Cały czas pracujemy nad tym, by nasza chmura była jeszcze lepsza i dzisiejszy klaps daje nam nową motywację.
- Że mamy niesamowitą społeczność! To jak większość z Was zareagowała na dzisiejszą przerwę w działaniu, jest po prostu niesamowite. To nie prawda, że Polska to kraj hejterów. Dziękujemy za tę wyrozumiałość.
Blah, blah, jak macie zamiar to naprawić?
Głupio byłoby teraz mówić, że wciąż mieścimy się w SLA, choć to prawda. Dlatego każdemu z naszych klientów powiększymy saldo o 10% w stosunku do jego wydatków w poprzednim miesiącu. Mamy nadzieję, że to choć trochę osłodzi wszystkim gorycz dzisiejszego faila. Prosimy, napiszcie w tej sprawie na adres customer@oktawave.com.
Jeszcze raz dziękujemy wszystkim naszym użytkownikom i blogerom, którzy pokazali klasę i podeszli do sprawy ze zrozumieniem. To dla nas wielka duma, że wokół Oktawave zgromadziła się taka społeczność. Za wymierzonego nam dzisiaj klapsa szczerze przepraszamy.
Trzeba przyznać, że PR-owo przedstawiciele Oktawave wyszli z tej awarii całkiem nieźle. Postanowiliśmy jednak zapytać przedstawicieli o to, który z ich klientów nadepnął komuś na odcisk.
Przemysław Pająk, Spider’s Web: Jakiego klienta atakowano?
Dariusz Nawojczyk, Oktawave: Atak był wymierzony w jedną w firm hostingowych działających na naszej platformie. Nie chcemy robić zamieszania wokół samej firmy, ani ukierunkowywać źródła problemu na nich samych, dlatego lepiej będzie, jeśli jej nazwa pozostanie tylko w naszej wiedzy.
Dlaczego chmura, która ponoć miała być w 100% niezawodna padła?
Chmura nie padła. Za naszymi urządzeniami brzegowymi panował spokój. Nie wytrzymały nasze łącza, które przyjmowały ruch nawet 24 milionów pakietów na sekundę. Jeśli przejrzymy doniesienia dotyczące największych ataków DDoS na świecie, zobaczymy, że skala dzisiejszej akcji nie była dużo mniejsza.
Co będzie jeśli taki atak się powtórzy?
Będziemy reagowali, tak samo szybko i tak samo sprawnie jak dziś. Podkreślmy, atak DDoS - o odpowiedniej skali i odpowiednim przygotowaniu - udaremni dostęp do każdej infrastruktury.
Czy można oszacować koszty tej awarii?
Pomimo prasowego charakteru tego wydarzenia przerwa była stosunkowo krótka i wciąż mieścimy się w SLA. Jest też za wcześnie, by szacować jakiekolwiek koszty, ale jeśli takowe poniesiemy, pokażemy je.
Czy zmagaliście się już wcześniej z takim atakiem? Mniejszym, większym?
Tak, mniejsze ataki DDoS na Oktawave zdarzały się już kilkukrotnie i wychodziliśmy z nich obronną ręką. To nie jest tak, że my jesteśmy ignorantami i nie przewidzieliśmy tego typu sytuacji. Po prostu, po raz pierwszy skala ataku przerosła nasze możliwości obrony.
