Adweb, czyli jak to się stało, że się...
Dwa tygodnie bez strony internetowej, poczty e-mail i dostępu do bazy danych. Ta awaria może położyć nie tylko dostawcę usług hostingowych, ale również klientów, którzy zostali odcięci od Internetu i z każdym dniem tracą coraz większe pieniądze. Sprawa jest bulwersująca.
Czym jest Adweb? Adweb, a dokładnie 2be.pl, zajmuje miejsce w pierwszej 70 największych firm hostingowych w Polsce, jednak klienci hostingowi i domenowi nie stanowią dla firmy jedynego źródła przychodów. Grupa Adweb zarabia również na działaniach marketingowych, reklamowych, PR-owych i pozycjonowaniu stron. Przed awarią 2be.pl miał blisko 2 tys. klientów hostingowych i obsługiwał ok. 10 tys. domen.
Atak, w wyniku którego wymazano 12 lat działalności firmy
Awaria trwa od nocy 26 lutego. Ktoś mający dostęp do serwerów Grupy Adweb zalogował się na konto administratora i wykasował dosłownie 12 lat działalności firmy. Przepadły wszystkie dane klientów hostingu 2be.pl – należącego do Adweb - oraz kopie zapasowe.
Nie wiadomo, kto stoi za tym działaniem, bo dostęp do konta administratora miało kilka osób. Bartek Juszczyk – szef Grupy Adweb – przyznał, że hasło znali: on, niepracujący w firmie od grudnia administrator, zdalni administratorzy oraz firma, które pomagała Grupie Adweb uporać się z wcześniejszą awaria.
Problem zaczął się 9 lutego, kiedy przestały działać serwery pocztowe 2be.pl, a firma nie potrafiła sobie poradzić z tym problemem. Na gwałt próbowano znaleźć administratora, który zastąpiłby człowieka, który pracował w Adweb od początku istnienia firmy, czyli od 12 lat. Administrator ten odszedł z firmy w grudniu 2015 roku i kontakt się z nim urwał.
Od grudnia do lutego firma działała bez administratora, który byłby na miejscu. Korzystała jednak z usług zdalnych adminów, którzy pomagali przy serwerach. Tak mówi Bartek Juszczyk. Spider’s Web rozmawiał jednak z osobami związanymi z Adwebem i wiemy, że poszukiwania administratorów trwały długo i udało się znaleźć kogoś (zdalnego) dopiero w momencie, gdy pojawiły się prawdziwe problemy.
Juszczyk przyznaje, że firma miała spory problem ze znalezieniem nowego administratora. Przede wszystkim dlatego, że ani on, jako szef, ani osoby, które zostały w firmie, nie wiedziały tak naprawdę kogo szukają i jak w odpowiedni sposób przeprowadzić rekrutację.
Na nasze pytanie, dlaczego Adweb nie zdecydował się na skorzystanie z zewnętrznej agencji, która w profesjonalny sposób poszukałaby nowego administratora, usłyszeliśmy, że firma Juszczyka już kiedyś korzystała z pomocy agencji w procesie rekrutacji i nie była zadowolona z tego, jak przebiegała i jak zakończyła się ta operacja, a z feralnym podwykonawcą sądzi się do dzisiaj.
Do teraz Adweb pozostaje bez administratora, a awarię z 9 lutego, którą spowodowało zapchanie serwerów pocztowych przez spam usunął… jeden z klientów hostingu 2be.pl
Okazało się jednak, że rozwiązanie problemu ze spamem zrodziło kolejne kłopoty. Firma klienta, która pomogła Grupie Adweb wystawiła faktury z jednodniowym terminem płatności. Bartek Juszczyk wyjaśnia, że stawka została ustalona za pierwszy dzień pracy, a za kolejne dni miała być negocjowana. Po zapłaceniu faktury za pierwszy dzień szybko pojawiła się faktura za kilka kolejnych dni i tu pojawił się problem.
Według Juszczyka firma nie chciała negocjować stawki, choć wcześniej sugerowała, że do rozmów o kwotach jeszcze wrócą. Przygotowując się do rozmowy z Bartkiem Juszczykiem trafiłem na informację, że faktura z jednodniowym terminem płatności została wystawiona na 44 tys. zł. Taką kwotę potwierdził też w prywatnej rozmowie jeden z pracowników.
W rozmowie ze Spider’s Web Juszczyk zaprzecza tym kwotom i mówi, że były to dwie faktury na ponad 20 tys. zł. Zapewnia również, że był otwarty na rozmowy i negocjacje, ale firma, która mu pomogła była nieugięta i wbrew wcześniejszym deklaracjom nie chciała negocjować.
Ustalmy więc fakty - 21 lutego wystawiono fakturę, 22 lutego minął termin jej płatności, a w nocy z 25 na 26 lutego doszło do awarii.
Ktoś korzystając z konta administratora wykasował z serwerów 2be.pl niemal wszystkie dane. Dyski zostały nadpisane, więc odzyskanie danych stało się praktycznie niemożliwe. Prawdopodobnie bezpowrotnie utracono aktualne dane klientów oraz ostatnie kopie zapasowe, gdyż wbrew podstawowym zasadom bezpieczeństwa dane logowania do serwera głównego i tego z kopiami zapasowymi były takie same. Co więcej, nie było serwera backupowego, do którego nie miał dostępu admin i firmy pracujące na zlecenie Adwebu.
Juszczyk przyznaje, że na serwerze zachowały się tylko stare kopie zapasowe z czerwca 2015 roku.
W końcu udało się znegocjować tę dużą fakturę z ponad 20 tys. do 15 tys. zł, ale Juszczyk jej jeszcze nie zapłacił, gdyż firma, która ją wystawiła, na pytania o kolejną awarię nabrała wody w usta. To zaś w dziwny sposób, według szefa Grupy Adweb, wiąże się z włamaniem i skasowaniem wszystkich danych z serwerów. Juszczyk wprost mówi, że podejrzewa tę firmę o skasowanie danych, dlatego wstrzymuje się z przelaniem pieniędzy do czasu, aż firma nie wykaże chęci rozmowy o tym, co się stało.
Dlaczego odszedł stary administrator i w jakich okolicznościach?
Administrator, który odszedł z firmy w grudniu 2015 roku tworzył Adweb razem z Bartkiem Juszczykiem od początku istnienia firmy. Postawił nowe warunki, na które Juszczyk się nie zgodził. W odpowiedzi administrator miał dać zwolnienie lekarskie L4 i zapaść się pod ziemię.
Juszczyk mówi nam, że został na lodzie, bo administrator całkowicie odmówił współpracy. Przestał się odzywać i odpisywać na maile. Sprawę utrudniał fakt, że administrator zabrał ze sobą wszystkie dostępy do usług, którymi zarządzał. Juszczyk próbował je odzyskać rozmawiając z serwerownią T-Mobile, która obsługuje Adweb, ale niestety nie było to łatwe.
Jak nam mówił - nie dysponuje wiedzą techniczną i często nie umiał odpowiedzieć na pytania T-Mobile, przez co odzyskanie dostępu do serwerów firmy nie przebiegało sprawnie. Udało się tego dokonać dopiero nowym zdalnym administratorom.
Uściślijmy - wszystkie kluczowe dostępy miała tylko jedna osoba, która nie była związana z właścicielami firmy, lecz zwykłym pracownikiem, który mógł z dnia na dzień odejść. To niedopuszczalny błąd, tak jak fakt, że wszyscy administratorzy pracowali na jednym koncie admina i mieli dostęp do wszystkich kopii zapasowych. Możemy mówić wprost o rażącym złamaniu podstawowych zasad i standardów obowiązujących w firmach hostingowych.
Z naszych źródeł wiemy, że administrator odszedł nie tylko ze względu na brak porozumienia, ale przede wszystkim dlatego, że firma nie doceniała jego pracy. Znaczące miały być też fatalne nastroje w Adwebie i podejście szefa do pracowników.
Juszczyk odpowiada, że główny administrator był jego prawą ręka i w przeszłości wiele razy prywatnie mu pomógł, dlatego dziwi go fakt, że ten postanowił odejść praktycznie bez słowa. Pracownicy Adwebu widza to jednak inaczej, a nasze źródło podaje, że szef firmy zwykł mawiać, że „administratorzy tylko siedzą przed monitorami i udają, że cos robią, a serwery działają same”. Trudno zweryfikować, czy takie słowa rzeczywiście padały z ust Juszczyka, jednak w rozmowie ze Spider’s Web szef 2be.pl przyznał, że do czasu pojawienia się awarii „kompletnie nie wiedział, jak ważna jest praca administratora”.
Sytuacja w firmie
Nastroje w firmie Adweb nie są dobre. Zaczęli odchodzić kolejni pracownicy, niektórzy są już w okresie wypowiedzenia, a niektórzy po wielkiej awarii przynieśli zwolnienia lekarskie i chorują. Juszczyk zdaje się jednak nie przejmować tym za bardzo. Uważa, że ten trudny dla firmy okres zweryfikuje zespół i zostaną w nim tylko najsilniejsi.
Podobne oczyszczenie Adweb przeżył już w 2014 roku, który był trudnym okresem dla branży reklamowej. Wtedy też odeszło kilka osób, co sprawiło, że miesięczne koszty generowane przez wypłaty spadły o około 40 tys. zł. Bartek Juszczyk dobrze wspomina tamten moment. Zauważa, że firma dobrze poradziła sobie bez niektórych pracowników, a zespół, który został był mocny. Pytanie, czy tym razem będzie podobnie, bo osoby związane z Adwebem mówią nam, że sytuacja jest fatalna.
Wiemy, że w lutym część wypłat weszła na konta pracowników z opóźnieniem, co podkręciło nerwową atmosferę, która panowała z powodu awarii serwerów i braku sukcesów w znalezieniu administratora.
Juszczyk uspokaja i zapewnia, że w jego firmie nie ma dużych rotacji, a średnia długość pracy pracownika wynosi 5,5 roku co według niego jest wysoką wartością, jak na tę branżę. Zaznacza, że ma wielu pracowników, którzy są w firmie od 8 lub 12 lat, a średnią zaniżają szczególnie młodzi ludzie, którzy pracują kilka miesięcy lub rok i po tym czasie szukają innej pracy, bądź uważają, że zasługują na znacznie wyższe posady.
Pracownicy nie zgadzają się i krytykują politykę działania szefa, który w kryzysowym momencie podjął decyzję o ukryciu na Facebooku Strony Adwebu, z kolei dział BOK-u przestał odbierać telefony, bo jego pracownicy nie wiedzieli, co mówić wściekłym klientom. Gdy zdesperowani ludzie pojawili się prywatnym facebookowym profilu Juszczyka ten miał kasować wpisy i nie podejmować rozmowy z osobami, które zostały odcięte od służbowych skrzynek pocztowych.
Juszczyk przyznaje się do błędnych decyzji. Wie, że niektóre rzeczy można było zrobić inaczej, ale w wielu swoich działaniach nie widzi też nic złego. Decyzję o schowaniu głowy w piasek tłumaczy tym, że był weekend i nie chciał, żeby klienci wylewali żale na Facebooku firmy.
Dzisiaj klienci Adwebu przychodzą osobiście do siedziby firmy, gdyż kontakt z działem BOK przez maila lub telefon nadal jest niemal niemożliwy.
Juszczyk poinformował na swoim Facebooku, że sprawa włamania i skasowania danych została zgłoszona na Policję i do Prokuratury. Jak udało się ustalić dziennikarce Polsatu, Prokuratura Rejonowa Kraków Podgórze, wskazana przez szefa Adwebu, nie wie nic o sprawie. Poinformowany przez nas o tym Bartek Juszczyk, nieco zdziwiony i zaskoczony, mówi, że być może będzie musiał ponowić zgłoszenie.
Co się stało z danymi i czy jest szansa na ich odzyskanie?
Nad odzyskaniem danych z serwerów 2be.pl pracują specjaliści z firm zajmujących się tym zawodowo, jednak fakt, że zostały one skasowane, a dyski nadpisano sprawia, że prawdopodobnie zniknęły bezpowrotnie.
Juszczyk wierzy jednak w odzyskanie danych od osoby lub osób, które mają coś wspólnego z włamaniem. Jest gotowy zapłacić atakującym za dane, ale do tej pory nikt się nie odezwał. Szef Adwebu wyraża spore zdziwienie, że nikt się z nim nie kontaktuje w tej sprawie. Spodziewał się żądań okupu lub wymuszenia opłacenia wysokiej faktury. Milczy też firma, która jako ostatnia pracowała dla Adwebu i miała dostęp do serwerów.
Szef zdaje się godzić z tym, że 12 lat działania firmy przepadło i będzie musiał zaczynać od zera. „Prawdopodobnie w poniedziałek zaczniemy działać jako nowa firma. Musimy odbudować zaufanie klientów i działać dalej. Adweb nie zniknie, nasza firma nie zajmuje się tylko hostingiem, więc damy radę” – mówi nam szef 2be.pl.
Klienci tracą pieniądze i pozycję w Google
Klienci są w kropce. Nie mają dostępu do skrzynek pocztowych, serwerów, baz danych, panelu do zarzadzania domenami. Nie mogą też odejść z Adwebu i przekierować domen w inne miejsce. Aby to zrobić, musieliby od 2be.pl otrzymać kody authinfo, które pozwolą przenieść obsługę domeny do konkurencyjnych firm. Jednak firma Juszczyka nie wydaje swoim klientom tych kodów.
Jak zapewnia nas Juszczyk, kody authinfo nie są wydawane wyłącznie dlatego, że dział obsługi klienta nie daje rady obsłużyć wszystkich klientów w tym samym czasie. Próbowałem skontaktować się z BOK-iem Adwebu i ani nikt nie odbierał telefonów, ani nie dostałem odpowiedzi na maila.
Nasze źródło związane z Adwebem podaje, że w tym tygodniu dział BOK nie pracował wcale, gdyż… nie miał kto pracować. Juszczyk mówi, że dział pracuje, ale przyznał, że trzech z czterech pracowników poszło na zwolnienie lekarskie. W dziale BOK została jedna osoba, której awaryjnie ma pomagać księgowa.
Klienci są zdezorientowani i wściekli. Poziom frustracji w komentarzach na Facebooku Adwebu oraz w opiniach na facebookowej stronie firmy przekracza wszelkie granice. Nie ma się jednak co dziwić . Strony, e-sklepy i poczta nie działają. Klienci stracili dostęp do baz danych i danych swoich klientów. Brak kontaktu i bieżących komunikatów od Adwebu tylko pogarsza sprawę.
Klienci sygnalizują, że tracą każdego dnia olbrzymie pieniądze, nie mogą sprzedawać, utrzymywać kontaktów z kontrahentami i prowadzić swoich biznesów. Cierpią też strony internetowe, które są niedostępne od kilkunastu dni i zaczęły już tracić pozycję w wyszukiwarce Google, na co zwrócił uwagę w swojej publikacji Artur Strzelecki.
Każdy dzień niedziałających serwerów Adwebu i niedostępnych stron internetowych klientów to realna strata dla tych firm.
Śmit zauważa również, że sytuacja może być bolesna w skutkach i trudna do odwrócenia, jeśli klienci „stosowali techniki black hat seo to mogą mieć olbrzymi problem, by wrócić do stanu sprzed awarii.” Nasz ekspert dodaje, że klienci, którzy „dbali o swoje strony w sposób zgodny z zasadami jakim hołduje Google raczej nie mają się czego obawiać. Problem tylko w tym, że powrót do normalności, w zależności od branży i konkurencji może trwać od kilku dni, przez kilka tygodni aż po nawet kilka miesięcy.”
Jeśli Adweb stosunkowo szybko upora się z wszystkimi problemami, to niektóre strony równie szybko wrócą na swoje miejsce w wynikach wyszukiwania. Jednak nie wszystkie witryny mogą mieć tyle szczęścia.
Zwłaszcza te, które mają sporą konkurencję mogą mieć z tym olbrzymi problem i to niezależnie od skali biznesu. Na przykład Nokaut, gdy otrzymał karę od Google, mimo wielu zabiegów i upływu lat nadal nie wrócił do poziomu widoczności sprzed kary. Owszem, sytuacja w przypadku porównywarki cen była inna, ale Google wcale nie musi postąpić pobłażliwej w przypadku tak dużej i długotrwałej awarii. Tym bardziej, że jednym z istotniejszych czynników rankignowych w ostatnich miesiącach jest dostępność strony i szybkość jej działania.
Czy klienci mogą pozwać Adweb?
Na podstawie danych zaprezentowanych przez media prawnik Jakub Kralka zauważa, że możemy mieć do czynienia nie ze zwykłą awarią, a przede wszystkim rażącym cyklem naruszeń i zaniechań ze strony właściciela i administratora.
Oczywiście sprawa ma drugie dno i osoby stojące za sabotażem komputerowym działały w sprzeczności z przepisami prawa karnego. Jak zauważa nasz ekspert, osobom odpowiedzialnym za skasowanie danych z serwerów 2be.pl grozi nawet do 8 lat pozbawienia wolności.
Co się stało, że się posypało?
W Adwebie popełniono wiele błędów, za które w dużej mierze odpowiada szef firmy Bartek Juszczyk. Szef nie ma wiedzy na temat spraw technicznych i zbudował firmę w taki sposób, że bezwzględnie polegał wyłącznie na jednej osobie – głównym administratorze.
W firmach hostingowych działanie firmy zawsze wymaga sporego zaufania do administratora, jednak nie może być tak, że wszystko jest na głowie i w rękach jednej osoby. Firma powinna być zabezpieczona na wypadek zwolnienia się administratora lub innej przykrej sytuacji, jak ciężka choroba, czy nawet śmierć człowieka pracującego na tym stanowisku.
Próbowałem to zasugerować Juszczykowi ale szef Adwebu zdawał się odrzucać czarne scenariusze, a odpowiedzialnością za obecną sytuację przede wszystkim obarczał postawę administratora, a nie fakt, że firma prosperowała w taki sposób, że pozwoliła na zaistnienie takiej sytuacji.
W Adwebie zabrakło wdrożenia niezbędnych procedur bezpieczeństwa, które zabezpieczyłyby firmę przed błędami, które popełniono. Przede wszystkim niebezpieczne jest powierzenie administracji całej infrastruktury tylko jednej osobie, po drugie administratorzy i firmy zewnętrzne nie powinny pracować na jednym koncie admina, a każdy podmiot powinien mieć własne konto z uprawnieniami odpowiednimi do prac, które wykonuje. Ważne jest też zabezpieczenie logów z serwera w taki sposób, aby administrator nie mógł ich skasować. To samo dotyczy kopii zapasowych.
Przeprowadzenie audytu bezpieczeństwa i wdrożenie niezbędnych standardów w firmie takiej jak Adweb, która ma klientów takich, jak ma 2be.pl i zatrudnia około 25 osób, powinno zamknąć się w kwocie 50 tys. zł. Taki audyt i zastosowanie gotowych procedur zabezpieczyłoby firmę hostingową przed olbrzymimi problemami, z jakimi musi się teraz zmierzyć.
Co będzie dalej? Trudno powiedzieć, czy uda się odbudować Adweb, ale Juszczyk planuje wystartować od poniedziałku od nowa z biznesem hostingowym. Być może firma zostanie odbudowana pod zupełnie nową nazwą - Juszczyk tego nie wykluczył.