Senuto spłonęło w pożarze serwerowni OVH. Jak poradziliśmy sobie z kryzysem i wrócili do żywych?

Share on facebook
Share on twitter
Share on linkedin
Share on facebook
Share on twitter
Share on linkedin

pożar serwerowni

Rok 2021 rozpoczął się w Senuto z dobrą energią: nowe perspektywy, ambitne plany, rozwój i optymizm. Niestety już w marcu pojawiły się przeszkody, które nie były od nas zależne i które dały nam solidnie… popalić. Niektórzy z Was pewnie się domyślają, o czym mowa. W nocy z wtorku na środę 10 marca spłonęła serwerownia firmy OVH w Strasburgu, a ponieważ nasze dane były przechowywane właśnie na tych serwerach - to pożar dotknął również nas i wszystkich użytkowników Senuto.

O tym nieszczęśliwym wydarzeniu jako pierwszy poinformował na Twitterze Octave Klaba, twórca OVH.

Senuto spłonęło w pożarze serwerowni OVH. Jak poradziliśmy sobie z kryzysem i wrócili do żywych? 1

Jak podaje money.pl, ofiarą pożaru padł co piąty adres IP w chmurze OVH, ucierpiało prawie 2 proc. wszystkich francuskich domen z końcówką ".fr". Sparaliżowanych zostało wiele europejskich - w tym polskich - biznesów i stron www, a nawet rządowa strona Wybrzeża Kości Słoniowej.

Smutna wiadomość z Francji rozeszła się bardzo szybko po naszym warszawskim biurze. Od wczesnych godzin porannych musieliśmy mierzyć się z nie lada kryzysem, którego dokładną skalę trudno było przewidzieć. Pojawiło się pytanie: i co dalej?

Rzeczy, które straciliśmy w pożarze

Sytuacja była dla nas bardzo poważna. Straciliśmy:

  • Wszystkie serwery dla Analizy Widoczności,
  • Serwery dla Bazy słów kluczowych,
  • Serwery, na których przeliczamy dane, takie jak statystyki w Analizie widoczności i Monitoringu,
  • Jeden serwer MySQL,
  • Jeden serwer web - dlatego padła nam nawet strona produktowa!

Nie było to takie proste, żeby postawić nasze narzędzia z powrotem na nogi. W serwerowni OVH, która kompletnie się spaliła, mieliśmy serwery, które odpowiadają za naszą Bazę słów kluczowych i Analizę widoczności - absolutny trzon funkcjonowania Senuto. Można stwierdzić, że Bazę słów, czyli kilkanaście milionów fraz, całkowicie straciliśmy w jedną noc. Całe szczęście byliśmy przygotowani na ewentualne przeciwności losu i na samym starcie wdrożyliśmy nasz Disaster Recovery Plan!

Jak długo trwała awaria?

Każdy dział został zaangażowany w pracę nad przywróceniem Senuto do żywych. Chłopaki z działu dev rozpoczęli swoje działania od zorganizowania nowych serwerów. Kolejnym etapem prac było wgranie backupu.

Senuto spłonęło w pożarze serwerowni OVH. Jak poradziliśmy sobie z kryzysem i wrócili do żywych? 2
Ekipa techniczna Senuto zawsze w gotowości

Konfiguracja całej infrastruktury na nowych serwerach nie zajęła aż tak dużo czasu, biorąc pod uwagę fakt, że cały backup był przywracany od zera. Udało nam się skonfigurować 25 nowych serwerów w jeden dzień! Dodatkowo indeksowanie Bazy słów kluczowych również zmieściło się w określonym przez nas czasie. Monitoring na szczęście praktycznie nie ucierpiał - o tyle mniej problemu dla nas.

Niestety moduł Analiza widoczności nie był w stanie się podnieść po 24 godzinach, a jego "rehabilitacja" trwała stosunkowo najdłużej. Zespół dev wciąż pracował nad przywróceniem bazy storage’owej - mieliśmy 5TB danych do przywrócenia (dla porównania: na dysku o takiej pojemności zmieściłoby się ok. 85 dwugodzinnych filmów w Full HD). Najważniejsze dla nas było uruchomienie Senuto, nawet jeśli dane będą niepełne.

Większość funkcji aplikacji zaczęła działać po dwóch dniach, ale wciąż walczyliśmy z niektórymi zakamarkami w Senuto. Nie wszystko było takie proste, jak mogłoby się wydawać na samym początku. Aktualnie możemy się pochwalić, że doszliśmy do siebie. Strona produktowa została przywrócona po jednym dniu, a appka działa z pełnią mocy. Mimo pozytywnego finału ten gorący czas utkwi w naszej pamięci na długo!

“Halo, dzień dobry? Tak, spłonęła nam appka”

Prace techniczne nad funkcjonowaniem aplikacji, to jedna rzecz. Czymś zupełnie innym było zajęcie się sytuacją od strony wizerunkowej i komunikacji z klientami.

“Appka spłonęła” - taką informację otrzymał zespół Customer Success od naszego CEO. Każdy członek tego zespołu był mocno przejęty sytuacją. Bo jak tu powiedzieć klientom, że dostęp do naszego narzędzia będzie, lekko mówiąc, utrudniony w przeciągu kolejnych dni roboczych i to z tak abstrakcyjnego powodu, jak pożar serwerowni?

W tamtym momencie najważniejsi byli klienci, dlatego zareagowaliśmy bez zwlekania. Postawiliśmy na szczerość. Poinformowaliśmy każdego użytkownika appki o katastrofie i o tym, jak długo będziemy stawać na nogi - choć na początku nie było to jasne i niestety wszyscy musieli pogodzić się z pewną dozą niepewności.

Senuto spłonęło w pożarze serwerowni OVH. Jak poradziliśmy sobie z kryzysem i wrócili do żywych? 3

Skorzystaliśmy ze wszystkich kanałów komunikacji: puściliśmy mailing, wstawiliśmy post na Facebooku, Instagramie i Linkedinie. W normalnej sytuacji dodatkowo pokazalibyśmy wewnętrzny komunikat w appce i na stronie, ale cóż, appka i strona chwilowo leżały zagrzebane w popiołach gdzieś we Francji.

Najważniejsze, z punktu widzenia obsługi klienta, było zadbanie o komfort naszych klientów i o to, by nie czuli się zdezorientowani oraz pozostawieni sami sobie. W tworzeniu komunikatów oczywiście pomagał dział marketingu. Cała ta kryzysowa akcja pokazała nam, jaką moc może mieć praca zespołowa!

Życie po pożarze

Każdy kolejny dzień po pożarze był wyzwaniem dla całego zespołu Senuto. Wszyscy walczyliśmy o to, żeby wrócić do stanu sprzed wypadku. Okazało się, że nasi klienci są bardzo wyrozumiali. Otrzymaliśmy od Was tonę pozytywnej energii, która napędzała nas do pracy.

Senuto spłonęło w pożarze serwerowni OVH. Jak poradziliśmy sobie z kryzysem i wrócili do żywych? 4

Z tego miejsca chcielibyśmy bardzo podziękować wszystkim, którzy nas wspierali w tych ciężkich chwilach. Bez Was Senuto byłoby niepełne!

Aby zrekompensować przerwę w dostępie do Senuto, która finalnie trwała 2 dni, przedłużyliśmy o ten okres wszystkie płatne konta naszych klientów. Ponadto, jeśli ktoś miał konto testowe, to oczywiście włączyliśmy je ponownie.

Pożar serwerowni OVH postawił nas w zupełnie nowej sytuacji i nauczył, czym jest kryzys w biznesie. Poradziliśmy sobie z nim i choć to, co się wydarzyło, było poza naszą kontrolą, wyciągnęliśmy wnioski na przyszłość. Aktualnie pracujemy nad nowym, ulepszonym podejściem do Disaster Recovery Plan. Mamy nadzieje, że nie będzie potrzeby go wdrażać, lecz jeśli tak, to będziemy przygotowani lepiej niż kiedykolwiek!

Najnowsze artykuły od Senuto

wprost na Twoją skrzynkę e-mail! Dołącz do subskrypcji już teraz.

Podziel się artykułem:

Share on facebook
Share on twitter
Share on linkedin
Komentarze
Przetestuj Senuto

Sprawdź, jak Senuto może rozwinąć Twój biznes.
Wypróbuj teraz przez 14 dni za darmo.

WIĘCEJ REFERENCJI

"Senuto to świetne uzupełnienie na rynku narzędzi SEO. Do tej pory nie było kompleksowego narzędzia do tworzenia zaawansowanych audytów, Senuto rozwiązuje ten problem."

Paweł Zinkiewicz, if.pl