Cloudflare

Globalna awaria Cloudflare sparaliżowała internet na ponad 3 godziny, powodując błędy 500 na setkach stron – od X po CDA i CANAL+. Nawet Downdetector padł ofiarą usterki. Co dokładnie się wydarzyło i jak przebiegała walka o przywrócenie usług? Sprawdź szczegóły.

Błędy 500 na setkach stron.
Padł też satkurier.pl 18 listopada około godziny 12:30 doszło do poważnej awarii w internecie, która spowodowała niedostępność wielu stron i serwisów.
W ich miejscu pojawiała się charakterystyczna plansza Cloudflare z błędem 500.
Problemy te objęły także portal i forum satkurier.pl, korzystające – podobnie jak liczne inne witryny – z infrastruktury Cloudflare, co na co dzień zapewnia sprawne i szybkie dostarczanie treści użytkownikom.

Usterkę udało się ostatecznie usunąć dopiero po ponad 3 godzinach, choć w międzyczasie zdarzały się krótkie okresy prawidłowego działania.  

• Zauważyliśmy nagły wzrost nietypowego ruchu do jednej z usług Cloudflare o godz. 12:20. Spowodowało to, że część ruchu przechodzącego przez sieć Cloudflare napotykała błędy – przekazało biuro prasowe Cloudflare, jeszcze w trakcie trwania awarii.
  Jednym z największych serwisów dotkniętych awarią był X (dawny Twitter).
  Problemy wystąpiły również w wielu innych usługach, m.in. CDA i CANAL+.
  Warto dodać, że skutki awarii odczuł także serwis Downdetector – miejsce, w którym internauci zwykle sprawdzają i zgłaszają problemy z funkcjonowaniem różnych platform, co dodaje całej sytuacji odrobiny ironii.

Poniżej prezentujemy oś czasu „Problemy w globalnej sieci Cloudflare”, opublikowaną na stronie cloudflarestatus.com.
Warto dodać, że treść komunikatów ewoluowała w trakcie trwania awarii.

• 12:48 Cloudflare doświadcza wewnętrznego pogorszenia działania usług.
  Niektóre usługi mogą być okresowo niedostępne.
  Skupiamy się na ich przywróceniu.
  Będziemy aktualizować informacje w miarę postępów prac naprawczych.
  Kolejne aktualizacje wkrótce.
• 13:03 Nadal badamy ten problem.
• 13:21 Obserwujemy, że usługi zaczynają wracać do działania, ale klienci mogą nadal doświadczać wyższej niż normalnie liczby błędów, ponieważ kontynuujemy działania naprawcze.
• 13:37 Nadal badamy ten problem.
• 13:53 Nadal badamy ten problem.
• 14:04 Podczas prób usunięcia problemu wyłączyliśmy dostęp WARP w Londynie.
  Użytkownicy w Londynie próbujący uzyskać dostęp do Internetu przez WARP zobaczą błąd połączenia.
• 14:09 Problem został zidentyfikowany i wdrażana jest poprawka.
• 14:13 Wprowadziliśmy zmiany, które pozwoliły na odzyskanie działania Cloudflare Access i WARP.
  Poziom błędów dla użytkowników Access i WARP wrócił do stanu sprzed incydentu.
  Ponownie włączyliśmy dostęp WARP w Londynie.
  Kontynuujemy działania w celu przywrócenia pozostałych usług.
• 14:35 Kontynuujemy prace nad przywróceniem usług dla klientów korzystających z usług aplikacyjnych.
• 14:58 Kontynuujemy prace nad przywróceniem usług dla klientów korzystających z usług aplikacyjnych.
• 15:22 Nadal pracujemy nad poprawką rozwiązującą ten problem.
• 15:34 Wdrożyliśmy zmianę, która przywróciła działanie panelu zarządzania.
  Nadal pracujemy nad usunięciem szerokiego wpływu na usługi aplikacyjne.
• 15:42 Wdrożyliśmy poprawkę i uważamy, że incydent został już rozwiązany.
  Nadal monitorujemy błędy, aby upewnić się, że wszystkie usługi wróciły do normy.
• 15:57 Niektórzy klienci mogą nadal mieć problemy z logowaniem się lub korzystaniem z panelu Cloudflare.
  Pracujemy nad poprawką, aby to rozwiązać, i nadal monitorujemy sytuację pod kątem ewentualnych problemów.
• 16:23 Wciąż monitorujemy sytuację pod kątem ewentualnych dalszych problemów.
• 16:40 Zespół nadal koncentruje się na przywracaniu działania usługi po wdrożeniu poprawki. Pracujemy nad zniwelowaniem kilku problemów, które utrzymują się po wdrożeniu.
• 17:04 Wyniki botów będą okresowo zaburzone podczas przeprowadzania globalnego procesu odzyskiwania.
  Poinformujemy, gdy uznamy, że wyniki botów w pełni wróciły do norm.
• 17:27 W dalszym ciągu obserwujemy mniej błędów oraz poprawę opóźnień, jednak nadal otrzymujemy zgłoszenia o sporadycznych błędach.
  Zespół nadal monitoruje sytuację w miarę jej poprawy i szuka sposobów na przyspieszenie pełnego przywrócenia sprawności.
• 17:46 Wciąż obserwujemy spadek liczby błędów, gdy pracujemy nad usługami na całym świecie, i usuwamy pozostałe błędy oraz opóźnienia.
• 18:14 Kontynuujemy monitorowanie systemu w trakcie procesu odzyskiwania i widzimy, że poziom błędów i opóźnienia wracają do normy.
  Pełne dochodzenie powyincydentowe oraz szczegóły dotyczące incydentu zostaną udostępnione jak najszybciej.
• 18:44 Usługi Cloudflare działają obecnie normalnie.
  Nie obserwujemy już podwyższonego poziomu błędów ani opóźnień w sieci.
  Nasze zespoły inżynierskie nadal uważnie monitorują platformę i prowadzą dokładniejsze dochodzenie w sprawie wcześniejszych zakłóceń, jednak na ten moment nie są wprowadzane żadne zmiany w konfiguracji.
  W tej chwili uznaje się, że ponowne włączenie usług Cloudflare, które zostały tymczasowo wyłączone podczas incydentu, jest bezpieczne.
  Po zakończeniu dochodzenia udzielimy finalnej aktualizacji.

Aktualizacja:

Głos zabrał Dane Knecht, dyrektor techniczny Cloudflare.
We wpisie na platformie X przeprasza klientów za awarię, która spowodowana była „ukrytym błędem w usłudze wspierającej mechanizmy ochrony przed botami” po rutynowej zmianie konfiguracji, jaka została wprowadzona przez zespół Cloudflare.

• To doprowadziło do szerokiego pogorszenia działania naszej sieci i innych usług.
  To nie był atak – podkreśla Knecht.
  Dodaje, że ten problem, jego skutki i czas potrzebny na jego rozwiązanie są „nie do przyjęcia”.

• Prace nad zapewnieniem, że to się nie powtórzy, już trwają, ale wiem, że dziś spowodowało to realne problemy.
  Zaufanie, jakim obdarzają nas klienci, jest dla nas najważniejsze i zrobimy wszystko, by je odzyskać – skwitował dyrektor techniczny Cloudflare.  

Aktualizacja:

O godz. 18:00 Dane Knecht udostępnił aktualizację dotyczącą przywracania usług Cloudflare:
– Udało nam się usunąć wpływ incydentu na ruch przechodzący przez naszą sieć około 15:30, co było naszym głównym priorytetem, jednak incydent wymagał dodatkowych działań, aby w pełni przywrócić naszą płaszczyznę kontrolną (nasz panel oraz interfejsy API, których nasi klienci używają do konfiguracji Cloudflare).
Płaszczyzna kontrolna powinna być teraz w pełni dostępna.
Monitorujemy te usługi i wciąż upewniamy się, że wszystko działa w pełni prawidłowo.
Ponownie, planujemy udostępnić pełne omówienie tego, co dziś poszło nie tak, w ciągu najbliższych kilku godzin oraz przedstawimy, jak zamierzamy zapobiec podobnym sytuacjom w przyszłości.