W zeszłym tygodniu, w wyniku długotrwałej awarii, użytkownicy usług Outlook, Teams i Microsoft 365 nie mieli dostępu do swoich kont przez około dwa dni, co pozbawiło miliony osób dostępu do poczty elektronicznej i spowodowało zakłócenia w funkcjonowaniu systemów biznesowych. Awarie trwają zazwyczaj kilka godzin, ale ta z zeszłego tygodnia wyróżniała się długością trwania oraz zakresem systemów, które przestały działać. Użytkownicy na całym świecie zastanawiają się jak gigant technologiczny mógł do czegoś takiego w ogóle dopuścić.
Tajemnicza „usterka” i Microsoft Teams głównymi sprawcami wielkiej awarii najważniejszych usług
W opublikowanej dzisiaj we wpisie na platformie X analizie przyczyn zdarzenia Charles Lamanna, dyrektor wykonawczy Microsoftu ds. Copilot, Agents i Platform, stwierdził, że awaria wynikała z „trzech głównych czynników, które łącznie spowodowały globalną awarię bramy sieciowej obsługującej wiele usług Microsoft 365”.
Dowiadujemy się, że pierwszy czynnik wynikał z „usterki” wprowadzonej w lipcu w ramach poprawki dotyczącej serwerów bramy sieciowej Microsoft 365. Firma Microsoft twierdzi, że oprogramowanie, w tym wspomniana ukryta usterka, było „wdrażane na całym świecie przez kilka tygodni” bez żadnych negatywnych skutków.
Drugim czynnikiem był gwałtowny wzrost obciążenia bram sieciowych, związany z niewielkim problemem w usłudze Microsoft Teams, który wystąpił 11 listopada. Usługa Teams przełączyła się na alternatywną bramę sieciową, co zwiększyło obciążenie i zmieniło ogólne wzorce ruchu.
Charles Lamanna nazywa trzeci czynnik „niezwiązaną sprawą z poprzedniego dnia”, w wyniku której 14% pojemności serwerów Microsoftu przeznaczonych dla bramy sieciowej pozostawało wyłączone z eksploatacji. Połączenie drugiego i trzeciego czynnika spowodowało, że brama sieciowa napotkała usterkę, która po raz pierwszy pojawiła się w oprogramowaniu wdrażanym w lipcu – włączając w całą mieszankę pierwszy z wymienionych czynników.
Wszystko to spowodowało nagromadzenie się żądań i ostatecznie doprowadziło do tego, że serwery przestały odpowiadać – a wszystko to miało miejsce w okresie, który Microsoft określa jako „szczytowy okres ruchu w Stanach Zjednoczonych”. Zautomatyzowane systemy firmy przekierowały wówczas żądania, co spowodowało ponowne wystąpienie usterki w całej sieci i ostatecznie dotknęło ponad 80% serwerów firmy.
Pełny raport z analizy zdarzenia pojawi się jeszcze w tym tygodniu
Przywrócenie sprawności trwało dłużej niż zwykle, ponieważ serwery, które wracały do działania, były natychmiast przeciążane przez zaległy ruch i ponownie przestawały odpowiadać. Nasze standardowe, zautomatyzowane procesy przywracania nie były przystosowane do przywrócenia działania w sytuacji tak powszechnego braku reakcji. Ponadto, ponieważ główną usterką w kodzie był ukryty błąd sprzed kilku miesięcy, nasze standardowe mechanizmy cofania zmian, testowania stopniowego oraz flag funkcji nie były w stanie szybko cofnąć tej zmiany.
Charles Lamanna, dyrektor wykonawczy Microsoftu ds. Copilot, Agents i Platform
W celu rozprawienia się z zaistniałą awarią, inżynierowie firmy opracowali poprawkę i wyłączyli każdy serwer z sieci, aby ją zastosować. Następnie inżynierowie ostrożnie ponownie uruchamiali każdy serwer po kolei, co spowodowało długi czas oczekiwania, a co za tym idzie – brak dostępu do usług dla klientów. Gigant technologiczny z Redmond planuje opublikować pełny raport z analizy zdarzenia jeszcze w tym tygodniu, choć dokładny termin nie jest jeszcze znany.











0 komentarzy