Μετά την πολύωρη διακοπή λειτουργίας σε Outlook και Teams που παρέλυσε επιχειρήσεις και οργανισμούς σε περισσότερες από 70 χώρες στις 12 και 13 Νοεμβρίου, η Microsoft επαναφέρει σταδιακά τις υπηρεσίες του Microsoft 365. Το μεγάλο ερώτημα όμως που μένει στην αγορά είναι πώς ένα εσωτερικό τεχνικό σφάλμα, χωρίς καμία εμπλοκή χάκερ, κατάφερε να προκαλέσει ένα παγκόσμιο Microsoft blackout διάρκειας άνω των 18 ωρών.
Ανεξάρτητοι πανεπιστημιακοί και μηχανικοί υποδομών από τη Βρετανία και την Αυστραλία τοποθετήθηκαν επίσημα μέσω του Science Media Centre, εξηγώντας με απλά λόγια πώς στήθηκε το ντόμινο της κατάρρευσης.
Η ρίζα του κακού στο Exchange Online και οι αυτοματισμοί που γύρισαν μπούμερανγκ
Στο επίκεντρο της βλάβης βρέθηκε το Exchange Online, η υποδομή δηλαδή πίσω από τα εταιρικά emails και τα ημερολόγια της Microsoft. Όπως εξηγεί ο καθηγητής ψηφιακών υποδομών στο University of East London, Rabih Bashroush, όλα ξεκίνησαν όταν υπερφορτώθηκε η διεργασία που διαχειρίζεται τις κρυπτογραφημένες συνδέσεις, την πιστοποίηση χρηστών και τη δρομολόγηση στους servers του Exchange Online:
Μετά από μια πιθανή πρόσφατη αλλαγή στις ρυθμίσεις δικτύου, οι servers άρχισαν να αποτυγχάνουν στους αυτοματοποιημένους ελέγχους υγείας. Επειδή τα συστήματα διαχείρισης του cloud είναι σχεδιασμένα να απομονώνουν τον ελαττωματικό εξοπλισμό, έβγαλαν αυτόματα αυτούς τους servers εκτός λειτουργίας. Αυτό μετέφερε την παγκόσμια κίνηση σε μια ολοένα μικρότερη δεξαμενή ενεργών servers, υπερφορτώνοντάς τους και προκαλώντας μια κλασική αλυσιδωτή αστοχία σε πολλαπλές περιοχές.
Το «retry storm» πίσω από το Microsoft blackout και η δύσκολη επαναφορά
Γιατί όμως ένας τεχνολογικός κολοσσός δυσκολεύτηκε τόσο πολύ να επαναφέρει την τάξη; Ο Bashroush σημειώνει ότι όταν οι μηχανικοί επανεκκίνησαν τους servers ή αναίρεσαν τις αλλαγές, τα μηχανήματα φαίνονταν υγιή όσο ήταν απομονωμένα, αλλά «πάγωναν» μόλις έμπαιναν ξανά σε κανονική κίνηση.
Η αιτία ήταν το λεγόμενο retry storm (καταιγίδα επαναπροσπαθειών). Εκατομμύρια υπολογιστές και κινητά που έχασαν τη σύνδεσή τους επιχειρούσαν αυτόματα και ταυτόχρονα να συνδεθούν ξανά, ρίχνοντας εκ νέου τους servers που μόλις είχαν σηκωθεί. Γι’ αυτό η Microsoft αναγκάστηκε να ανοίγει την κίνηση σταδιακά ανά περιοχή, ενώ όπως προειδοποιεί ο ίδιος καθηγητής, η ουρά των καθυστερημένων μηνυμάτων είναι τεράστια:
Ενώ η οξεία φάση της διακοπής έχει ήδη ξεπεράσει τις 18 ώρες, η επαναφορά δεν θα γίνει με το απλό πάτημα ενός διακόπτη. Εκατομμύρια emails, προσκλήσεις ημερολογίου και αυτοματοποιημένες ειδοποιήσεις συστημάτων έχουν εγκλωβιστεί σε ουρές αναμονής. Η Microsoft επέκτεινε προσωρινά το χρονικό όριο λήξης των emails στις 48 ώρες ώστε να μην ακυρωθούν και επιστραφούν στον αποστολέα. Συνεπώς, ακόμη κι αν επανέρχεται η σύνδεση των χρηστών, το ξεμπλοκάρισμα του όγκου και ο συγχρονισμός των βάσεων δεδομένων διεθνώς θα πάρουν πιθανότατα όλο το Σαββατοκύριακο μέχρι την πλήρη ομαλοποίηση.
Όταν μια λάθος ρύθμιση παραλύει νοσοκομεία και επιχειρήσεις χωρίς χάκερ
Τόσο η Microsoft όσο και οι ερευνητές ξεκαθαρίζουν ότι δεν υπήρξε κυβερνοεπίθεση. Ο καθηγητής Toby Murray από το University of Melbourne υπενθυμίζει πως αντίστοιχες καταρρεύσεις έχουμε δει και στην υπόθεση της CrowdStrike, όπου μια απλή αλλαγή διαμόρφωσης αρκούσε για να νεκρώσουν συστήματα παγκοσμίως χωρίς καμία κακόβουλη ενέργεια.
Επειδή μάλιστα διαφορετικές εφαρμογές μοιράζονται την ίδια εσωτερική υποδομή, ο Dr Stephen McQuiston από τη Σχολή Πληροφορικής του University of St Andrews επισημαίνει ότι όταν πέφτει ένα κεντρικό υποσύστημα, παρασύρει ταυτόχρονα το Outlook, το Teams και το Copilot, παρότι στον χρήστη φαίνονται ως ξεχωριστά προϊόντα. Η ζημιά μάλιστα δεν έμεινε στα γραφεία ιδιωτικών εταιρειών, αλλά χτύπησε και δημόσιες υπηρεσίες, όπως εξηγεί ο Έλληνας καθηγητής Δημήτρης Πεζάρος, διευθυντής του Cyberdefence Lab στο University of Glasgow:
Η παγκόσμια διακοπή λειτουργίας της Microsoft προκάλεσε εκτεταμένη αναστάτωση στις υπηρεσίες του Microsoft 365, όπως τα Outlook, Teams, SharePoint, OneDrive και Copilot, επηρεάζοντας κρίσιμες υποδομές όπως το βρετανικό σύστημα υγείας (NHS), κυβερνητικά συστήματα και δήμους. Υιοθετώντας στρατηγικές πολλαπλών παρόχων, οι οργανισμοί μπορούν να μειώσουν την εξάρτησή τους από ελάχιστες εταιρείες και να περιορίσουν τον κίνδυνο να παραλύσουν κρίσιμες υπηρεσίες από τη βλάβη μιας κοινής υποδομής.
Ο ανεξάρτητος ειδικός κυβερνοασφάλειας Rimesh Patel ξεκαθαρίζει πως άλλο πράγμα είναι η διαθεσιμότητα μιας υπηρεσίας τις καλές μέρες και άλλο η ανθεκτικότητα την ώρα της κρίσης. Και κάπου εδώ έρχεται το πιο άβολο ερώτημα για τις διοικήσεις των επιχειρήσεων, όπως το θέτει ο καθηγητής Steven Watt από το University of St Andrews:
Ποιες από τις κρίσιμες διαδικασίες μας εξαρτώνται από έναν και μόνο προμηθευτή; Πόση ώρα θα μπορούσαμε να λειτουργήσουμε αν αυτός ο προμηθευτής έβγαινε εκτός μάχης; Ποια είναι η εναλλακτική μας λύση για την επικοινωνία με το προσωπικό, τους πελάτες και τις ρυθμιστικές αρχές; Την έχουμε δοκιμάσει στην πράξη ή απλώς υποθέτουμε ότι υπάρχει; Ένα σχέδιο επιχειρησιακής συνέχειας που βασίζεται στην ίδια πλατφόρμα που μόλις κατέρρευσε, δεν είναι σχέδιο.
Με τη ματιά του Techmaniacs
Ακόμα και στην Ελλάδα, αρκετές εταιρείες που δουλεύουν αποκλειστικά πάνω στο οικοσύστημα της Microsoft είδαν την καθημερινή τους επικοινωνία να μπλοκάρει για ώρες. Περιστατικά σαν κι αυτό, μαζί με το παλαιότερο φιάσκο της CrowdStrike, δείχνουν στην πράξη γιατί στην Ευρώπη έχει ανοίξει για τα καλά η συζήτηση γύρω από την ψηφιακή ανεξαρτησία και λύσεις ανοιχτού κώδικα, όπως το Euro-Office της Nextcloud που δοκιμάσαμε εχθές.
Αυτό που έμαθα ως μηχανικός υπολογιστών και δικτύων είναι πως πρέπει πάντα να έχουμε redundancy, που σημαίνει ότι σε ένα δίκτυο χρειάζονται εναλλακτικές διαδρομές αν κάτι πάει στραβά. Το ίδιο ακριβώς ισχύει και στην περίπτωση της Microsoft. Οι εταιρείες προσφέρουν τα πάντα σε μια ενιαία πλατφόρμα, κάτι που είναι βολικό μεν, πολύ επικίνδυνο δε. Στο πρόσφατο Microsoft blackout παρέλυσαν επιχειρήσεις και δημόσιοι φορείς σε όλο τον κόσμο για δύο ημέρες, χωρίς τη δυνατότητα να κάνουν κάτι γι’ αυτό. Έπρεπε εξ αρχής να υπάρχει εναλλακτικός τρόπος, αλλά όπως είναι στημένες αυτές οι υπηρεσίες δεν παρέχουν κάτι τέτοιο, αφού σε κλειδώνουν στο συνδρομητικό οικοσύστημά τους και απλά εισπράττουν τις συνδρομές. Προφανώς δεν θέλουν να κοιτάξεις κάτι άλλο.
Από την άλλη, είμαι περισσότερο της άποψης να έχω εγώ τα δεδομένα μου σε δικούς μου servers, είτε στις εγκαταστάσεις μου είτε σε εξωτερικό χώρο, όπου όμως έχω εγώ τον πλήρη έλεγχο. Με αυτόν τον τρόπο, αν προκύψει πρόβλημα, δεν χρειάζεται να λυθεί πρώτα για όλο τον πλανήτη αλλά το λύνω για τους δικούς μου χρήστες, ενώ ταυτόχρονα διατηρώ τα δεδομένα μου αποκλειστικά στην κατοχή μου.
Μπορεί οι υπηρεσίες της Microsoft και της Google να διαθέτουν ένα ώριμο οικοσύστημα με προσεγμένες εφαρμογές για υπολογιστή, κινητό και tablet, όμως παρόμοιες λύσεις υπάρχουν και στην Open Source κοινότητα, με τη διαφορά πως εκεί βλέπεις τι κάνουν και πώς λειτουργούν. Το μόνο σίγουρο είναι πως δεν μπορεί μια εταιρεία ή και ένας ιδιώτης να βασίζει τη δουλειά και τα δεδομένα του σε έναν πάροχο που αύριο μπορεί να πάθει blackout για ώρες ή και μέρες και που, αν θέλει, ανεβάζει τις τιμές όσο αποφασίσει εκείνος.
