Τεράστια τμήματα του διαδικτύου δεν ήταν καθόλου διαθέσιμα χθες, με πολλούς άλλους ιστότοπους και υπηρεσίες να αντιμετωπίζουν αργή απόδοση. Ήταν αμέσως σαφές ότι το πρόβλημα οφειλόταν στο δίκτυο της Cloudflare, αλλά χρειάστηκε λίγος χρόνος για να διαπιστώσει η εταιρεία την πραγματική αιτία. Η Cloudflare αναφέρει ότι αρχικά πίστευε ότι επρόκειτο για μια μαζική κυβερνοεπίθεση, αλλά στη συνέχεια συνειδητοποίησε ότι τα προβλήματα προκλήθηκαν από ένα «επώδυνο» σφάλμα με μια ενημέρωση λογισμικού…

Η Cloudflare δήλωσε ότι το μοτίβο που είδε ήταν συνδέσεις που διακόπτονταν για περίπου πέντε λεπτά κάθε φορά πριν αποκατασταθούν και στη συνέχεια να διακόπτονται ξανά. Αυτό το μοτίβο οδήγησε την εταιρεία να πιστέψει ότι βίωνε αυτό που περιέγραψε ως επίθεση DDoS υπερκλίμακας, καθώς ένα τεχνικό σφάλμα κανονικά δεν θα διορθωνόταν από μόνο του.

Μια κατανεμημένη επίθεση άρνησης υπηρεσίας είναι όταν ένας κακόβουλος παράγοντας κατευθύνει έναν πολύ μεγάλο όγκο αιτημάτων σε έναν διακομιστή προκειμένου να χρησιμοποιήσει όλη τη διαθέσιμη χωρητικότητά του, πράγμα που σημαίνει ότι οι πραγματικοί χρήστες δεν έχουν πρόσβαση στην υπηρεσία.

Αυτό που φαινόταν να είναι περαιτέρω απόδειξη για μια κυβερνοεπίθεση αποδείχθηκε καθαρή σύμπτωση.

Ένα άλλο εμφανές σύμπτωμα που παρατηρήσαμε μας απογοήτευσε και μας έκανε να πιστέψουμε ότι μπορεί να επρόκειτο για επίθεση: Η σελίδα κατάστασης του Cloudflare κατέβηκε. Η σελίδα κατάστασης φιλοξενείται εξ ολοκλήρου εκτός της υποδομής του Cloudflare χωρίς να εξαρτάται από το Cloudflare. Ενώ αποδείχθηκε σύμπτωση, οδήγησε ορισμένα μέλη της ομάδας που διέγνωσε το πρόβλημα να πιστέψουν ότι ένας εισβολέας μπορεί να στοχεύει τόσο τα συστήματά μας όσο και τη σελίδα κατάστασής μας.

Ωστόσο, στη συνέχεια ανακάλυψε ότι το πρόβλημα ήταν ότι είχε κάνει λάθος σε μια ενημέρωση σε ένα αρχείο που χρησιμοποιούσε το σύστημα διαχείρισης bot του. Υπάρχει ένας άγραφος κανόνας στην πληροφορική ότι εάν αντιμετωπίζετε κάποιο πρόβλημα με περίεργα συμπτώματα, θα πρόκειται για πρόβλημα δικαιωμάτων – και αυτό ίσχυε και στην περίπτωση αυτή.

Προκλήθηκε από μια αλλαγή σε ένα από τα δικαιώματα ενός από τα συστήματα βάσεων δεδομένων μας, η οποία προκάλεσε την εξαγωγή πολλαπλών καταχωρήσεων από τη βάση δεδομένων σε ένα “αρχείο χαρακτηριστικών” που χρησιμοποιείται από το σύστημα διαχείρισης Bot. Αυτό το αρχείο χαρακτηριστικών, με τη σειρά του, διπλασιάστηκε σε μέγεθος. Το μεγαλύτερο από το αναμενόμενο αρχείο χαρακτηριστικών στη συνέχεια διαδόθηκε σε όλα τα μηχανήματα που αποτελούν το δίκτυό μας. Το λογισμικό που εκτελείται σε αυτά τα μηχανήματα για να δρομολογεί την κυκλοφορία στο δίκτυό μας διαβάζει αυτό το αρχείο χαρακτηριστικών για να διατηρεί το σύστημα διαχείρισης Bot ενημερωμένο με τις συνεχώς μεταβαλλόμενες απειλές. Το λογισμικό είχε ένα όριο στο μέγεθος του αρχείου χαρακτηριστικών που ήταν κάτω από το διπλάσιο μέγεθός του. Αυτό προκάλεσε την αποτυχία του λογισμικού.

Υπήρχε επίσης μια απλή εξήγηση για τον περίεργο κύκλο των πέντε λεπτών.

Το αρχείο δημιουργούνταν κάθε πέντε λεπτά από ένα ερώτημα που εκτελούνταν σε ένα σύμπλεγμα βάσης δεδομένων ClickHouse, το οποίο ενημερώνονταν σταδιακά για τη βελτίωση της διαχείρισης δικαιωμάτων. Κακά δεδομένα δημιουργούνταν μόνο εάν το ερώτημα εκτελούνταν σε ένα μέρος του συμπλέγματος που είχε ενημερωθεί. Ως αποτέλεσμα, κάθε πέντε λεπτά υπήρχε πιθανότητα να δημιουργείται ένα καλό ή ένα κακής ποιότητας σύνολο αρχείων διαμόρφωσης και να διαδίδεται γρήγορα σε όλο το δίκτυο.

Η εταιρεία ζήτησε συγγνώμη, χαρακτηρίζοντας το λάθος της ως «βαθιά οδυνηρό».

Λυπούμαστε για τον αντίκτυπο στους πελάτες μας και στο Διαδίκτυο γενικότερα. Δεδομένης της σημασίας του Cloudflare στο οικοσύστημα του Διαδικτύου, οποιαδήποτε διακοπή λειτουργίας οποιουδήποτε από τα συστήματά μας είναι απαράδεκτη. Το γεγονός ότι υπήρξε μια χρονική περίοδος κατά την οποία το δίκτυό μας δεν ήταν σε θέση να δρομολογήσει την κίνηση είναι βαθιά οδυνηρό για κάθε μέλος της ομάδας μας. Ξέρουμε ότι σας απογοητεύσαμε σήμερα.