Die finanziellen und operativen Folgen von Ausfallzeiten sind in den vergangenen sieben Jahren immer deutlicher geworden. 2014 prognostizierte Gartner, dass Ausfallzeiten Unternehmen durchschnittlich 300.000 US-Dollar pro Stunde kosten. Aktuelle Zahlen stehen jedoch in scharfem Kontrast zu dieser sechsstelligen Schätzung: 44 % der Unternehmen beziffern ihre stündlichen Ausfallkosten inzwischen auf über 1 Million US-Dollar, und zwar ohne die daraus folgenden Strafzahlungen oder Anwaltskosten.
Auch wenn Cloud-Anbieter und Partner eine Verfügbarkeit von 99 % versprechen, zeigt der Alltag mit einem solchen SLA: Ausfallzeiten sind unvermeidlich. Selbst bei perfekten 99 % Verfügbarkeit müssen Kund:innen jedes Jahr mit 8 Stunden Frust rechnen. Viele Unternehmen behandeln ihre Präventionsmaßnahmen nach dem Motto „aus den Augen, aus dem Sinn“. Wer die Realität von Ausfallzeiten ignoriert, sorgt jedoch dafür, dass die Kosten von Ausfallzeiten unkontrolliert in die Höhe schnellen.
Was sind Ausfallzeiten?
Als Ausfallzeit bezeichnet man den Zeitraum, in dem ein System, ein Service, eine Maschine oder ein Betriebsablauf nicht verfügbar ist oder nicht mit voller Leistung arbeitet. Benutzer:innen können nicht mehr auf Online-Services zugreifen, die Produktivität der Beschäftigten ist stark eingeschränkt und Kund:innen sind von jeder Interaktion mit Ihrem Unternehmen ausgeschlossen. Diese Folgen summieren sich und wachsen sich zu erheblichen Schäden für die Reputation eines Unternehmens aus.
Facebook, heute Meta, zählt seine Benutzer:innen in Milliarden. Ende 2021 waren nahezu alle Plattformen des Konzerns über 5 Stunden lang offline. Auslöser war eine Konfigurationsänderung an mehreren Backbone-Routern. Diese Router steuern den Netzwerkverkehr zwischen den Rechenzentren von Facebook, und so löste das Update einen Dominoeffekt aus. Laut Cloudflare teilte Facebook dem Border Gateway Protocol (BGP) im Grunde mit, dass die Routen zu WhatsApp, Instagram, Facebook und weiteren Diensten nicht mehr verfügbar seien. Wer Facebook aufrufen wollte, fand den nötigen Weg dorthin folglich nicht mehr.
Dieser Ausfall machte also nicht nur Facebook selbst unerreichbar, sondern ließ sämtliche damit verbundenen Services und Abläufe verschwinden. Damit waren nicht nur die Endbenutzer:innen ausgesperrt: Facebooks eigene interne Systeme beruhen auf denselben Prozessen, was es den Beschäftigten erschwerte, das Problem zu diagnostizieren und zu beheben. Der Ausfall ließ den Aktienkurs von Facebook um 4,9 % fallen, während das Privatvermögen von CEO Mark Zuckerberg um 6 Milliarden US-Dollar schrumpfte.
Viele Unternehmen entscheiden sich zwar dafür, die Realität unkontrollierter Ausfallzeiten auszublenden. Dabei liefert sie eine entscheidende Kennzahl, um Zuverlässigkeit und Leistungsfähigkeit der eigenen Abläufe zu beurteilen.
So entstehen Ausfallzeiten
Nicht jede Ausfallzeit kostet gleich viel. Es gibt zwei Hauptarten, und jede verlangt ein eigenes Vorgehen.
Geplante Ausfallzeiten
Dabei handelt es sich um eine geplante Unterbrechung von Abläufen oder Services für Wartung, Updates, Reparaturen oder andere vorgesehene Tätigkeiten. Sie findet üblicherweise außerhalb der Stoßzeiten statt, um Störungen gering zu halten, und die Endbenutzer:innen werden rechtzeitig informiert. Geplante Ausfallzeiten sind ein wesentlicher Baustein, um die folgenden Arten von Ausfallzeiten zu reduzieren.
Ungeplante Ausfallzeiten
Ungeplante Ausfallzeiten treten unerwartet auf, stören den Betrieb und können zu erheblichen finanziellen und operativen Verlusten führen.
Ungeplante Ausfallzeiten lassen sich in zwei Hauptformen unterteilen. Die erste geht auf menschliche Faktoren zurück. Laut einem Bericht des Downtime Institute aus dem vergangenen Jahr war menschliches Versagen in den letzten drei Jahren die Ursache für nahezu 40 % aller schweren Vorfälle. Davon entstehen fast 90 % dadurch, dass Beschäftigte Protokolle nicht einhalten oder dass die Verfahren selbst fehlerhaft sind. Vorgaben zur Ressourcenzuteilung etwa müssen sorgfältig überwacht werden, denn zu niedrig angesetzter Ressourcenbedarf führt schnell zu Serverüberlastung und Ausfällen.
Während interne Risiken Millionen vom Jahresumsatz abtragen, liegt die noch beunruhigendere Ursache von Ausfallzeiten außerhalb des Unternehmens. Die Bandbreite reicht von Naturkatastrophen wie Überschwemmungen, die physische Rechenzentren bedrohen, bis zu Cyberangriffen, die kleinste Fehlkonfigurationen gegen Sie verwenden. Ransomware zählt zu den schwerwiegendsten Bedrohungen dieser Kategorie, da sie selbst eigentlich sichere Backups vollständig verschlüsseln kann.
Häufige Ursachen von Ausfallzeiten
Leider gibt es zahlreiche Situationen, die ungeplante Ausfallzeiten auslösen, zum Beispiel:
- Cyberangriffe und Datenschutzverletzungen
- Umweltbedingte Notfälle
- Geräteausfälle
- Menschliches Versagen
- Netzwerkprobleme
- Stromausfälle
Auf geplante Ausfallzeiten treffen diese Punkte nicht zu: Sie entstehen meist durch Patching, Backups oder andere IT-Prozesse. Bei geplanten Ausfallzeiten informiert das IT-Team alle betroffenen Parteien im Voraus.
Die Kosten von Ausfallzeiten im Detail
Die Formel für die Ausfallkosten ist vergleichsweise einfach. Die tatsächlichen Zahlen hinter den einzelnen Bestandteilen zu ermitteln, ist dagegen deutlich schwieriger. Sehen wir uns die einzelnen Bestandteile genauer an, um eine praktikable Formel zu entwickeln.
Kosten von Ausfallzeiten = entgangener Umsatz + verlorene Produktivität + Wiederherstellungskosten
Entgangener Umsatz
Wenn Sie einen kürzlich aufgetretenen Ausfall analysieren, beginnen Sie damit, zu ermitteln, welche Beschäftigten in welchem Umfang betroffen waren. Einige können zwar weiterarbeiten, etwa Techniker:innen und Ingenieur:innen vor Ort, doch die allermeisten betrieblichen Systeme benötigen heute eine durchgängige Internetverbindung. Selbst in vollautomatisierten Fertigungsstraßen messen Geräte aus dem Internet der Dinge (IoT) laufend Werte und liefern den Betriebsteams Echtzeitdaten zur Effizienz. Fehlen diese, müssen unter Umständen auch ansonsten offline arbeitende Lieferketten gestoppt werden. Wenn Beschäftigte kaum auf Online-Systeme zugreifen können, kann Ihr Unternehmen Bestellungen nicht mehr mit derselben Effizienz abwickeln.
Dieser Umsatzausfall wird bei geschäftskritischen Systemen noch gravierender: E-Commerce-Shops, die ausschließlich auf einen Online-Shop setzen, können überhaupt keinen Umsatz mehr erzielen. Indem Sie die betroffenen Systeme und ihren Beitrag zum Umsatz analysieren, lässt sich der tägliche Umsatzverlust durch einen Ausfall genau beziffern. Dieses Vorgehen muss auf jedes betroffene System angewendet und der entgangene Umsatz über alle betroffenen Systeme hinweg aufsummiert werden.
Verlust interner Produktivität
Solange die Systeme stillstehen, drehen Beschäftigte Däumchen. Die finanziellen Folgen davon zu beziffern, wirkt zunächst überwältigend. Für eine konservative Einschätzung dieser verlorenen Produktivität lassen Sie sich von Ihrer Personalabteilung eine Übersicht der Durchschnittsgehälter aller betroffenen Abteilungen geben. Multipliziert mit der Zahl der Beschäftigten ergibt das den Gesamtwert der verlorenen Arbeitsleistung. Zusammen mit dem entgangenen Umsatz erhalten Sie so ein realistisches Bild der täglichen oder sogar stündlichen Verluste.
Wiederherstellungskosten
Nicht alle Beschäftigten zählen untätig die Stunden bis zur Rückkehr ins Netz: Einige arbeiten mit Hochdruck daran, den Schaden zu beheben und alles wieder in Betrieb zu nehmen. Die Kosten dieser Arbeitsstunden können schnell ausufern, besonders wenn IT-Teams ihre Arbeitszeiten ausdehnen müssen. Je nach Ursache der Ausfallzeit sind zudem weitere Zeit und weiteres Geld nötig, um alles wieder online zu bringen. Ob Lieferantenwechsel oder Wiederherstellung zentraler Server: Solche kurzfristigen Maßnahmen müssen in die Gesamtkosten einfließen.
Verschaffen Sie sich ein klares Bild von den geschäftlichen Auswirkungen von Ausfallzeiten und sehen Sie sich dieses kurze Video an: „Was kosten Ausfallzeiten Unternehmen wirklich?“
So reduzieren und vermeiden Sie Ausfallzeiten
Ausfallzeiten sind zwar bis zu einem gewissen Grad unvermeidlich, mit sorgfältiger Planung lässt sich der Schaden aber deutlich begrenzen.
Setzen Sie Ihren Notfallwiederherstellungsplan um
Am Anfang eines Notfallwiederherstellungsplans (Disaster Recovery Plan, DRP) stehen die Identifizierung und Bewertung möglicher Bedrohungen und Schwachstellen, die Ihre Systemadministration beeinträchtigen könnten. Dazu zählen Hardware-Defekte, Stromunterbrechungen, Cyberangriffe, Brände, Überschwemmungen, Erdbeben und vergleichbare Ereignisse. Außerdem ist es entscheidend, die Zeitvorgabe für Wiederherstellungszeit (RTO) und das Ziel des Wiederherstellungspunktes (RPO) für kritische Systeme und Daten festzulegen. Die RTO gibt die maximal tolerierbare Ausfallzeit Ihres Systems an, das RPO den maximal zulässigen Datenverlust. Den Unterschied zwischen RTO und RPO zu verstehen, ist unerlässlich, denn diese Kennzahlen entscheiden maßgeblich darüber, wie Sie Wiederherstellungsmaßnahmen priorisieren und welche Backup- und Wiederherstellungsstrategien Sie wählen.
Stehen diese Kennzahlen fest, müssen Rollen und Verantwortlichkeiten im Team der Systemadministration und bei weiteren Beteiligten definiert werden. Dazu gehört festzulegen, wer den DRP auslöst, umsetzt und überwacht. Ebenso ist zu bestimmen, wer für die Kommunikation mit internen und externen Parteien zuständig ist, also mit Beschäftigten, Kund:innen, Lieferanten und Aufsichtsbehörden. Gerade bei einem Notfallwiederherstellungsplan ist es außerdem wichtig, für jede Rolle Vertretungen und Alternativen zu benennen, falls die primär Verantwortlichen selbst betroffen sind.
Investieren Sie in zuverlässige Backup-Systeme
Lokale Datensicherungen sind nützlich, doch wer ausschließlich darauf setzt, bleibt physischen Gefahren wie Feuer, Überschwemmung und Diebstahl ausgeliefert. Die Bedeutung von Backups und ihr Beitrag zu einer schnelleren Wiederherstellung lassen sich kaum überschätzen. Deshalb empfiehlt es sich, mindestens drei Kopien Ihrer Daten vorzuhalten, eine davon außerhalb Ihrer regulären IT-Infrastruktur.
Cloud-Backup-Anbieter sind dank einfacher Skalierung und mehrerer Instanzen besonders gut gegen Ausfallzeiten gewappnet. Nehmen wir ein Kubernetes-Setup in der AWS-Cloud-Infrastruktur mit zwei Nodes. Dieses Setup enthält einen Autoscaling-Trigger, der erkennt, wenn die CPU-Auslastung dauerhaft über 75 % liegt, und zusätzliche Pods hinzufügt.
Mehrere Nodes sorgen zudem dafür, dass Ihre Anwendung weiterläuft, selbst wenn ein Teil des Clusters ausfällt. Kubernetes versucht, die Pods gleichmäßig auf die Instanzen des Clusters zu verteilen. Entscheidend ist jedoch, dass zusätzliche Ressourcen rechtzeitig bereitstehen und nicht erst dann, wenn die Benutzererfahrung bereits leidet.
Überwachen und schützen
Wie im letzten Punkt angedeutet, ist Endpunkt-Überwachung eine zentrale Säule der Ausfallvermeidung. Alarmierungen geben Ihnen nicht nur in Echtzeit Einblick in verletzte Richtlinien und Ressourcenkonflikte, sondern auch einen Logenplatz für Ihre gesamte Sicherheitslage. Firewalls und Blacklists halten Angreifer:innen vom Eindringen ab, während die in AWS integrierte Web Application Firewall (WAF) Sie über laufende DDoS-Angriffe oder versuchte SQL-Injections informiert. Diese Echtzeit-Benachrichtigungen lassen sich an Ihre E-Mail-Adresse oder Ihr Telefon weiterleiten, sodass Sie schnell gegensteuern können.
Die wahren Kosten von Ausfallzeiten sind zu hoch
Resilienz ist der Schlüssel, um die ausufernden Kosten von Ausfallzeiten zu senken. NinjaOne bringt IT-Services in Unternehmen auf ein neues Niveau, indem es Probleme an Endpunkten proaktiv erkennt und eine Plattform für die automatisierte Behebung bereitstellt. Dateien lassen sich auf unterschiedlichen Wegen wiederherstellen, von der Self-Service-Wiederherstellung durch Endbenutzer:innen bis zur webbasierten Dateiwiederherstellung. Das entlastet Ihre Techniker:innen genau dann, wenn sie am dringendsten gebraucht werden. Vom Ticket bis zum Backup unterstützt Ninja jede Ebene des Ausfallschutzes.
