Ausfall der LLM-API: Ein Notfallplan für den Shop-Chat

Ist die LLM-API hinter Ihrem Shop-Chat ausgefallen, sollte der Chat kontrolliert scheitern. Nutzen Sie ein kurzes Timeout und wiederholen Sie nur wenige Male mit Wartezeit. Greifen Sie dann auf eine gespeicherte oder vorformulierte Antwort zurück. Reicht das nicht, übergeben Sie den Kunden an einen Menschen oder an ein Kontaktformular. Lassen Sie den Kunden nie vor einem Ladesymbol warten.

Ausfälle beim Anbieter können Sie nicht verhindern. Sie können aber entscheiden, was Kunden dabei sehen.

Warum ein Notfallplan wichtig ist

Jede externe API fällt manchmal aus. Sie kann Serverfehler liefern, Ratenlimits erreichen oder sehr langsam werden. Ohne Plan passiert eines von drei schlechten Dingen:

• Das Widget hängt, und der Kunde wartet.
• Der Chat zeigt einen rohen technischen Fehler.
• Der Chat wiederholt ohne Grenze und verschlimmert das Problem.

Ein Notfallplan macht daraus eine ruhige, kurze Meldung und einen nützlichen nächsten Schritt.

Schritt 1: Strenge Timeouts setzen

Eine langsame Antwort ist ein Fehler. Ohne Timeout kann ein einziger hängender Aufruf einen Worker und einen Kunden lange blockieren.

• Setzen Sie ein Verbindungs-Timeout und ein Gesamt-Timeout für die Anfrage.
• Streamen Sie Antworten, setzen Sie zusätzlich eine Grenze für die Zeit bis zum ersten Token und für die Stille zwischen Datenpaketen.
• Wählen Sie Werte danach, was Kunden im Chat tolerieren. Viele Menschen geben nach wenigen Sekunden ohne Rückmeldung auf.

Zeigen Sie sofort eine Tipp-Anzeige, damit das Warten aktiv wirkt. Zeigen Sie eine höfliche Meldung, wenn das Timeout greift.

Schritt 2: Sicher wiederholen

Wiederholungen helfen bei kurzen Störungen. Bei langen schaden sie.

Regeln für sichere Wiederholungen:

1. Wiederholen Sie nur Fehler, die vorübergehen können: Timeouts, HTTP 429 (Ratenlimit) und 5xx-Serverfehler.
2. Wiederholen Sie keine Client-Fehler wie 400 oder 401. Derselbe Aufruf scheitert erneut.
3. Nutzen Sie exponentielles Backoff mit Jitter. Warten Sie nach jedem Versuch länger und fügen Sie eine zufällige Verzögerung hinzu, damit viele Clients nicht im selben Moment wiederholen.
4. Beachten Sie einen Retry-After-Header, wenn der Anbieter ihn sendet.
5. Begrenzen Sie die Versuche, zum Beispiel auf zwei oder drei.
6. Halten Sie die Gesamtzeit innerhalb Ihres Gesamt-Timeouts.

Stellen Sie sicher, dass eine Wiederholung keine doppelte Aktion auslöst. Eine Chat-Antwort darf man wiederholen. Ein Tool-Aufruf, der eine Erstattung oder eine Bestellung anlegt, nicht, außer er ist idempotent.

Schritt 3: Einen Circuit Breaker einsetzen

Ein Circuit Breaker (Sicherung) stoppt Aufrufe an einen Dienst, der dauernd scheitert.

• Geschlossen: Aufrufe laufen normal durch.
• Offen: Nach einer festgelegten Zahl von Fehlern in einem Zeitfenster stoppen Aufrufe sofort, und der Ersatzweg läuft.
• Halb offen: Nach einer Pause laufen wenige Testaufrufe durch. Gelingen sie, schließt der Breaker wieder.

Das schützt Ihren Server davor, dass sich Anfragen stauen. Der Kunde erhält außerdem schnell einen Ersatz statt eines langsamen Fehlers.

Schritt 4: Ersatzantworten vorbereiten

Was können Sie anbieten, wenn das Modell nicht verfügbar ist? Bereiten Sie Stufen vor, von der besten zur einfachsten.

Gespeicherte Antworten

Viele Shop-Fragen wiederholen sich: Lieferzeiten, Rückgaberegeln, Öffnungszeiten, Größentabellen. Speichern Sie gute Antworten dafür. Setzen Sie bei einem Cache ein Ablaufdatum und leeren Sie Einträge, wenn sich Regeln ändern. Eine veraltete Antwort zur Rückgabe ist schlimmer als keine Antwort.

Ordnen Sie nur sichere, klare Fragen zu. Speichern Sie keine Antworten, die von den Daten eines Kunden abhängen, etwa den Bestellstatus.

Ein zweites Modell oder ein zweiter Anbieter

Sie können auf ein zweites Modell oder einen zweiten Anbieter umleiten. Das bedeutet Mehraufwand: Prompts verhalten sich anders, und Sie brauchen einen zweiten Schlüssel, eine zweite Rechnung und weitere Tests. Setzen Sie das nur ein, wenn der Chat wichtig genug ist.

Vorgegebene Menüs und Suche

Ist das Modell down, zeigen Sie Schaltflächen für häufige Aufgaben: Bestellung verfolgen, Rückgabe starten, Versandinfos ansehen. Verlinken Sie Ihre Hilfeseiten. Auch ein einfaches Suchfeld über Ihre Hilfeinhalte funktioniert ohne Sprachmodell.

Eine ehrliche Fehlermeldung

Zuletzt zeigen Sie eine ehrliche Meldung. Zum Beispiel: "Unser Assistent ist gerade nicht verfügbar. Sie können wie gewohnt einkaufen. Für Hilfe schreiben Sie uns, wir antworten per E-Mail."

Schritt 5: An einen Menschen übergeben

Die Übergabe an einen Menschen ist der wichtigste Ersatzweg. Manche Fragen können nicht warten.

• Bieten Sie ein E-Mail-Formular oder einen Kontaktlink an, wenn der Chat ausfällt.
• Haben Sie Live-Support, leiten Sie das Gespräch an einen Mitarbeiter weiter und geben Sie den Chatverlauf mit.
• Sagen Sie außerhalb der Arbeitszeit, wann jemand antwortet.
• Behalten Sie die Nachricht des Kunden. Bitten Sie ihn nie, sie zweimal zu tippen.

Achten Sie darauf, dass das Formular ohne LLM funktioniert. Es darf nicht von derselben API abhängen, die gerade ausgefallen ist.

Schritt 6: Sicherheit zuerst

Ein Ersatzweg darf kein neues Risiko schaffen.

• Lassen Sie in gespeicherten Antworten keine Preise oder Lagerbestände stehen, die veraltet sein können.
• Lassen Sie den Ersatzweg keine Erstattungen, Rabatte oder Liefertermine versprechen.
• Behalten Sie dieselben Regeln für personenbezogene Daten auch in Ersatzabläufen bei.

Schritt 7: Überwachen und testen

Ein Ersatzweg, den Sie nie testen, scheitert, wenn Sie ihn brauchen.

• Lassen Sie einen Alarm auslösen, wenn der Ersatzweg aktiv wird, damit Sie vom Problem wissen.
• Zählen Sie, wie oft der Ersatzweg läuft und wie oft Kunden die Übergabe nutzen.
• Testen Sie ihn. Blockieren Sie in Staging die LLM-API und prüfen Sie, was der Kunde sieht.
• Überprüfen Sie den Plan nach jedem Vorfall.

Überwachen Sie den Chat-Endpunkt mit einem externen Monitor. Uptrack (vom 2folk-Team) ist eine Option unter mehreren für diese Art von Check. Informieren Sie Kunden bei längeren Ausfällen außerdem auf Ihrer Statusseite.

Eine kurze Checkliste

• Gesamt-Timeout und Grenze für die Zeit bis zum ersten Token gesetzt.
• Wiederholungen nur bei vorübergehenden Fehlern, mit Backoff, Jitter und Obergrenze.
• Ein Circuit Breaker vor dem LLM-Aufruf.
• Gespeicherte Antworten für häufige, sichere Fragen.
• Vorgegebenes Menü und Hilfesuche als Reserve.
• Ein Übergabeformular, das kein LLM nutzt.
• Alarme, wenn der Ersatzweg läuft.
• Ein getesteter Plan, nach Vorfällen überprüft.

Häufige Fragen

Wie viele Wiederholungen sollte ich erlauben?

Zwei oder drei sind für einen Chat üblich. Mehr Wiederholungen lassen den Kunden länger warten und können einen Dienst belasten, der ohnehin kämpft. Halten Sie die Gesamtzeit innerhalb Ihres Gesamt-Timeouts.

Lohnt sich ein zweiter LLM-Anbieter?

Nur bei Chats, die für Ihr Geschäft wichtig sind. Er bringt Kosten und Komplexität, weil sich Prompts und Verhalten zwischen Modellen unterscheiden. Für viele Shops bringen gespeicherte Antworten und die Übergabe an einen Menschen mehr Nutzen bei weniger Aufwand.

Darf ich LLM-Antworten zwischenspeichern?

Ja, bei stabilen und allgemeinen Fragen wie Versandregeln. Speichern Sie keine Antworten, die von einem Kunden, einer Bestellung, einem Preis oder einem Lagerbestand abhängen. Setzen Sie ein Ablaufdatum und leeren Sie den Cache, wenn sich Regeln ändern.

Was soll der Chat bei einem Ausfall sagen?

Sagen Sie klar, dass der Assistent nicht verfügbar ist, dass der Shop weiter funktioniert und wie man Hilfe bekommt. Zeigen Sie keinen technischen Fehlertext. Nennen Sie einen klaren nächsten Schritt, etwa ein E-Mail-Formular.