Was Sie bei einem Shop mit KI-Funktionen überwachen sollten

Bei einem Shop mit KI-Funktionen überwachen Sie sechs Bereiche: den Shop selbst, den Checkout, den KI-Chat oder Assistenten, die genutzte LLM-API, Warteschlangen und Hintergrund-Jobs sowie die Grundlagen wie SSL und DNS. Beginnen Sie mit dem, was Umsatz bringt (Shop und Checkout). Ergänzen Sie dann, was neu und anfällig ist (die KI-Teile).

Dieser Beitrag liefert eine Liste, die Sie an einem Nachmittag abarbeiten können. Zu jedem Bereich steht, was Sie prüfen und woran Sie einen Ausfall erkennen.

Grundsätze vor der Liste

Drei Regeln halten Monitoring nützlich.

• Überwachen Sie Ergebnisse, nicht Server. Fragen Sie zuerst "Kann ein Kunde kaufen?" und erst danach "Ist die CPU-Last niedrig?"
• Jeder Alarm braucht einen Verantwortlichen und eine Maßnahme. Kann niemand reagieren, entfernen Sie den Alarm.
• Weniger, dafür bessere Alarme. Zu viele Alarme trainieren Menschen darauf, sie zu ignorieren.

1. Der Shop (Storefront)

Der Shop ist die Basis für alles. Prüfen Sie die Seiten, die Besucher bringen und in Käufer verwandeln.

• Die Startseite.
• Eine Kategorieseite.
• Eine Produktseite.
• Die Suchergebnisseite.
• Die Warenkorbseite.

Prüfen Sie bei jeder Seite den Statuscode und einen erwarteten Text, etwa den Shopnamen oder einen Produkttitel. Eine Seite, die 200 liefert, aber eine Fehlermeldung zeigt, ist ein häufiger Fehler. Eine reine Statusprüfung übersieht ihn.

Beobachten Sie auch die Ladezeit. Ein langsamer Shop verliert Kunden, ohne je "down" zu sein. Messen Sie die Antwortzeit und setzen Sie eine Warngrenze.

2. Der Checkout

Der Checkout ist der wichtigste Ablauf. Ein Fehler kostet hier direkt Umsatz.

Überwachen Sie:

• dass die Checkout-Seite lädt,
• dass für eine Testadresse Versandarten erscheinen,
• dass der Zahlungsschritt die erwarteten Zahlungsarten zeigt,
• dass die Bestellbestätigung bei einer Testbestellung funktioniert.

Nutzen Sie dafür einen Testmodus oder eine Test-Zahlungsart. Testen Sie niemals mit echten Zahlungen. Der Beitrag über synthetisches Monitoring von Checkout-Abläufen behandelt das im Detail.

3. Der KI-Chat oder Assistent

Das Chat-Widget wird oft als Skript eines Drittanbieters geladen. Es kann auf mehrere Arten ausfallen, ohne den Rest des Shops zu berühren.

Überwachen Sie:

• dass das Widget-Skript lädt (keine blockierte oder fehlgeschlagene Anfrage),
• dass der Chat-Endpunkt Ihres Backends antwortet,
• dass eine einfache, sichere Testnachricht eine Antwort erhält,
• die Zeit bis zur ersten Antwort,
• den Anteil der Unterhaltungen, die mit einer Fehlermeldung enden.

Gehen Sie mit der Testnachricht sorgfältig um. Nutzen Sie eine feste, harmlose Frage und markieren Sie sie, damit sie in Ihrer Analyse nicht als Kundenverkehr zählt. Testen Sie, wo möglich, in einer Staging-Umgebung.

4. Die LLM-API

Die meisten KI-Funktionen rufen eine externe Sprachmodell-API auf. Sie kontrollieren sie nicht, müssen aber wissen, wann sie ausfällt.

Erfassen Sie in Ihrem eigenen Code:

• die Anzahl der Anfragen,
• die Fehlerrate, getrennt nach Ratenlimits (HTTP 429), Serverfehlern (5xx) und Timeouts,
• die Latenz, auch am langsamen Ende,
• Token-Verbrauch und Kosten pro Tag, damit ein Fehler nicht zu einer hohen Rechnung wird.

Abonnieren Sie außerdem die Statusseite des Anbieters und leiten Sie deren Meldungen in den Team-Kanal. Der Anbieterstatus ist ein nützliches zweites Signal, aber verlassen Sie sich nicht allein darauf. Ihre eigenen Messungen zeigen, was Ihre Nutzer erleben.

5. Warteschlangen und Hintergrund-Jobs

Viele Shops verarbeiten Arbeit im Hintergrund: Bestellabgleich, Bestandsupdates, E-Mails und KI-Aufgaben wie das Erzeugen von Produktbeschreibungen oder Tags.

Überwachen Sie:

• Warteschlangenlänge: Wie viele Jobs warten?
• Alter des ältesten Jobs: Wie alt ist der älteste wartende Job? Das ist oft aussagekräftiger als die Länge.
• Fehlerzahl: Jobs, die fehlgeschlagen sind oder in einer Dead-Letter-Liste gelandet sind.
• Heartbeats: Ein Ping nach jedem geplanten Job. Fehlt der Ping, lief der Job nicht.

Nutzen Sie Shopify, beobachten Sie zusätzlich die Zustellung von Webhooks. Nutzen Sie WooCommerce, beobachten Sie WP-Cron oder den echten Cron, der ihn ersetzt.

6. Grundlagen

Diese Punkte fallen selten aus. Wenn doch, steht der ganze Shop.

• Ablauf des SSL-Zertifikats. Alarmieren Sie früh vor dem Datum, zum Beispiel 30 und 7 Tage vorher.
• Ablauf der Domain. Auch hier rechtzeitig alarmieren.
• DNS-Einträge. Prüfen Sie, dass die wichtigen Einträge weiter auf die erwarteten Werte zeigen.
• E-Mail-Zustellung. Bestell-E-Mails müssen ankommen. Beobachten Sie Bounces und Fehlerzahlen.

7. Dienste von Drittanbietern

Ihr Shop hängt von Diensten ab, die Sie nicht betreiben. Listen Sie sie auf und entscheiden Sie, welche kritisch sind.

Typische Beispiele sind der Zahlungsanbieter, die API des Versanddienstleisters, der Steuerdienst, der Suchdienst sowie Analyse- und Tag-Manager-Skripte. Suchen Sie für jeden die Statusseite und abonnieren Sie Updates. Ergänzen Sie eine eigene Prüfung, wo ein Ausfall einen Verkauf blockiert.

Prioritäten setzen

Nicht jeder Punkt braucht einen Alarm um 3 Uhr nachts. Sortieren Sie.

• Kritisch (jemanden wecken): Shop down, Checkout defekt, Zahlungen schlagen fehl.
• Hoch (innerhalb der Arbeitszeit handeln): Chat down, Warteschlange hängt, Zertifikat läuft in höchstens 7 Tagen ab.
• Niedrig (wöchentlich prüfen): langsame Trends, steigende Kosten, kleine Fehleranstiege.

Ein Ausfall des KI-Chats ist für das Geschäft meist nicht kritisch. Ein Checkout-Ausfall ist es. Bilden Sie diesen Unterschied in Ihren Alarmregeln ab.

Werkzeuge

Sie brauchen eine Mischung: einen externen Uptime-Monitor für die öffentlichen Seiten, Anwendungs-Logs und Metriken für LLM-API und Warteschlangen sowie Heartbeats für geplante Jobs. Uptrack (vom 2folk-Team) ist eine Option für die externen Checks. Mehrere andere Tools leisten dasselbe, vergleichen Sie sie also anhand der Funktionen, die Sie brauchen.

Eine Start-Checkliste

• Monitore für Start-, Kategorie-, Produkt-, Warenkorb- und Suchseite.
• Ein Checkout-Test im Testmodus.
• Eine Prüfung des Chat-Endpunkts und des Widget-Ladens.
• Erfassung von Fehlern, Latenz und Kosten der LLM-API.
• Alarme für Warteschlangenlänge, Job-Alter und Fehler.
• Heartbeats für geplante Jobs.
• Ablaufalarme für SSL, Domain und DNS.
• Abonnierte Statusseiten für jeden kritischen Drittanbieter.

Häufige Fragen

Was ist das Wichtigste, das ich überwachen sollte?

Der Checkout. Können Kunden nicht bezahlen, zählt alles andere nicht. Überwachen Sie den ganzen Weg von der Produktseite bis zur Bestellbestätigung, mit einem Testmodus.

Muss ich die KI-Funktionen getrennt überwachen?

Ja. Sie fallen anders aus als der Shop. Der Shop kann einwandfrei laufen, während der Chat Fehler liefert, und umgekehrt. Getrennte Monitore zeigen, welcher Teil kaputt ist.

Wie viele Monitore reichen für einen kleinen Shop?

Beginnen Sie mit wenigen: Startseite, Produktseite, Warenkorb, Checkout und Chat-Endpunkt. Ergänzen Sie mehr erst, wenn ein Vorfall eine Lücke zeigt. Jeder Monitor sollte einen Verantwortlichen haben, der auf seine Alarme reagiert.

Soll ich die Statusseite meines LLM-Anbieters überwachen?

Abonnieren Sie sie, verlassen Sie sich aber nicht allein darauf. Statusseiten können echten Problemen hinterherhinken. Ihre eigenen Fehler- und Latenzdaten sind das schnellste Signal.