Was ist noch normal? – Flexible KI-basierte Anomalie-Erkennung für die Systemüberwachung
„Künstliche Intelligenz hat extremes Potential, aber es muss noch einiges passieren.“
Hermann Strathmann, Geschäftsführer
Problemstellung
Lösungsweg
Nach einer Diskussion der Anforderungen und der zu erwartenden Anomalien mit Sector Nord wurde das Projekt in den folgenden Schritten durchgeführt, um die Machbarkeit einer solchen KI-Lösung zu erproben:
- Analyse der verfügbaren Daten
- Datenvorverarbeitung
- Modellauswahl in Kooperation mit Sector Nord (zur Abstimmung der Anforderungen),
- Modelltraining
- Evaluation
Aus den Erkenntnissen während der Bearbeitung des Projekts ergab sich zudem die prototypische Entwicklung eines Werkzeugs zur Erprobung der Konfiguration der Lösung.
Datenanalyse und Datenvorverarbeitung:
Für das Projekt standen aus der Systemüberwachung Daten zur Verfügung, die einen Zeitraum von 96 Tagen abdecken. Es handelt sich dabei um 3.4 Millionen strukturierte Datensätze mit Time Stamps. Diese repräsentieren unterschiedliche Systemüberwachungsgrößen. In der Vorverarbeitung wurden unter anderem Datensätze auf der Grundlage der Time Stamps kombiniert, überflüssige Spalten entfernt, fehlende Werte durch Imputation ergänzt und Werte via Z-Score standardisiert, um den Lernprozess effizienter zu gestalten. Die vorverarbeiteten Daten bilden die Basis für das Training des KI-Modells.
Auswahl des Modells:
Im Bereich der KI gibt es unterschiedliche Methoden und Ansätze zur Anomalie-Erkennung, die sich in ihrem Ansatz und auch in der Komplexität unterscheiden, wie z.B. PCA oder AutoEncoder auf der Basis von Deep Learning. Nach gründlicher Durchsicht der Daten und der Problemstellung, Diskussionen des Einsatzgebiets mit Sector Nord sowie ersten Experimenten wurde die recht kompakte Methode der Principal Component Analyse (PCA) zur Rekonstruktion des Normalzustands ausgewählt. PCA ist ein Verfahren zur Dimensionsreduktion, das hochdimensionale Daten in eine kleinere Anzahl von Hauptkomponenten transformiert. Diese Hauptkomponenten sind lineare Kombinationen der ursprünglichen Variablen und werden so gewählt, dass sie möglichst viel Varianz (Information) der Daten erklären. In der Anomalie-Erkennung wird PCA verwendet, um das normale Verhalten von Daten zu modellieren, indem typische Muster durch wenige Komponenten dargestellt werden. Dabei wird das kompakte Modell des normalen Sensorverhaltens aus historischen Daten erlernt. Beobachtungen, deren Rekonstruktionsfehler (Abweichung vom rekonstruierten Muster) einen statistisch abgeleiteten Schwellenwert überschreitet, werden als anomal gekennzeichnet. Es handelt sich dabei um ein unüberwachtes Lernverfahren, d.h., es sind keine annotierten Daten notwendig.
Echtzeit-Anomalie-Erkennung in industriellen Monitoringsystemen stellt strenge Anforderungen. Dazu gehören unter anderem geringe Verarbeitungslatenz, wenig Speicherbedarf, keine annotierten (gelabelten) Daten und der Wunsch nach gut interpretierbaren Ergebnissen. Die PCA-basierte Rekonstruktion erfüllt diese Anforderungen, weil sie unüberwacht (es werden keine Anomalie-Label benötigt), schnell und effizient (einfache Matrixmultiplikation), interpretierbar (relevante Variablen lassen sich identifizieren) und bewährt (etablierte Methode in der multivariaten Anomalie-Erkennung) ist. Zudem können Modelle flexibel gespeichert, wiederverwendet und regelmäßig aktualisiert werden.
Modelltraining & Evaluation:
Im Projekt wurden zwei Pfade für die Erkennung von Anomalien kombiniert: ein pro-Metrik-Statistikpfad, der auf Z-Score und IQR-Schwellenwerten basiert, sowie ein Metrik-übergreifenden Pfad, der auf dem MSE (Mean Squared Error) bei der PCA-Rekonstruktion beruht. Beide Pfade arbeiten auf einem konfigurierbaren gleitenden Fenster der letzten L Zeitschritte.
Die PCA-basierte Rekonstruktion wurde für unterschiedliche Parameterkonfigurationen trainiert. Bei geeigneter Parameterwahl ergibt sich eine sehr gute Leistung mit einer sehr sauberen Unterscheidung zwischen normalen und anormalen Zuständen. Zudem ist das Training sehr effizient.
Konfigurationsunterstützung:
Auf Grundlage der Erfahrungen und Diskussionen während des Projekts wurde der Lösungsweg dynamisch um einen zusätzlichen Schritt ergänzt – die Erprobung einer interaktiven Workbench zur flexiblen Anpassung der KI-Lösung. Dies erhöht die Flexibilität des Monitorings und der Anomalie-Erkennung und trägt zudem der hohen Varianz der Systemkonfiguration und Überwachungsaufgaben in unterschiedlichen Systemlandschaften Rechnung.
Zu diesem Zweck wurde im zweiten Teil des Projekts mit einer Lösung experimentiert, welche mehr Kontrolle über die KI-Modelle in die Hand des jeweiligen Unternehmens legt. Dafür wurde mit XenoWatch prototypisch eine interaktive, web-basierte Workbench zur Anomalie-Erkennung erprobt. XenoWatch realisiert eine geführte Pipeline, die den Nutzer von der Datenexploration über die Modellparametrisierung, das Modelltraining und dessen Evaluierung bis zur Live-Überwachung führt – ganz ohne manuelle Skripterstellung. Im Backend wird DuckDB für einen speichereffizienten Umgang mit den Daten verwendet, wodurch das Tool auch mit Datensätzen arbeiten kann, die deutlich größer sind als der verfügbare Arbeitsspeicher. Die Anwendung ist als lineare Pipeline mit fünf Stufen aufgebaut, durch die über eine persistente Seitenleiste navigiert werden kann. Jede Stufe baut dabei auf den Ergebnissen der vorherigen auf, die auch in der Workbench inspiziert werden können.
Nutzen für den Mittelstand
Aus dem Projekt konnten wichtige Erkenntnisse für zukünftige KI-Projekte im Mittelstand gezogen werden:
- KI kann auch in praktischen Kontexten erfolgreich zur Anomalie-Erkennung eingesetzt werden, wobei die Wahl geeigneter Modelle stark von den funktionalen und nicht-funktionalen Anforderungen der jeweiligen Anwendung abhängt.
- Es ist nicht immer notwendig und sinnvoll komplexe KI-Methoden wie Deep Learning einzusetzen. Im Sinne von Modellkomplexität, Ressourceneinsatz und Trainingszeiten macht es auch Sinn, einfachere Methoden wie PCA für den Anwendungsfall zu erproben. In diesem Fall reduziert es die Trainingszeiten und erhöht die Erklärbarkeit der Lösung und damit das Verständnis der Zusammenhänge.
- Die prototypische Workbench und die Überlegungen, die zu ihrer Erprobung geführt haben, legen nahe, dass es wichtig ist, sich im Projekt auch Gedanken über spätere Evolution und Anpassung einmal trainierter KI-Modelle zu machen. Ein solches Werkzeug kann hier ein wichtiges Mittel sein, um mehr Kontrolle in die Hand des KI-Anwenders zu legen und eine langfristige Nutzung des KI-Modells vorzubereiten.
Noch Fragen offen?
Unsere Projekte umfassen einen großen zeitlichen, organisatorischen und thematischen
Umfang. Erfragen Sie die Details einfach beim Projektverantwortlichen. Wir leiten Sie gerne weiter!
