Automatisierte Projektreport-Bewertung mithilfe von Large Language Models
Herausforderung & Zielsetzung
Projektbeschreibung
Die Decisio Projekt- und Prozessmanagement GmbH ist ein Unternehmen, das Produkte und Dienstleistungen in den Bereichen Software, Consulting, Training und Coaching anbietet.
Ausführlicher Projektbericht
Der Lösungsweg für die Implementierung eines automatisierten Bewertungssystems zur Analyse und Bewertung von Projektberichten bei der Decisio GmbH wurde durch einen mehrphasigen Ansatz strukturiert. Hier wird der Prozess im Detail erläutert:
Phase 1: Automatisierte Textextraktion
Der erste Schritt in der Umsetzung des Projekts konzentrierte sich auf die automatisierte Textextraktion von Textbausteinen aus den Projektmanagementberichten. Diese lagen als Word-Dokumente vor. Die Herausforderung bestand darin, einen Mechanismus zu entwickeln, der in der Lage ist, Textdaten effizient und zuverlässig zu extrahieren, unabhängig von variierenden Formatierungen in den unterschiedlichen Projektberichten. Mithilfe der Programmiersprache Python und dem Einsatz diverser Textverarbeitungsbibliotheken wie docx und pickle, wurde ein System entwickelt, das Textbausteine präzise identifizieren, extrahieren und für die weitere Verarbeitung aufbereiten konnte. Diese Phase war entscheidend, um eine solide Datenbasis für die nachfolgenden Schritte der KI-Analyse zu schaffen.
Phase 2: Einsatz und Feedback-Optimierung von GPT-3.5-Turbo
Nachdem die Textextraktion abgeschlossen war, wurden die Daten an das LLM GPT-3.5-Turbo weitergeleitet. In dieser Phase wurde intensiv mit dem Konzept des Prompt Engineerings gearbeitet, um die spezifischen Bewertungskriterien so in Eingabeaufforderungen (Prompts) umzuwandeln, dass das Modell diese effektiv verarbeiten konnte. Ziel war es, die Prompts so zu optimieren, dass das Feedback des Modells möglichst konsistent und von hoher Qualität war. Durch iterative Tests und Feinjustierungen wurden die Prompts angepasst, um sicherzustellen, dass das Modell präzise und nutzbringende Rückmeldungen lieferte. In Abbildung 1 sind zwei unterschiedliche Prompts zu sehen, die denselben Berichtsausschnitt bewerten sollen. Je nach Formulierung wurde eine unterschiedliche Antwort gegeben. Dies zeigt, dass die Formulierung der Prompts ausschlaggebend für die Qualität der Rückmeldungen ist.
Abbildung 1: Beispiel für Output unterschiedlicher Prompts
Phase 3: Implementierung von Retrieval_Augmented Generation (RAG)
Um die Genauigkeit und Kontextabhängigkeit des von GPT-3.5-Turbo generierten Feedbacks weiter zu verbessern, wurde die Retrieval-Augmented Generation (RAG) Technik eingeführt. Dabei wurde eine Datenbank aus projektmanagementrelevanten Texten erstellt, die als zusätzliche Informationsquelle für das Modell diente. Hierbei ist zu beachten, dass einfache Textdateien problemlos verarbeitet werden können. Die Verarbeitung von Excel-Tabellen oder Bildern erfordert jedoch programmiertechnisch einen hohen Aufwand und wurde hier ausgeschlossen. Die Einbindung dieser Datenbank ermöglichte es dem KI-System, auf eine umfangreichere Wissensbasis zuzugreifen, was theoretisch zu fundierteren und kontextbezogeneren Antworten führen sollte. Frühe Beobachtungen zeigten, dass das Modell in der Lage war, spezifische Informationen aus dieser Datenbank in seine Bewertungen einzubeziehen. Es wurde festgestellt, dass das Modell diese Texte nutzt, um Antworten zu generieren, jedoch muss durch eine unabhängige Evaluierung durch Projektmanagementexperten noch bestätigt werden, ob und wie die Integration dieser Technik tatsächlich die Qualität des Feedbacks verbessert. Dieser Schritt ist wesentlich, um die Effektivität der RAG-Technik vollständig zu bewerten und zu verstehen, wie sie die Genauigkeit und Relevanz der generierten Bewertungen beeinflusst. Aufgrund des zeitlichen Rahmens wurde auf den intensiven Austausch mit den Expert*innen verzichtet und ein verstärktes Augenmerk auf die Optimierung der Prompt-Formulierungen gelegt, um konsistentere und zuverlässigere Ergebnisse zu erzielen. Im Anschluss an das Projekt kann das Unternehmen die Prompts entsprechend den eigenen Bedürfnissen anpassen und auch die RAG-Technik durch einen IT-Experten einführen.
Phase 4: Feedback und Prototypenentwicklung
In der letzten Phase des Projekts lag der Fokus auf der weiteren Optimierung des Feedbacks und der Entwicklung eines funktionsfähigen Prototyps. Das durch das KI-Modell erzeugte Feedback wurde nicht nur für sofortige Rückmeldungen genutzt, sondern auch in einer Excel-Datei dokumentiert. Diese Vorgehensweise ermöglichte es, die verwendeten Prompts und das resultierende Feedback systematisch zu überprüfen und bei Bedarf weiter zu verfeinern. Zusätzlich wurde ein Demonstrator (siehe Abbildung 2) entwickelt, der es den Nutzerinnen und Nutzern erlaubte, einen Projektbericht auszuwählen und per Knopfdruck Feedback zu erhalten. Dieser Prototyp diente als praktische Plattform, um die Leistungsfähigkeit und Benutzerfreundlichkeit des gesamten Systems zu demonstrieren und weiter zu verbessern.
Abbildung 2: Maske Demonstrator
Nutzen für den Mittelstand
Dieses Projekt demonstriert, dass die Nutzung von KI-Sprachmodellen zur automatisierten Bewertung von Projektmanagementberichten möglich ist. Durch die Implementierung des Large Language Models GPT-3.5-Turbo und der Retrieval-Augmented Generation (RAG) Technologie konnten die Bewertungsprozesse effizienter gestaltet werden. Die verschiedenen Phasen des Projekts – von der automatisierten Textextraktion bis zur Feedback-Optimierung und Prototypenentwicklung – haben gezeigt, dass solche Systeme nicht nur die Effizienz steigern, sondern auch die Qualität des Feedbacks verbessern können. Diese Verbesserungen erlauben es Lehrkräften, sich verstärkt auf pädagogische Aufgaben zu konzentrieren.
Die Ergebnisse bieten eine solide Grundlage für zukünftige Verbesserungen und Anpassungen der Technologie. Die vollständige Validierung der Feedbackqualität durch Fachexpert*innen bleibt ein wichtiger Schritt, um die Genauigkeit der KI-gestützten Bewertungen zu sichern. Das Projekt hat nicht nur unmittelbare Vorteile für die Decisio GmbH gebracht, sondern kann auch als Modell für ähnliche Technologien in anderen Bildungsbereichen dienen. So können durch leichte Anpassungen auch andere Berichte bewertet werden.
Die Einführung einer KI-gestützten Bewertungshilfe bietet zahlreiche Vorteile für KMU. Zum einen kann die Bearbeitungszeit von Berichtskorrekturen signifikant reduziert werden, was Mitarbeitende entlastet und es ihnen ermöglicht, sich auf andere Aufgaben zu konzentrieren. Zum anderen erhöht der Einsatz von LLM die Konsistenz und Qualität der Bewertungen, da die LLM-Modelle auf eine große Menge an Daten vortrainiert sind und somit einheitliche Projektmanagementstandards anwenden können. Darüber hinaus bietet die Technologie die Möglichkeit, auf Basis des Feedbacks der KI, die Lehrmaterialien und Schulungsprozesse nochmals kritisch zu hinterfragen, gegebenenfalls zu verbessern und regt zum Austausch an.
Das Projekt hat nicht nur gezeigt, dass eine automatisierte Bewertung von Projektmanagementberichten technisch umsetzbar ist, sondern auch, dass sie effektiv zur Verbesserung der Arbeitsprozesse beitragen kann. Dennoch ist es, trotz der vielversprechenden Ergebnisse wichtig, eine Balance zwischen technologischer Unterstützung und menschlicher Überprüfung zu wahren, um die Zuverlässigkeit und Genauigkeit der Bewertungen sicherzustellen.
Noch Fragen offen?
Unsere Projekte umfassen einen großen zeitlichen, organisatorischen und thematischen
Umfang. Erfragen Sie die Details einfach beim Projektverantwortlichen. Wir leiten Sie gerne weiter!
