Glossar        Wirtschaftsförderung       Downloads      Newsletter      Suche

Automatisierte Projektreport-Bewertung mithilfe von Large Language Models

Herausforderung & Zielsetzung

Die herkömmliche manuelle Bewertung dieser Projektberichte stellt eine erhebliche Belastung dar. Die Berichte, die oft um die 20 Seiten lang sind, erfordern eine intensive Auseinandersetzung durch das Lehrpersonal, was zeitaufwendig ist und somit wertvolle Ressourcen bindet. Diese Ressourcen könnten anderweitig innerhalb der Organisation effektiver eingesetzt werden, etwa in der Weiterentwicklung von Lehrplänen oder der persönlichen Betreuung von Kursteilnehmern. Ein weiterer wichtiger Aspekt ist die Vergleichbarkeit der Bewertungen. Da die manuelle Bewertung vom individuellen Prüfer abhängt, können subjektive Einschätzungen und menschliche Fehler zu Ungleichheiten führen. Durch den Einsatz von KI können diese Herausforderungen adressiert werden, indem sie für eine standardisierte Bewertung sorgen, die weniger anfällig für subjektive Einflüsse ist. Das primäre Ziel des Projekts war es daher, ein Werkzeug zu entwickeln, das es ermöglicht, die Arbeitslast des Bewertungspersonals zu reduzieren, ohne dabei Abstriche bei der Qualität der Bewertungen zu machen. Die spezifische Herausforderung bestand darin, eine KI-gestützte Bewertungshilfe zu entwickeln, die in der Lage ist, sowohl die sprachliche als auch die inhaltliche Qualität der eingereichten Berichte zu analysieren. Diese Lösung sollte nicht nur eine konsistente und objektive Bewertung sicherstellen, sondern auch gezieltes und konstruktives Feedback liefern, das den Teilnehmenden hilft, ihre Fähigkeiten kontinuierlich zu verbessern. Die Implementierung eines solchen unterstützenden Bewertungssystems würde nicht nur den Bewertungsprozess effizienter gestalten, sondern auch die Expert*innen dazu motivieren, ihre eigenen Bewertungen teilweise zu hinterfragen und dabei weiter zu lernen.

Projektbeschreibung

Die fortschreitende Digitalisierung und steigende Komplexität von Geschäftsprozessen erfordern von Unternehmen, insbesondere von kleinen und mittleren Unternehmen (KMU), innovative Lösungen in der Aus- und Weiterbildung. Bei der Decisio Projekt- und Prozessmanagement GmbH zeigen sich diese Herausforderungen bei der Bewertung von Projektmanagement-Lehrgängen, welche auf die GPM/IPMA Level D Zertifizierung vorbereiten. Im Rahmen dieser Lehrgänge erstellen die Teilnehmenden umfangreiche Projektmanagementberichte, die nach Abgabe detailliert bewertet werden, um wertvolles Feedback zu liefern. Dieser Prozess ist jedoch zeitaufwendig und bindet Ressourcen, die effektiver eingesetzt werden könnten. Vor diesem Hintergrund wurde im Projekt des Mittelstand-Digital Zentrums Hannover mit der Decisio GmbH die Erforschung und Implementierung von KI-Sprachmodellen, sogenannter Large Language Models (LLM), zur automatisierten Bewertung dieser Berichte durchgeführt. Ziel war es, die Bewertungseffizienz zu steigern, Lehrkräfte zu entlasten und die Qualität des Feedbacks zu verbessern, um den Lernprozess der Teilnehmer optimal zu unterstützen.

Die Decisio Projekt- und Prozessmanagement GmbH ist ein Unternehmen, das Produkte und Dienstleistungen in den Bereichen Software, Consulting, Training und Coaching anbietet.

Ausführlicher Projektbericht

Der Lösungsweg für die Implementierung eines automatisierten Bewertungssystems zur Analyse und Bewertung von Projektberichten bei der Decisio GmbH wurde durch einen mehrphasigen Ansatz strukturiert. Hier wird der Prozess im Detail erläutert:

Phase 1: Automatisierte Textextraktion

Der erste Schritt in der Umsetzung des Projekts konzentrierte sich auf die automatisierte Textextraktion von Textbausteinen aus den Projektmanagementberichten. Diese lagen als Word-Dokumente vor. Die Herausforderung bestand darin, einen Mechanismus zu entwickeln, der in der Lage ist, Textdaten effizient und zuverlässig zu extrahieren, unabhängig von variierenden Formatierungen in den unterschiedlichen Projektberichten. Mithilfe der Programmiersprache Python und dem Einsatz diverser Textverarbeitungsbibliotheken wie docx und pickle, wurde ein System entwickelt, das Textbausteine präzise identifizieren, extrahieren und für die weitere Verarbeitung aufbereiten konnte. Diese Phase war entscheidend, um eine solide Datenbasis für die nachfolgenden Schritte der KI-Analyse zu schaffen.

Phase 2: Einsatz und Feedback-Optimierung von GPT-3.5-Turbo

Nachdem die Textextraktion abgeschlossen war, wurden die Daten an das LLM GPT-3.5-Turbo weitergeleitet. In dieser Phase wurde intensiv mit dem Konzept des Prompt Engineerings gearbeitet, um die spezifischen Bewertungskriterien so in Eingabeaufforderungen (Prompts) umzuwandeln, dass das Modell diese effektiv verarbeiten konnte. Ziel war es, die Prompts so zu optimieren, dass das Feedback des Modells möglichst konsistent und von hoher Qualität war. Durch iterative Tests und Feinjustierungen wurden die Prompts angepasst, um sicherzustellen, dass das Modell präzise und nutzbringende Rückmeldungen lieferte. In Abbildung 1 sind zwei unterschiedliche Prompts zu sehen, die denselben Berichtsausschnitt bewerten sollen. Je nach Formulierung wurde eine unterschiedliche Antwort gegeben. Dies zeigt, dass die Formulierung der Prompts ausschlaggebend für die Qualität der Rückmeldungen ist.

Abbildung 1: Beispiel für Output unterschiedlicher Prompts

 

Phase 3: Implementierung von Retrieval_Augmented Generation (RAG)

Um die Genauigkeit und Kontextabhängigkeit des von GPT-3.5-Turbo generierten Feedbacks weiter zu verbessern, wurde die Retrieval-Augmented Generation (RAG) Technik eingeführt. Dabei wurde eine Datenbank aus projektmanagementrelevanten Texten erstellt, die als zusätzliche Informationsquelle für das Modell diente. Hierbei ist zu beachten, dass einfache Textdateien problemlos verarbeitet werden können. Die Verarbeitung von Excel-Tabellen oder Bildern erfordert jedoch programmiertechnisch einen hohen Aufwand und wurde hier ausgeschlossen. Die Einbindung dieser Datenbank ermöglichte es dem KI-System, auf eine umfangreichere Wissensbasis zuzugreifen, was theoretisch zu fundierteren und kontextbezogeneren Antworten führen sollte. Frühe Beobachtungen zeigten, dass das Modell in der Lage war, spezifische Informationen aus dieser Datenbank in seine Bewertungen einzubeziehen. Es wurde festgestellt, dass das Modell diese Texte nutzt, um Antworten zu generieren, jedoch muss durch eine unabhängige Evaluierung durch Projektmanagementexperten noch bestätigt werden, ob und wie die Integration dieser Technik tatsächlich die Qualität des Feedbacks verbessert. Dieser Schritt ist wesentlich, um die Effektivität der RAG-Technik vollständig zu bewerten und zu verstehen, wie sie die Genauigkeit und Relevanz der generierten Bewertungen beeinflusst. Aufgrund des zeitlichen Rahmens wurde auf den intensiven Austausch mit den Expert*innen verzichtet und ein verstärktes Augenmerk auf die Optimierung der Prompt-Formulierungen gelegt, um konsistentere und zuverlässigere Ergebnisse zu erzielen. Im Anschluss an das Projekt kann das Unternehmen die Prompts entsprechend den eigenen Bedürfnissen  anpassen und auch die RAG-Technik durch einen IT-Experten einführen.  

Phase 4: Feedback und Prototypenentwicklung

In der letzten Phase des Projekts lag der Fokus auf der weiteren Optimierung des Feedbacks und der Entwicklung eines funktionsfähigen Prototyps. Das durch das KI-Modell erzeugte Feedback wurde nicht nur für sofortige Rückmeldungen genutzt, sondern auch in einer Excel-Datei dokumentiert. Diese Vorgehensweise ermöglichte es, die verwendeten Prompts und das resultierende Feedback systematisch zu überprüfen und bei Bedarf weiter zu verfeinern. Zusätzlich wurde ein  Demonstrator (siehe Abbildung 2) entwickelt, der es den Nutzerinnen und Nutzern erlaubte, einen Projektbericht auszuwählen und per Knopfdruck Feedback zu erhalten. Dieser Prototyp diente als praktische Plattform, um die Leistungsfähigkeit und Benutzerfreundlichkeit des gesamten Systems zu demonstrieren und weiter zu verbessern.

Abbildung 2: Maske Demonstrator

Nutzen für den Mittelstand​

Dieses Projekt demonstriert, dass die Nutzung von KI-Sprachmodellen zur automatisierten Bewertung von Projektmanagementberichten möglich ist. Durch die Implementierung des Large Language Models GPT-3.5-Turbo und der Retrieval-Augmented Generation (RAG) Technologie konnten die Bewertungsprozesse effizienter gestaltet werden. Die verschiedenen Phasen des Projekts – von der automatisierten Textextraktion bis zur Feedback-Optimierung und Prototypenentwicklung – haben gezeigt, dass solche Systeme nicht nur die Effizienz steigern, sondern auch die Qualität des Feedbacks verbessern können. Diese Verbesserungen erlauben es Lehrkräften, sich verstärkt auf pädagogische Aufgaben zu konzentrieren.

Die Ergebnisse bieten eine solide Grundlage für zukünftige Verbesserungen und Anpassungen der Technologie. Die vollständige Validierung der Feedbackqualität durch Fachexpert*innen bleibt ein wichtiger Schritt, um die Genauigkeit der KI-gestützten Bewertungen zu sichern. Das Projekt hat nicht nur unmittelbare Vorteile für die Decisio GmbH gebracht, sondern kann auch als Modell für ähnliche Technologien in anderen Bildungsbereichen dienen. So können durch leichte Anpassungen auch andere Berichte bewertet werden.

Die Einführung einer KI-gestützten Bewertungshilfe bietet zahlreiche Vorteile für KMU. Zum einen kann die Bearbeitungszeit von Berichtskorrekturen signifikant reduziert werden, was Mitarbeitende entlastet und es ihnen ermöglicht, sich auf andere Aufgaben zu konzentrieren. Zum anderen erhöht der Einsatz von LLM die Konsistenz und Qualität der Bewertungen, da die LLM-Modelle auf eine große Menge an Daten vortrainiert sind und somit einheitliche Projektmanagementstandards anwenden können. Darüber hinaus bietet die Technologie die Möglichkeit, auf Basis des Feedbacks der KI, die Lehrmaterialien und Schulungsprozesse nochmals kritisch zu hinterfragen, gegebenenfalls zu verbessern und regt zum Austausch an.

Das Projekt hat nicht nur gezeigt, dass eine automatisierte Bewertung von Projektmanagementberichten technisch umsetzbar ist, sondern auch, dass sie effektiv zur Verbesserung der Arbeitsprozesse beitragen kann. Dennoch ist es, trotz der vielversprechenden Ergebnisse wichtig, eine Balance zwischen technologischer Unterstützung und menschlicher Überprüfung zu wahren, um die Zuverlässigkeit und Genauigkeit der Bewertungen sicherzustellen.

Noch Fragen offen?

Unsere Projekte umfassen einen großen zeitlichen, organisatorischen und thematischen 
Umfang. Erfragen Sie die Details einfach beim Projektverantwortlichen. Wir leiten Sie gerne weiter! 

Das könnte Sie auch interessieren

Ihre Anmeldung zum
Arbeitskreis
„KI im Marketing”

Wir freuen uns, dass Sie sich für unser KI-Mentoring-Programm mit dem Fokus auf marketing interessieren. Bitte füllen Sie das folgende Formular aus, um sich für einen der Arbeitskreise zu registrieren. Wir prüfen Ihre Anfrage und melden uns schnellstmöglich zurück.

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Ihre Anmeldung zum
KI-Mentoring

Wir freuen uns, dass Sie sich für unser KI-Mentoring-Programm interessieren. Bitte füllen Sie das folgende Formular aus, um sich für einen der Arbeitskreise zu registrieren. Wir prüfen Ihre Anfrage und melden uns schnellstmöglich zurück.

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Bleiben Sie informiert!

Digitale Neuigkeiten, aktuelle Themen und kommende Termine monatlich in Ihr Postfach, mit unserem Newsletter!


Mit dem Absenden dieser Anmeldung stimme ich zu, dass meine Daten zum Zweck des Newsletterempfangs zu CleverReach übertragen werden. Nähere Informationen finden Sie in unserer Datenschutzerklärung

Frage zu Projekten stellen

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Die Mobile Fabrik anfragen

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Ihre Idee für ein Digitalisierungsprojekt

Sie haben eine konkrete Projektidee, mit der wir Ihren Betrieb bei der Digitalisierung unterstützen können? Teilen Sie uns Ihre Idee mit und wir melden uns umgehend bei Ihnen und besprechen alle weiteren Schritte.

Aus welcher Branche kommen Sie?
Welche Position bekleiden Sie im Unternehmen?
Wie viele Mitarbeitende beschäftigt Ihr Unternehmen?

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Kontaktformular

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Firmengespräch vereinbaren

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!
Welche Position bekleiden Sie im Unternehmen?
Wie viele Mitarbeitende beschäftigt Ihr Unternehmen?

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Suche

Suche

Termin für Livevorführung vereinbaren

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!

Mit Absenden der Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

Firmengespräch vereinbaren

Teilen Sie uns Ihre Kontaktdaten mit, wir melden uns schnellstmöglich bei Ihnen zurück!

Welche Position bekleiden Sie im Unternehmen?
Wie viele Mitarbeitende beschäftigt Ihr Unternehmen?

Mit dem Absenden dieser Anfrage erklären Sie sich mit unserer Datenschutzerklärung einverstanden.

Alle Angebote des Zentrums sind kostenfrei.

WordPress Cookie Hinweis von Real Cookie Banner