KI Showcase: Der Chatbot “ParzivAI”

Am 22.07.24 stellten Dr. Florian Nieser und Dr. Thomas Renkert die Alpha-Version des von ihnen entwickelten Chatbots ParzivAI vor. ParzivAI ist auf die Vermittlung der mittelhochdeutschen Sprache und Geschichtsdidaktik des Mittelalters spezialisiert und besteht aus einem Sprachmodell (LLM), einem RAG-System für Dokumentenzugriff, sowie einem Frontend mit Feedback-Funktion.

Forschungsfragen und Prototyp

Der ParzivAI-Prototyp ist das Ergebnis einer neunmonatigen Forschungs- und Entwicklungsarbeit, die durch vier Grundfragen motiviert war: 

1. Können KI-Tutoren ausgehend von einem allgemeinen Themenbereich (das Mittelalter) eine punktuell immersive Lernerfahrung (mittelhochdeutsch) ermöglichen? ​​
2. Stellen KI-Chatbots ein sinnvolles user interface zur Synthese und Kombination verschiedener Informationen (Übersetzung, Interpretation, linguist. Analyse, Illustrationen) aus diversen Quellen dar? ​
3. Lassen sich solche Lösungen ohne Verwendung großer, kommerzieller Angebote (wie z.B. die OpenAI API etc.) und mit stärkerem Fokus auf Nachhaltigkeit und Transparenz realisieren? ​​
4. Wie verwenden Dozierende, Studierende, Lehrer:innen und Schüler:innen solche pädagogischen Chatbots und wie bewerten sie deren verschiedene Funktionen?

Der Fokus der Entwicklung von ParzivAI lag u.a. auf dem Anliegen “KI Mündigkeit”, insbesondere auf den Schwerpunkten der Transparenz und Nachhaltigkeit der Architektur. Nachhaltig ist die Lösung einerseits, weil für sie keine Datacenters oder Serverfarmen benötigt werden: ParzivAI läuft auf einer einzigen lokalen Maschine und soll mittelfristig mit noch weniger Rechenleistung auskommen. Andererseits aber verwendet, bündelt und präsentiert ParzivAI Daten, die durch jahrzehntelange Digital Humanities Forschung an vielen verschiedenen Stellen gesammelt und aufbereitet worden sind, auf nachhaltige Weise in einem nutzerfreundlichen Format.
Doch auch Transparenz spielt bei ParzivAI eine zentrale Rolle: durch die Zusammenstellung eigener Datensätze für das Finetuning kann nachvollziehbar gemacht werden, woher die Daten stammen, auf die das Modell bei der Generierung der Antworten zurückgreift. 
Aus Perspektive der Bildungsforschung interessant ist dagegen die transparente Erzeugung anonymer Datensätze von User:innen im Umgang mit dem Chatbot.

Beim Showcase teilte sich der Vortrag in zwei Teile: Die Vorstellung des Trainingsprozesses und der technischen Details des Gesamtsystems einerseits und in eine Live-Vorstellung des Modells auf dem Server andererseits. Dabei wurden mit dem Publikum Anwendungs- und Grenzfälle diskutiert, die die Stärken und Limitationen des Modells aufzeigen konnten.

Finetuning des Sprachmodells

Wenn die Architektur, die jetzt für ParzivAI auf den besonderen Fall deutscher Sprachgeschichte ausgelegt ist, auch den Betatest mit mehr Usern meistert, kann sie als Vorlage für weitere Einsatzzwecke, Themengebiete und Fächer dienen. ParzivAI basiert auf dem von Cohere entwickelten Modell Command R+¹, das mit 104 Milliarden Parametern gegenwärtig zu den größeren Modellen gehört. Das Modell wurde mit einem Datensatz von ca. 400 MB auf zwei NVidia A100 GPUs über 4 Tage einem Finetuning (SFT) unterzogen. Command r+ versteht in der Basisversion ohne Finetuning kein Mittelhochdeutsch oder halluziniert Pseudosätze und Bruchstücke zusammen. Wie alle Sprachmodelle ist es vor allem mit englischsprachigen Daten trainiert worden. Deswegen wurde das Modell mit einem Trainingsdatensatz von insgesamt 400MB an mittelhochdeutschen Textinformationen samt deutscher und englischer Übersetzung finetuned.

Die Datensets wurden entlang des Curriculum Learning-Ansatzes² aufgebaut, die in verschiedenen Studien eine verbesserte Trainingsperformance gezeigt hat. Dieser Ansatz zeichnet sich dadurch aus, dass die Trainingsdaten so sortiert werden, dass sie von einfacheren (Übersetzung von einzelnen Sätzen) zu schwierigeren Tasks (Kontextbasierte Antworten wie weiterführende Fragen zum Autor nach einer bestimmten Übersetzungsaufgabe) übergehen. Diese Form des Finetunings führt dazu, dass die anschließend vom Modell erwarteten Übersetzungs- und Kontextanfragen möglichst bereits vom Modell selbst beantwortet werden können. 

Es konnte gezeigt werden, dass das LLM nach dem Finetuning in der Lage war, mittelhochdeutsche Sätze zufriedenstellend zu übersetzen, auch wenn diese Sprache nicht im Basisdatensatz und also auch nicht im Tokenizer des Modells vorhanden gewesen ist.

Ungelöst ist weiterhin das Problem von Begriffen, die in den Trainingsdaten nicht vorkommen, etwa moderne Begriffe, die es im Mittelhochdeutschen nicht gibt. Diese werden von ParzivAi bislang entweder umgangen oder eine Übersetzung halluziniert – das spontan ins Leben gerufene “Red Team” beim Showcase hatte Worte wie ‚Teilchenbeschleuniger‘ als Übersetzungsaufgabe gegeben.

Adaptive Retrieval-Augmented Generation und Streamlit Frontend

Das Template der Gesamtarchitektur um das trainierte LLM herum beinhaltet auch ein auf lokalen Daten basierendes RAG (Retrieval Augmented Generation). Dabei handelt es sich um einen Dokumentenspeicher für das Sprachmodell, der es diesem ermöglicht, Antworten auf Grundlage von dort hinterlegten Informationen zu generieren. RAG-Systeme stellen also eine Möglichkeit für ein Modell dar, nicht nur auf Trainingsdaten zurückzugreifen, sondern direkt Dokumente “zu lesen” und die darin enthaltenen Daten an die Nutzer:innen weiterzugeben.

Ein RAG hat so den Vorteil, dass die Wissensbasis des Modells ohne erneutes Training beliebig an andere Einsatzzwecke und Projekte angepasst werden kann. Gleichzeitig kann auch die Herkunft der Daten, auf deren Basis das Modell seine Antworten generiert, besser nachvollzogen werden, was wiederum die Transparenz erhöht.

ParzivAI implementiert RAG dabei in einer erweiterten adaptiven Variante³, die zunächst versucht, die Antwort mit den zur Verfügung gestellten Informationen direkt als LLM zu beantworten, dann auf den Index im RAG zurückzugreifen und erst bei fehlender Antwort mithilfe einer Internetrecherche samt Zitationsangaben eine Antwort zu finden. Für ParzivAI wurden URLs, CSV- und PDF-Dateien mithilfe der FAISS-Bibliothek (Facebook Artificial Intelligence Similarity Search)⁴ hinterlegt. Das Modell bewertet dabei die erzeugten Antworten in mehreren internen Schleifen und versucht, diese zu verbessern, bevor die User:in sie zu Gesicht bekommt.

Die Kombination aus adaptivem RAG und LLM mit Finetuning versetzt den Chatbot in die Lage, mittelhochdeutsche Texte zuverlässig zu übersetzen, Informationen zur Textgeschichte der deutschen Sprache didaktisch aufbereitet zu präsentieren, aber auch Informationen mit hoher Faktizität anzubieten.

Die Nutzer:innen greifen auf das System mittels eines Webfrontends zu, das mit der Streamlit-Bibliothek⁵ entwickelt wird. Dieses Frontend ermöglicht es, nicht nur mit ParzivAI zu chatten, sondern weitere Funktionen zu implementieren. So kann ParzivAI auf eine Bilddatenbank mit mittelalterlicher Kunst zugreifen und Kunstwerke anzeigen, die für das Thema der Unterhaltung relevant sind. Ebenfalls möglich ist eine linguistische Analyse mit Part-of-Speech Tagging, die über spaCy⁶ in Streamlit realisiert wurde. Weitere Funktionen sind für die Zukunft geplant.

Vor allem aber erlaubt es Streamlit, dass Nutzer:innen anonymes Feedback zu einzelnen Antworten oder den Gesprächsverlauf insgesamt abgeben können. Diese Daten geben Auskunft über die Arten und Eigenschaften von Interaktionen zwischen User:innen und Chatbot und sind relevant für die Weiterentwicklung der Architektur.

ParzivAI als Transfervorlage

Die Struktur von ParzivAI kann, wenn sie sich auf Dauer bewährt, auch anderen Themenbereichen, Disziplinen, Fächern oder Forschungsfeldern als Schablone dienen, indem sie zwei konträre Anforderungen erfüllt. Einerseits ist der Chatbot im Sinne der Nachhaltigkeit und Datensicherheit ein ressourcenschonendes, lokal laufendes Modell. Andererseits zeigt die erweiterte RAG-Implementierung die Skalierbarkeit und Anpassungsfähigkeit von LLMs.

Mit dem Prototyp wurde ein adaptierbares Template geschaffen, mit dem z.B. ausgestorbene Sprachen in ein Sprachmodell integriert werden können und somit interaktiv nutzbar werden. Die Modularität von ParzivAI erlaubt es, nicht nur die Dokumente des RAG, sondern auch das Sprachmodell oder die Funktionen im Streamlit-Frontend unaufwändig durch andere auszutauschen.

Das Potential solch eines Transfers besteht darin, Mündigkeit im Umgang mit Künstlicher Intelligenz konkret in praktischen Anwendungen einzuüben. Die indirekte pädagogische Vermittlung von Grundwissen über generative KI (GenAI) sollte nicht unterschätzt werden. Denn neben dem Kontext Schule werden nachhaltig-transparente Lösungen auch im Bereich Hochschule künftig eine immer wichtigere Rolle spielen – nicht nur in den Digital Humanities.
Der Showcase endete mit einem Ausblick auf die nahe Zukunft, für die ein Betatest von ParzivAI geplant ist. Wer über die neuesten Updates zu ParzivAI informiert werden möchte, kann dem Discord-Server beitreten: https://discord.com/invite/vyCZUfrz, oder in den Sozialen Medien nach dem Hashtag #ParzivAI Ausschau halten.

Florian Nieser und Thomas Renkert

1. https://huggingface.co/CohereForAI/c4ai-command-r-plus ↩︎
2. Soviany, P., Ionescu, R. T., Rota, P., & Sebe, N. (2022). Curriculum learning: A survey (arXiv:2101.10382). arXiv. https://doi.org/10.48550/arXiv.2101.10382 ↩︎
3. Jeong, S., Baek, J., Cho, S., Hwang, S. J., & Park, J. C. (2024). Adaptive-rag: Learning to adapt retrieval-augmented large language models through question complexity (arXiv:2403.14403). arXiv. https://doi.org/10.48550/arXiv.2403.14403 ↩︎
4. Douze, M., Guzhva, A., Deng, C., Johnson, J., Szilvasy, G., Mazaré, P.-E., Lomeli, M., Hosseini, L., & Jégou, H. (2024). The Faiss library, https://faiss.ai/ ↩︎
5.  https://streamlit.io/ ↩︎
6. Honnibal, M., Montani, I., Van Landeghem, S., & Boyd, A. (2020). spaCy: Industrial-strength Natural Language Processing in Python. https://doi.org/10.5281/zenodo.1212303, https://spacy.io/ ↩︎

---

---