Prompt-Klassifikation mit klassischem Machine Learning

Ein Experiment auf Basis von Bundestagsreden und Embeddings

R
NLP
LLMs
Embeddings
Bundestag
AI-Act
Autor:in

Michael Bücker

Veröffentlichungsdatum

23. Februar 2026

Ich untersuche derzeit, wie sich Prompts vor der Ausführung automatisiert risikoorientiert klassifizieren lassen, um Governance-Entscheidungen gemäß KI-Verordnung der Europäischen Union (2024) technisch zu unterstützen.

Die praktische Hürde ist derzeit klar: Für Prompt-Risiken entlang der KI-VO gibt es meines Wissens keinen frei verfügbaren, belastbaren Goldstandard-Datensatz mit fein aufgelösten Klassen. Deshalb starte ich mit einem pragmatischen, aber methodisch belastbaren Proxy: Bundestagsreden mit bekannter Fraktionszugehörigkeit, bezogen über mein neues R-Paket bunddev (Bücker 2026).

Das ist auch ein guter Stresstest für das Gesamtsetup: strukturierte Datenerhebung, reproduzierbare Aufbereitung, Embedding-Features, Multiclass-Evaluation und Erklärbarkeit.

Ein konkretes Beispiel: Eine Mitarbeiterin gibt im internen Chat den Prompt „Erstelle eine Zusammenfassung der letzten Aufsichtsratsprotokolle mit Bezug auf die geplante Übernahme” ein. Ein PII-Filter erkennt hier kein Problem — es sind keine personenbezogenen Daten enthalten. Aber eine inhaltliche Governance-Schicht könnte den Prompt als potenziell vertraulich einstufen und eine Freigabe oder Eskalation auslösen.

Genau auf diese Ebene zielt dieses Projekt: inhaltliche Prompt-Klassifikation für Governance-/Risikologik, nicht nur reine PII-Erkennung. Für engere Sicherheitsaufgaben wie PII-Erkennung gibt es bereits etablierte Filter, z. B. NER mit Microsoft Presidio.

Warum Unternehmen eigene KI-Stacks betreiben

In der Praxis nutzen viele Unternehmen KI inzwischen produktiv, aber oft nicht über öffentliche Standard-Interfaces. Stattdessen werden eigene Systeme aufgebaut, lokal oder in der EU gehostet. Typische Gründe sind:

  • Datenschutz und Datenresidenz
  • Schutz von Geschäftsgeheimnissen und geistigem Eigentum
  • Compliance-, Audit- und Nachweispflichten
  • Zugriffskontrolle (Rollen, Rechte, SSO)
  • Integration in interne Datenquellen und Prozessketten
  • Kostenkontrolle und Modell-/Provider-Flexibilität
  • Betriebsstabilität, Monitoring und Incident-Handling

Architektonisch sieht das häufig so aus (vgl. Abbildung 1): Eine interne Chatoberfläche nimmt Eingaben entgegen, das Backend verarbeitet Prompts, und erst dann wird ein Modell aufgerufen. Die Prompt-Klassifikation sitzt dabei als vorgelagerte Governance-Schicht zwischen Prompt-Eingang und Inferenz.

%%{init: {'theme': 'base', 'flowchart': {'htmlLabels': false}, 'themeVariables': { 'fontSize': '20px' }}}%%
flowchart LR
    U[Nutzer:in]
    UI[Interne Chat-Oberflaeche]
    GW[Backend / Prompt-Gateway]
    CLF[Prompt-Klassifikation<br/>klassisches ML + Policy]
    DEC{Policy-Entscheidung}
    LLM[LLM-Inferenz<br/>lokal oder EU-gehostet]
    RET[Antwort an UI]
    LOG[(Audit-Log / Monitoring)]
    REV[Human Review]

    U --> UI --> GW --> CLF --> DEC
    DEC -->|Freigabe| LLM --> RET --> UI
    DEC -->|Warnung / Redaktion| GW
    DEC -->|Block / Eskalation| REV
    CLF --> LOG
    DEC --> LOG

    classDef user fill:#e6f4ff,stroke:#1d4ed8,color:#0f172a,stroke-width:2px,font-size:19px;
    classDef system fill:#eef2ff,stroke:#4f46e5,color:#111827,stroke-width:2px,font-size:19px;
    classDef decision fill:#fff7ed,stroke:#c2410c,color:#111827,stroke-width:2px,font-size:19px;
    classDef classifier fill:#dcfce7,stroke:#15803d,color:#052e16,stroke-width:4px,font-size:21px;
    classDef infra fill:#f5f3ff,stroke:#6d28d9,color:#111827,stroke-width:2px,font-size:19px;
    classDef review fill:#fee2e2,stroke:#b91c1c,color:#111827,stroke-width:2px,font-size:19px;

    class U user;
    class UI,GW,LLM,RET system;
    class DEC decision;
    class CLF classifier;
    class LOG infra;
    class REV review;
Abbildung 1: Schematische Zielarchitektur mit vorgeschalteter Prompt-Klassifikation

Anforderungen an ein Prompt-Klassifikationssystem im Unternehmen

Ein produktionsnahes Klassifikationssystem in einem DSGVO-konformen Chatbot-Stack sollte aus meiner Sicht mindestens folgende Eigenschaften erfüllen:

  • Regelbare Entscheidungslogik: Die Risikoentscheidung sollte nicht ausschließlich von einem generativen LLM abhängen, sondern auf stabilen, versionierbaren Verfahren beruhen.
  • Transparenz auf Einzelfallebene: Wenn ein Prompt blockiert oder markiert wird, muss nachvollziehbar sein, welche Signale zur Entscheidung geführt haben.
  • Niedrige Latenz: Die vorgeschaltete Klassifikation darf die User-Interaktion nicht spürbar verzögern.
  • Determinismus und Reproduzierbarkeit: Gleiche Eingaben sollen unter gleicher Versionierung gleich bewertet werden.
  • Auditierbarkeit: Scores, Schwellenwerte, Modell-/Policy-Versionen und Zeitstempel müssen protokolliert werden.
  • Fail-safe Verhalten: Für Unsicherheit oder Teilausfälle braucht es definierte Fallbacks (z. B. Human Review statt stiller Freigabe).
  • Monitoring und Drift-Management: Verteilungen, Fehlerraten und Schwellenwerte müssen über Zeit überwacht werden.

Diese Kombination spricht für schnelle, transparente Klassifikatoren mit expliziter Policy-Schicht statt rein generativen Black-Box-Entscheidungen.

Datensatz und Filterlogik

Warum dieser Datensatz?

Für den eigentlichen KI-VO-Fall fehlen frei verfügbare, sauber gelabelte Prompt-Risikodaten. Mit Bundestagsreden haben wir dagegen ein klar definiertes Klassifikationsziel: Die Klassenlabels sind die Fraktionen, und die Aufgabe lautet, eine Rede anhand ihres Inhalts der richtigen Fraktion zuzuordnen. Damit entsteht ein sauberes überwacht lernbares Multiclass-Problem. Konkret haben wir:

  • klare Klassenlabels,
  • sprachliche Überlappungen zwischen Klassen,
  • ausreichend Varianz für ein realistisches Multiclass-Problem.

Genau diese Mischung macht den Datensatz zu einem geeigneten methodischen Probelauf.

Tabelle 1: Korpusübersicht nach Bereinigung
Fraktion Anzahl Reden Mittelwert Wörter SD Wörter Median Wörter P25 Wörter P75 Wörter Minimum Wörter Maximum Wörter Sitze (WP20) Reden pro Sitz
AfD 150 518,8 283,9 518,5 336,2 645,5 100 1.564 83 1,81
Bündnis 90/Die Grünen 173 604,8 309,8 591,0 422,0 752,0 101 2.170 118 1,47
CDU/CSU 279 656,6 405,2 623,0 441,5 767,0 102 3.290 197 1,42
Die Linke 83 438,5 244,2 407,0 304,0 495,0 107 1.482 39 2,13
FDP 157 624,2 324,6 603,0 443,0 748,0 101 2.210 92 1,71
SPD 261 646,6 306,1 636,0 447,0 773,0 100 2.673 206 1,27

Tabelle 1 zeigt die finale Verteilung je Fraktion, die Sitzanzahl als strukturellen Kontextfaktor und die relative Aktivität über “Reden pro Sitz”. Zusätzlich sind Streuungskennzahlen zur Redelänge enthalten. Ein Teil der Unterschiede bei den Redezahlen ist erwartbar: Größere Fraktionen haben mehr potenzielle Redner:innen und damit typischerweise mehr Beiträge im Korpus (Der Bundeswahlleiter 2021). Der Beobachtungszeitraum ist für alle Fraktionen identisch (13.11.2024 bis 18.03.2025). Die Klassen sind ungleich verteilt. Das ist nicht nur für Parlamentsdaten typisch, sondern vermutlich auch für zukünftige Prompt-Risikoklassen. Gerade deshalb ist das Setup als Fairness- und Robustheitstest nützlich.

Tabelle 2: Bereinigungs- und Ausschlussgründe im Datenprozess
Prozessschritt Anzahl Reden Ausschlüsse ggü. vorherigem Schritt
Rohinput 1.588 0
Nur Reden mit bekannter Fraktion und Text 1.339 249
Nur Ziel-Fraktionen (AfD, CDU/CSU, Grüne, Linke, FDP, SPD) 1.248 91
Mindestlänge 100 Wörter 1.133 115
Duplikate entfernt 1.103 30

Die konkrete Filterlogik in Tabelle 2 ist wichtig für die spätere Ergebnisinterpretation:

  1. Aus dem Rohinput werden nur Reden mit verwertbarem Text und bekannter Fraktion übernommen.
  2. Danach folgt die Beschränkung auf die Zielklassen.
  3. Anschließend werden sehr kurze Reden entfernt (unter 100 Wörtern), um extrem dünne Signale zu vermeiden.
  4. Zuletzt werden Duplikate bereinigt.
Abbildung 2: Anzahl Reden nach Fraktion

Abbildung 2 macht die Klassenimbalance visuell deutlich.

Abbildung 3: Verteilung der Redelängen nach Fraktion

Abbildung 3 zeigt Unterschiede in der Redelänge zwischen Fraktionen. Für die Übertragbarkeit auf Prompt-Use-Cases ist das relevant: User-Prompts sind typischerweise viel kürzer als Parlamentsreden. Die Ergebnisse sind daher methodisch informativ, aber nicht 1:1 auf kurze Prompttexte übertragbar.

Abbildung 4: Charakteristische Terme je Fraktion (exploratives tf-idf)

Abbildung 4 zeigt bereits vor dem Modelltraining, dass fraktionsspezifische Sprachmuster existieren, aber auch thematische Überschneidungen vorliegen. Kurz zur Einordnung: tf-idf gewichtet Begriffe hoch, die in einem Teilkorpus häufig sind, aber im Gesamtkorpus eher selten. Formal: \[ \mathrm{tfidf}(t,d) = \mathrm{tf}(t,d) \cdot \log\!\left(\frac{N}{\mathrm{df}(t)}\right) \] mit Term \(t\), Dokument/Teilkorpus \(d\), Anzahl der Dokumente \(N\) und Dokumenthäufigkeit \(\mathrm{df}(t)\). Dabei ist \(\mathrm{tf}(t,d)\) die relative Häufigkeit des Terms \(t\) in \(d\) (Term Frequency), und \(\mathrm{df}(t)\) zählt, in wie vielen Dokumenten der Term überhaupt vorkommt. Damit werden sehr allgemeine Wörter heruntergewichtet und eher charakteristische Begriffe sichtbar gemacht. Beispielhaft sieht man in Abbildung 4 Begriffe wie verfassungsfeinde, fachkraftausbildung, brandmauern, mietendeckel oder rezession. Gleichzeitig sieht man Überschneidungen über Fraktionen hinweg, etwa in Debattenfeldern wie Migration, Wirtschaft oder Sicherheit, die in unterschiedlichen sprachlichen Varianten bei mehreren Parteien auftauchen.

Methodik

Feature-Repräsentation

Die Baseline-Repräsentation ist ein Rede-Embedding: Jede vollständige Rede wird als einzelner Vektor kodiert. Die Embeddings wurden über Azure OpenAI mit text-embedding-3-large erzeugt.

Zusätzlich wurden Chunk-Varianten getestet:

  • feste Segmentierung z. B. mit 150 Wörtern,
  • sowie kleinere Chunks (120 Wörter) mit 30 Wörtern Überlappung,
  • anschließendes Pooling auf Redeebene (z. B. Mittelung von Klassenwahrscheinlichkeiten).

Warum dieser Vergleich?

  • Rede-Embeddings sind sehr effizient und betrieblich einfach.
  • Chunking kann lokale Klassifikationssignale besser abbilden.
  • Chunking verbessert zudem die lokale Erklärbarkeit, weil konkrete Textpassagen verfügbar sind.

Modellfamilien und Auswahlkriterien

Für die Baseline-Auswahl habe ich bewusst mit multinomialer logistischer Regression und einer linearen Support Vector Machine (SVM) begonnen. Der Grund ist pragmatisch und methodisch zugleich:

  • beide Modelle sind für hochdimensionale Embedding-Features gut geeignet,
  • beide sind schnell trainierbar und inferenzstark im Betrieb,
  • beide liefern robuste Referenzlinien, bevor man in komplexere Ensembles geht,
  • und beide sind deutlich transparenter als viele schwergewichtige End-to-End-Alternativen.

Die multinomiale LogReg ist dabei eine sehr saubere probabilistische Referenz: einfach zu kalibrieren, gut interpretierbar, und als erster Reality-Check für lineare Trennbarkeit sehr nützlich.

Die lineare SVM ist in solchen Settings oft stark, weil sie die Trennfläche über die Margin optimiert und dadurch bei verrauschten, überlappenden Klassen häufig stabil generalisiert (Cortes und Vapnik 1995).

Schon seit dem Studium faszinieren mich Support Vector Machines. Die Kombination aus eleganter Optimierungsformulierung (maximale Margin unter Nebenbedingungen), geometrischer Intuition und Generalisierungsperspektive über VC-Ideen (Vapnik und Chervonenkis 1971) ist bis heute überzeugend. Das gilt für mich sowohl theoretisch als auch praktisch.

Zur Einordnung des Grundprinzips zeigt Abbildung 5 die klassische Margin-Illustration.

Abbildung 5: Klassische SVM-Margin-Illustration. Quelle: Wikimedia Commons.

Vereinfacht gesagt sucht SVM zunächst eine trennende Funktion, die die Klassen möglichst gut voneinander separiert. Bei linearem SVM ist das eine Hyperebene im Feature-Raum; bei nichtlinearen Varianten wird diese Trennung in einen geeigneten Merkmalsraum verlagert.

Theoretisch lässt sich das dann in drei Kernideen zusammenfassen:

  • Maximaler Rand: Statt nur irgendeine trennende Hyperebene zu finden, sucht SVM die mit maximalem Abstand zu den nächstliegenden Punkten.
  • Kernel-Trick: Nichtlineare Trennstrukturen können über implizite Feature-Räume modelliert werden, ohne den Raum explizit auszurechnen.
  • Generalisierungs-Bias: Große Margins wirken als Regularisierung und helfen, Überanpassung zu reduzieren.

Getestet wurden anschließend mehrere Modellansätze:

  • Lineares SVM auf Rede-Embeddings
  • Multinomiale logistische Regression auf Rede-Embeddings
  • Chunk-basierte logistische Modelle mit verschiedenen Pooling-Strategien
  • Stacking/Kalibrierung als leistungsorientierte Kombination mehrerer Signale

Die Leitfrage war nicht nur “welches Modell hat den höchsten Punktwert”, sondern: Welcher Ansatz ist bei ähnlicher Leistung robust, transparent und produktionsnah?

Resampling- und Evaluationsstrategie

Die zentrale Evaluationsachse ist die sprechergruppierte Kreuzvalidierung (grouped speaker cross-validation, im Folgenden: grouped CV). Dabei werden Rednergruppen zwischen Training und Validierung getrennt.

Warum ist das wichtig?

  • Ohne Gruppierung kann ein Modell sprecherspezifische Stilmerkmale mit Klassenlabeln verwechseln.
  • Das würde in der Validierung zu optimistischen Ergebnissen führen.
  • Grouped CV ist daher ein strengerer Test auf Generalisierung über Sprecher hinweg.

Ergänzend wurde ein separater Testsplit berichtet. Die Modellselektion priorisiert jedoch die grouped-CV-Ergebnisse, weil sie näher an der gewünschten Robustheit liegen.

Metriken für ein unausgewogenes Multiclass-Problem

Wir haben ein unausgewogenes Mehrklassenproblem. Grundsätzlich kommen u. a. folgende Kennzahlen infrage:

  • Accuracy: einfach verständlich, aber bei Imbalance oft verzerrt zugunsten großer Klassen.
  • Macro-F1: mittelt F1 über Klassen gleichgewichtet und balanciert Präzision/Recall pro Klasse.
  • Balanced Accuracy: mittlere Recall-Leistung über Klassen, robust gegen Klassenungleichgewicht.
  • (optional) Weighted F1: berücksichtigt Klassenhäufigkeiten, kann aber Minderheitsklassen schwächer gewichten.

In diesem Projekt nutze ich primär Macro-F1, sekundär Balanced Accuracy und ergänzend Accuracy. Das ist aus meiner Sicht die passendste Reihenfolge für eine faire Modellbewertung im vorliegenden Setup.

Ergebnisse

Zur Orientierung: Zuerst berichte ich die Leistung des selektierten 6-Klassen-Modells, dann den Modellvergleich auf der Primärmetrik, anschließend den fairen 2-Klassen-Exkurs und zuletzt die Fehlermuster über die Konfusionsmatrix.

Das selektierte Modell ist ein kalibriertes Stacking-Ensemble, das die Signale aus SVM und logistischer Regression kombiniert und über klassenspezifische Schwellenwerte die finale Zuordnung steuert. Es erreicht im grouped CV eine Macro-F1 von 0,5622, eine Balanced Accuracy von 0,7367 und eine Accuracy von 0,5616. Im separaten Testsplit liegen die Werte bei Macro-F1 0,6090, Balanced Accuracy 0,7568 und Accuracy 0,6009.

Pragmatisch gelesen heißt das: Im robusteren grouped CV sind etwa 56 von 100 Vorhersagen korrekt, im Testsplit etwa 60 von 100. Zum Vergleich: Bei sechs Klassen läge reiner Zufall bei rund 16,7 Prozent. Als faire Einordnung ist der chance-normalized lift aussagekräftiger als ein bloßer Faktorvergleich: Er liegt bei 0,4740 im grouped CV und bei 0,5211 im Testsplit.

Tabelle 3: Modellvergleich (grouped CV, Mittelwerte je Metrik)
Modell Accuracy Balanced Accuracy Macro-F1
Stack kalibriert + Schwellenwert 0,5616 0,7367 0,5622
Stack unkalibriert 0,5486 0,7410 0,5434
Speech SVM 0,5465 0,7405 0,5452
Speech LogReg (gewichtet) 0,5402 0,7306 0,5407

Die lesbare Querformatdarstellung in Tabelle 3 ergänzt die Grafikdarstellung und erleichtert den direkten Metrikvergleich über Modelle.

Exkurs: 2-Klassen-Test und fairer Vergleich

Als methodischer Kurztest habe ich zusätzlich ein binäres Setting betrachtet: Regierung (SPD, Bündnis 90/Die Grünen, FDP) versus Opposition (CDU/CSU, AfD, Die Linke). Der Exkurs nutzt dieselben Embeddings wie das Hauptsetting; geändert wurde nur das Label-Mapping (6 Klassen vs. 2 Klassen).

Wichtig ist dabei ein fairer Vergleich: Die rohe Accuracy ist zwischen 6 Klassen und 2 Klassen nicht direkt vergleichbar. Darum stelle ich neben Accuracy auch Balanced Accuracy und F1 gegenüber und ergänze einen chance-normalisierten Lift: \[ \text{Lift} = \frac{\text{Accuracy} - \text{Chance}}{1 - \text{Chance}} \] mit Chance-Baseline \(1/6\) für das 6-Klassen-Setting und \(1/2\) für das 2-Klassen-Setting.

Tabelle 4: Exkursvergleich: 6 Klassen vs. 2 Klassen (grouped CV)
Setting Modell Accuracy Chance-Baseline Chance-normalized Lift Balanced Accuracy F1
6 Klassen Stack kalibriert + Schwellenwert 0,5616 0,1667 0,4740 0,7367 0,5622
2 Klassen Lineares SVM 0,7487 0,5000 0,4974 0,7419 0,7153

Tabelle 4 zeigt den erwartbaren Effekt: Das 2-Klassen-Problem ist absolut leichter (höhere Accuracy/Balanced Accuracy/F1). Nach Chance-Normalisierung liegen die Settings jedoch deutlich näher zusammen (Lift 6 Klassen: 0,4740; Lift 2 Klassen: 0,4974). Das spricht dafür, dass ein substanzielles Signal in den Embeddings vorhanden ist, die Hauptschwierigkeit aber in der feineren Trennung innerhalb des 6-Klassen-Settings liegt.

Abbildung 6: Modellvergleich nach Macro-F1 im grouped CV (95%-Konfidenzintervalle)

Die ergänzenden Metriken (Accuracy und Balanced Accuracy) sind in Tabelle 3 dargestellt.

Abbildung 7: Konfusionsmatrix des selektierten Modells

Ausführliche Ergebnisinterpretation

Das selektierte Stack-Modell wurde nicht nur nach einem Einzelwert, sondern nach einer mehrstufigen Entscheidung gewählt: Primärmetrik war Macro-F1 im grouped CV, ergänzt um Balanced Accuracy als Fairnessmaß über Klassen und um Stabilität im separaten Testsplit. In dieser Kombination liegt das kalibrierte Stacking-Ensemble vorn und bleibt zugleich robust genug für einen belastbaren Referenzpunkt.

Gleichzeitig zeigen Tabelle 3 und Abbildung 6, dass der Abstand zum linearen Speech-SVM begrenzt ist. Das ist praktisch relevant: Wenn Betriebseinfachheit, Wartbarkeit und Erklärbarkeit höher gewichtet werden als der letzte Leistungsgewinn, ist die lineare SVM weiterhin eine sehr gute produktionsnahe Wahl.

Inhaltlich ist die Modellleistung solide, bleibt aber hinter einer naheliegenden Intuition zurück: Man könnte erwarten, dass sich die Fraktion allein aus Vokabular und Redeinhalt klarer ableiten lässt. Die Ergebnisse deuten jedoch auf ein strukturell schwieriges Signal hin:

  • Viele Reden behandeln ähnliche politische Themenfelder.
  • Embeddings ordnen semantisch ähnliche Kontexte nahe beieinander ein.
  • Fraktionsspezifische Unterschiede liegen häufig in feineren rhetorischen Nuancen statt in groben Themenclustern.

Genau diese Nuancen sind mit Standard-Embeddings nicht immer vollständig trennscharf abbildbar.

Die Konfusionsmatrix in Abbildung 7 zeigt zusätzlich, dass Fehlklassifikationen nicht zufällig verteilt sind, sondern zwischen inhaltlich näheren Fraktionen gehäuft auftreten. Das spricht eher für ein inhaltlich plausibles Fehlermuster als für reines Overfitting auf Artefakte.

Konkret lässt sich die Matrix als “erwartbare, aber asymmetrische Überlappung” lesen:

  • Grüne werden relativ häufig als SPD eingeordnet (0,20), während die Gegenrichtung SPD -> Grüne deutlich kleiner ist (0,09).
  • Die Überschneidung Grüne -> CDU/CSU liegt bei 0,17 und ist damit tatsächlich auffällig; umgekehrt CDU/CSU -> Grüne liegt bei 0,07.
  • Zwischen CDU/CSU und SPD ist die Verwechslung vergleichsweise symmetrisch (SPD -> CDU/CSU: 0,13, CDU/CSU -> SPD: 0,12).
  • AfD wird häufiger Richtung CDU/CSU verschoben (0,13) als in andere Klassen, was auf thematische Nähe in bestimmten Debattenfeldern hindeutet.

Kurz gesagt: Das Modell verwechselt vor allem politisch nahestehende Fraktionen — ein inhaltlich plausibles Muster, kein Artefakt.

Für den Zielkontext Prompt-Risikoklassifikation ist genau das eine wichtige Erkenntnis: Wenn Klassen inhaltlich nah beieinander liegen, muss man mit systematischen Grenzfällen rechnen und entsprechende Review- oder Eskalationspfade mitdenken.

Erklärbarkeit

Erklärbarkeit ist in diesem Kontext nicht optional, sondern Kernanforderung: Eine Risikoentscheidung ohne Begründung ist operativ und regulatorisch kaum belastbar.

Konzeptionell lassen sich zwei Ebenen unterscheiden (Ribeiro, Singh, und Guestrin 2016; Lundberg und Lee 2017; Doshi-Velez und Kim 2017; Bücker u. a. 2021):

  • Lokal: Warum wurde genau diese Instanz so klassifiziert?
  • Global: Welche Muster nutzt das Modell allgemein pro Klasse?

In diesem Projekt nutze ich dafür chunk-basierte Evidenz und termbasierte Aggregationen.

Abbildung 8: Top-Terme aus modellrelevanten Chunks (tf-idf)
Abbildung 9: Top-Terme aus modellrelevanten Chunks (Log-Odds)

Die Balkendiagramme in Abbildung 8 und Abbildung 9 sind bewusst gewählt: Sie sind für Vergleich und Bericht deutlich belastbarer als reine Wordclouds.

Interpretativ zeigen sich zwei Muster:

  • Thematische Marker (politikfeldnah),
  • Rhetorische/debattenbezogene Marker (kontextabhängig).

Beispielhaft sieht man in den globalen Listen u. a. bei AfD Terme wie “Brandmauern” oder “Grenzen”, bei Bündnis 90/Die Grünen eher “Klimaneutralität” und “Cybersicherheit”, bei Die Linke “Mieten” und “Mietendeckel”. Das sind keine “harten Regeln”, aber in Summe gut nachvollziehbare Signale, die auch inhaltlich zu Debattenprofilen passen.

Darum sollten globale Top-Terme immer zusammen mit lokalen Chunk-Belegen gelesen werden: Die globalen Terme zeigen Klassenmuster, die lokalen Chunks liefern die konkrete Evidenz für die Einzelfallentscheidung. Zusätzlich wurden Speaker-Selbstreferenz-Artefakte gezielt gefiltert, damit Erklärungen nicht durch Transkriptbesonderheiten verzerrt werden.

Einordnung und Ausblick

Diese Studie liefert keine direkte KI-VO-Risikoklassifikation. Sie zeigt jedoch, dass ein transparentes Embedding-Setup in einem schwierigen Mehrklassen-Szenario belastbar funktionieren kann, wenn Evaluation und Modellwahl diszipliniert umgesetzt werden. Für mich ist das die zentrale Aussage: Das Signal ist vorhanden, aber die Trennschärfe zwischen inhaltlich nahen Klassen ist begrenzt und muss betrieblich durch Policy-Logik, Schwellenwerte und Review-Prozesse abgefedert werden.

Gerade für reale Unternehmensumgebungen ist das ein realistisches Bild. In Governance-nahen Anwendungen ist ein “perfekter” Klassifikator selten erreichbar; entscheidend ist ein robustes Gesamtsystem aus Modell, Regeln, Monitoring und dokumentierter Entscheidungskette.

Was wir mitnehmen können

  1. Methodische Machbarkeit: Embedding-Klassifikation, konservative Evaluation und Erklärbarkeit lassen sich als reproduzierbare Pipeline sauber kombinieren. Damit ist eine belastbare technische Grundlage vorhanden, auf der man auch regulatorisch argumentieren kann.
  2. Bewertungsdisziplin: Bei unausgewogenen Klassen sollten Macro-F1 und Balanced Accuracy die Leitmetriken sein, nicht allein Accuracy. Erst diese Perspektive macht sichtbar, ob ein Modell auch auf kleineren Klassen zuverlässig arbeitet.
  3. Betriebliche Pragmatik: Ein einfaches, starkes Modell (lineares SVM) kann in frühen Produktphasen sinnvoller sein als maximale Komplexität. Der zusätzliche Leistungsgewinn komplexerer Varianten muss gegen Betriebsaufwand, Wartbarkeit und Erklärbarkeit abgewogen werden.

Grenzen

Die wichtigsten Grenzen betreffen Länge, Domäne und Labelsemantik: Bundestagsreden sind deutlich länger als typische User-Prompts, und Fraktionszugehörigkeit ist nicht gleichbedeutend mit KI-VO-Risikoklassen. Das Experiment ist daher kein “Beweis” für die Zielaufgabe, sondern ein methodischer Belastungstest unter kontrollierten Bedingungen.

Trotzdem ist die Übertragungslogik plausibel: Auch bei Prompt-Risiken sind Klassen in der Praxis oft ungleich verteilt, inhaltlich teilweise überlappend und operativ mit asymmetrischen Fehlerkosten verbunden. Genau diese Eigenschaften bildet das gewählte Setup bereits in relevanten Teilen ab.

Nächste Schritte Richtung Zielsystem

Der nächste sinnvolle Schritt ist ein domänenspezifischer Prompt-Datensatz mit klarer, dokumentierter KI-VO-Labeldefinition. Darauf aufbauend braucht es ein abgestuftes Entscheidungsdesign: Schwellenwerte je Risikoklasse, definierte Eskalationspfade und ein konsequentes Human-Review für Grenzfälle.

Parallel sollte das Monitoring früh mitgedacht werden: Drift in Promptverteilungen, klassenweise Fehlerraten, Re-Kalibrierung und versionssichere Audit-Logs sind keine “späten Extras”, sondern Kernbestandteile eines produktionsfähigen Governance-Systems.

Schließlich sollte die Evaluation um policy-nahe Kennzahlen erweitert werden, etwa Kosten asymmetrischer Fehler je Risikoklasse oder SLA-wirksame Latenzgrenzen. Erst diese letzte Meile entscheidet, ob ein gutes Offline-Modell auch als zuverlässige Kontrollschicht im Live-Betrieb funktioniert.

Literatur

Bücker, Michael. 2026. „bunddev: R package for working with German Bundestag and related parliamentary data“. https://github.com/mchlbckr/bunddev.
Bücker, Michael, Gero Szepannek, Alicja Gosiewska, und Przemyslaw Biecek. 2021. „Transparency, auditability, and explainability of machine learning models in credit scoring“. Journal of the Operational Research Society 73 (1): 70–90. https://doi.org/10.1080/01605682.2021.1922098.
Cortes, Corinna, und Vladimir Vapnik. 1995. „Support-Vector Networks“. Machine Learning 20 (3): 273–97. https://doi.org/10.1007/BF00994018.
Der Bundeswahlleiter. 2021. „Wahl zum 20. Deutschen Bundestag am 26. September 2021: Endgültiges Ergebnis nach Wahlkreisen“. https://www.bundeswahlleiterin.de/bundestagswahlen/2021/ergebnisse/bund-99.html.
Doshi-Velez, Finale, und Been Kim. 2017. „Towards A Rigorous Science of Interpretable Machine Learning“. arXiv preprint arXiv:1702.08608. https://arxiv.org/abs/1702.08608.
Europäische Union. 2024. „Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz (Gesetz über künstliche Intelligenz)“. https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689.
Lundberg, Scott M., und Su-In Lee. 2017. „A Unified Approach to Interpreting Model Predictions“. In Advances in Neural Information Processing Systems 30. https://proceedings.neurips.cc/paper/2017/hash/8a20a8621978632d76c43dfd28b67767-Abstract.html.
Ribeiro, Marco Tulio, Sameer Singh, und Carlos Guestrin. 2016. „"Why Should I Trust You?": Explaining the Predictions of Any Classifier“. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135–44. https://doi.org/10.1145/2939672.2939778.
Vapnik, Vladimir N., und Alexey Y. Chervonenkis. 1971. „On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities“. Theory of Probability & Its Applications 16 (2): 264–80. https://doi.org/10.1137/1116025.