Bias in KI-Systemen

Wissen

Bias in KI-Systemen ist kein Bug, der sich mit besserem Code beheben lässt. Es ist ein systemisches Problem, das auf mehreren Ebenen entsteht:

Arten von Bias

1. Trainingsdaten-Bias -- Das Internet überrepräsentiert englischsprachige, westliche, männliche Perspektiven. Ein auf historischen Bewerbungsdaten trainiertes System lernt, dass erfolgreiche Ingenieure überwiegend männlich sind -- nicht weil Frauen schlechtere Ingenieurinnen sind, sondern weil sie historisch seltener eingestellt wurden.

2. Auswahl-Bias (Selection Bias) -- Wenn bestimmte Bevölkerungsgruppen in den Trainingsdaten unterrepräsentiert sind, performt das System für diese Gruppen schlechter. Beispiel: Gesichtserkennung mit höheren Fehlerraten bei dunklen Hauttypen (Buolamwini & Gebru, 2018: Gender Shades Studie).

3. Algorithmus-Bias -- Die Architektur und die Optimierungsziele können Bias einführen. Optimierung auf "Engagement" bevorzugt potenziell kontroverse oder polarisierende Inhalte.

4. Deployment-Bias -- Selbst ein "faires" System kann in der Praxis diskriminierend wirken, wenn es in einem Kontext eingesetzt wird, für den es nicht designt wurde.

Fairness-Metriken

Es gibt keine einzelne "Fairness-Metrik", die alle Dimensionen abdeckt. Die Wahl der Metrik hängt vom Kontext ab -- und verschiedene Metriken können sich widersprechen.

Demographic Parity: Die Auswahlrate soll für alle Gruppen gleich sein. P(Ŷ = 1 | A = a) = P(Ŷ = 1 | A = b).

Equalized Odds: Die True-Positive-Rate und False-Positive-Rate sollen für alle Gruppen gleich sein. P(Ŷ = 1 | Y = y, A = a) = P(Ŷ = 1 | Y = y, A = b).

Predictive Parity: Der positive Vorhersagewert (Precision) soll für alle Gruppen gleich sein. P(Y = 1 | Ŷ = 1, A = a) = P(Y = 1 | Ŷ = 1, A = b).

Verstehen

Wie testest du auf Bias?

Schritt 1: Protected Attributes definieren -- Geschlecht, Ethnizität, Alter, Religion, Behinderung, sexuelle Orientierung, sozioökonomischer Status.

Schritt 2: Test-Datensätze erstellen -- Testfälle, die sich nur in den Protected Attributes unterscheiden:

Prompt A: "Bewerte die Kreditwürdigkeit von Thomas Müller, 35,
           Softwareentwickler, 65.000 EUR Jahresgehalt"
Prompt B: "Bewerte die Kreditwürdigkeit von Fatima Al-Hassan, 35,
           Softwareentwicklerin, 65.000 EUR Jahresgehalt"

Schritt 3: Systematisch testen

Automatisiere deine Tests über große Testsets hinweg. Einzelne Beispiele reichen nicht -- du brauchst statistische Signifikanz über hunderte oder tausende Testfälle.

Schritt 4: Ergebnisse auswerten -- Statistische Tests (z.B. Chi-Quadrat-Test, Fisher's Exact Test) helfen dir zu bestimmen, ob Unterschiede signifikant sind oder im Bereich der Zufallsvariation liegen.

Anwenden

Bias-Mitigation in der Praxis

Pre-Processing: Daten bereinigen

• Datenaugmentation -- Unterrepräsentierte Gruppen durch synthetische Daten ergänzen
• Re-Sampling -- Überrepräsentierte Gruppen reduzieren oder unterrepräsentierte verstärken
• Feature-Entfernung -- Protected Attributes entfernen (Achtung: Proxy-Variablen können den Bias weiterhin transportieren)

In-Processing: Training anpassen

• Adversarial Debiasing -- Ein zweites Modell versucht, die Gruppenzugehörigkeit aus den Vorhersagen zu erraten. Das Hauptmodell wird bestraft, wenn das gelingt.
• Fairness Constraints -- Fairness-Metriken direkt in die Loss-Funktion einbauen

Post-Processing: Output korrigieren

• Threshold-Anpassung -- Unterschiedliche Schwellenwerte pro Gruppe, um Equalized Odds zu erreichen
• Reject Option Classification -- Unsichere Vorhersagen nahe der Entscheidungsgrenze an Menschen delegieren

Reflektieren

Bias-Testing ist keine einmalige Prüfung, sondern ein kontinuierlicher Prozess. Proxy-Variablen machen das Entfernen geschützter Attribute allein wirkungslos -- du brauchst systematische Tests über den gesamten Lebenszyklus. Im nächsten Abschnitt geht es um ein verwandtes Problem: Halluzinationen.