„Freiwillige Ethikleitlinien reichen nicht“
Die Wirtschaftsinformatikerin Eva Gengler forscht und wirkt intersektional-feministisch an der Schnittstelle von Macht und Künstlicher Intelligenz. Hier spricht sie über KI als Verstärker von Diskriminierungserfahrungen, die Notwendigkeit politischer Regulierung und was jede:r Einzelne tun kann.
In welchen Bereichen wurde die Diskriminierung von marginalisierten Menschen durch KI-Anwendungen nachgewiesen? Wie weitreichend ist das Problem?
Die kurze und leider ernüchternde Antwort lautet: fast überall, wo KI eingesetzt wird.
Meine eigene Auseinandersetzung mit dem Thema hat im Recruiting begonnen. Dort wurden Frauen durch KI-Systeme systematisch schlechter bewertet oder sogar aussortiert, weil die Systeme aus historischen Personaldaten gelernt hatten. Wenn in der Vergangenheit vor allem Männer eingestellt und befördert wurden, „erkennt“ das System darin ein vermeintliches Erfolgsmuster. Die KI erfindet denSexismus also nicht neu – sie „lernt“ ihn von uns, automatisiert ihn und kann ihn anschließend in einem sehr viel größeren Maßstab reproduzieren und verstärken.
Inzwischen ist gut dokumentiert, dass sich solche Probleme nicht auf das Recruiting beschränken. Wir sehen sie bei Kreditentscheidungen, bei denen Frauen oder People of Color schlechtere Konditionen erhalten. Wir sehen sie in der Medizin, wenn Erkrankungen bei Frauen oder Schwarzen Patient seltener erkannt werden, weil sie in den Daten nicht ausreichend repräsentiert sind. Wir sehen sie bei Gesichtserkennungssystemen, die bei Women of Color besonders häufig falsche Ergebnisse liefern. Das kann dazu führen, dass Menschen keinen Zugang zu ihrem Bankkonto erhalten, an Grenzen genauer kontrolliert oder sogar fälschlicherweise festgenommen werden.
Auch soziale Medien sind keineswegs neutral. Algorithmen entscheiden darüber, welche Menschen und Themen sichtbar werden. Inhalte queerer Personen, von Menschen mit Behinderung oder von Aktivist:innen wurden in der Vergangenheit eingeschränkt, falsch als problematisch klassifiziert oder weniger ausgespielt. Gleichzeitig können diskriminierende, extremistische oder menschenfeindliche Inhalte eine enorme Reichweite erhalten.
„Generative KI reproduzieren Genderstereotype, empfehlen Frauen teilweise niedrigere Gehälter, beschreiben Männer und Frauen auf Basis von Stereotypen unterschiedlich und bilden gesellschaftliche Machtverhältnisse in Sprache und Bildern ab“
Und natürlich betrifft das auch generative KI und große Sprachmodelle. Sie reproduzieren Genderstereotype, empfehlen Frauen teilweise niedrigere Gehälter, beschreiben Männer und Frauen auf Basis von Stereotypen unterschiedlich und bilden gesellschaftliche Machtverhältnisse in Sprache und Bildern ab. Bitten wir ein Bildsystem, „mächtige Menschen“ zu zeigen, bekommen wir noch immer vor allem weiße Männer im Anzug. Bei „Schönheit“ sehen wir dagegen häufig junge, schlanke und sexualisiert-dargestellte Frauen. Diese Ergebnisse sind keine zufälligen technischen „Pannen“, sondern ein verzerrter Spiegel der Daten und der Gesellschaft, aus der diese Daten stammen.
Das Problem ist deshalb so weitreichend, weil KI nicht nur in einer einzelnen App steckt. Sie beeinflusst, wer einen Job, einen Kredit, eine medizinische Behandlung, Sozialleistungen oder öffentliche Aufmerksamkeit bekommt. Und sie tut das at scale , also in großem Maßstab und potenziell für Millionen von Menschen gleichzeitig. Eine voreingenommene menschliche Entscheidung ist problematisch. Ein voreingenommenes automatisiertes System kann diese Entscheidung in Sekunden tausendfach wiederholen und dabei noch den Anschein von Neutralität erwecken. Genau darin liegt für mich eine der größten Gefahren: Viele Menschen halten das Ergebnis eines KI-Systems für objektiver als ein menschliches Urteil. Aber KI ist geprägt von historischen Daten, menschlichen Entscheidungen, neoliberal-kapitalistischen Interessen und bestehenden Machtstrukturen. Sie ist ein Brennglas: Sie bildet Ungerechtigkeit nicht nur ab, sondern kann sie vergrößern.
Wie kann diese Ungleichbehandlung aufgebrochen werden? Was kann jede*r einzelne tun, wo müssen die Betreiber*innen umdenken, wo braucht es politische Regulierung?
Die problematischen Konsequenzen von KI sind auf das ihr zugrundeliegende System an ungerechten Machtstrukturen zurückzuführen. In meinem Buch „Feministische KI“ betrachte ich deshalb fünf Ebenen: den Kontext, die beteiligten Menschen, die Daten, das Design und vor allem den Zweck.
Kontext: KI entsteht nicht im luftleeren Raum. Sie wird in Organisationen entwickelt, die von wirtschaftlichen Interessen, Hierarchien und gesellschaftlichen Machtverhältnissen geprägt sind. Diese Rahmenbedingungen beeinflussen, welche Probleme überhaupt als relevant gelten und welche Lösungen entwickelt werden. Wir müssen fragen: In welcher Gesellschaft, welcher Organisation und unter welchen Machtverhältnissen wird ein System entwickelt? Eine KI, die in einem US-amerikanischen Technologiekonzern entwickelt wird, ist nicht automatisch für eine Schule in Bayern, ein Krankenhaus in Kenia oder eine Behörde in Indien geeignet. Machtverhältnisse und -strukturen einer Organisation spielen dabei eine Rolle.
Deshalb brauchen wir verbindliche politische Regulierung. Freiwillige Ethikleitlinien reichen nicht, weil sie oft mit neoliberal-kapitalistischen Interessen kollidieren. Es braucht klare Verbote für besonders gefährliche Anwendungen, unabhängige Prüfungen, Transparenzpflichten, Folgenabschätzungen, Beschwerde- und Klagemöglichkeiten sowie empfindliche Konsequenzen bei Verstößen. Der EU AI Act ist ein wichtiger Schritt, aber nicht ausreichend. Gerade Inklusivität, Nachhaltigkeit und die Beteiligung marginalisierter Menschen dürfen keine freiwilligen Extras bleiben.
Menschen: Noch immer entwickeln vor allem privilegierte Gruppen KI-Systeme, während die Perspektiven derjenigen fehlen, die von den Entscheidungen besonders betroffen sind. Wir müssen fragen: Wer sitzt am Tisch, wenn das System entwickelt, eingekauft und eingesetzt wird? Sind dort nur technisch ausgebildete, privilegierte Personen vertreten, oder auch Menschen, die von den Konsequenzen betroffen sein werden? Marginalisierte Menschen sollten an der Definition des Problems, an den Zielen und an den Entscheidungen beteiligt werden – und für diese Arbeit angemessen bezahlt werden.
Daten: Datensätze bilden unsere Gesellschaft nicht neutral ab. Sie enthalten historische Ungleichheiten, weiße Flecken und bestehende Vorurteile. Deshalb müssen wir hinterfragen, wer in den Daten sichtbar ist, wer fehlt und unter welchen Bedingungen sie erhoben wurden. Manchmal müssen Daten ergänzt oder neu kuratiert werden – und manchmal ist die verantwortungsvollste Entscheidung, bestimmte Daten gar nicht zu verwenden.
Design: Viele KI-Systeme werden vor allem auf Effizienz oder durchschnittliche Genauigkeit optimiert. Dadurch bleiben die Fehler für einzelne Gruppen oft unsichtbar. Deshalb braucht es intersektionale Tests: Wie funktioniert es für Schwarze Frauen, für ältere Menschen mit Behinderung oder für queere Jugendliche? Es braucht Transparenz, Beschwerdemöglichkeiten, menschliche Kontrolle und die reale Möglichkeit, automatisierte Entscheidungen anzufechten.
Zweck: Am wichtigsten ist für mich aber der Zweck. Warum setzen wir hier überhaupt KI ein? Welches Problem soll sie lösen – und für wen? Häufig wird KI genutzt, um bestehende Prozesse schneller und günstiger zu machen – es wird selten reflektiert, ob diese Prozesse ungerecht sind. In solchen Fällen automatisieren wir mit KI vor allem die bestehende Ungleichheit. Deshalb sollten wir immer zuerst fragen, welches Problem gelöst werden soll und ob wir den Prozess mit KI verbessern können – und ob KI dafür überhaupt die richtige Lösung ist.
Auch jede Einzelne kann etwas tun. Wir können KI-Ergebnisse kritisch hinterfragen, Stereotype nicht ungeprüft übernehmen und diskriminierende Resultate melden. Wir können uns in verschiedensten Funktionen einbringen: Im Management, im Einkauf, in Ausschreibungen, in Projektarbeit, in Weiterbildungen, in der IT und in der Anwendung. Wir sollten Betroffenen zuhören und uns der eigenen Privilegien bewusst werden.
Wie könnte eine feministische KI aussehen? Wie muss sie trainiert, wie genutzt werden?
Für mich gibt es nicht „die eine“ feministische KI. Feministische KI ist für mich ein Ansatz, um gerechter Systeme zu entwickeln. Das ist komplex und die Use Cases, die ich mir angeschaut habe, decken diesen Ansatz nur zum Teil ab. Deshalb würde ich eher von feministischeren KI-Systemen sprechen. Grundsätzlich gibt es zwei Wege: Wir können bestehende KI für feministische Zwecke einsetzen, oder wir können KI von Grund auf feministisch entwickeln. Am besten tun wir beides.
Eine herkömmliche KI kann beispielsweise genutzt werden, um eigene Texte auf Bias, Privilegien und diskriminierenden Sprachgebrauch zu prüfen. Sie kann genutzt werden, um bestehende Prozesse zu hinterfragen und um Frauen sichtbarer zu machen. Feministische KI Use Cases, die ich gesammelt habe, umfassen z.B. Systeme, um diskriminierende Gehaltsstrukturen in Unternehmen sichtbar zu machen, Menschen zu mit Jobs zu matchen anstatt sie anhand historischer Daten zu bewerten, weibliche Herzinfarkte früher zu erkennen oder Menschen zu unterstützen, die von Gewalt betroffen sind. Entscheidend ist er emanzipatorische Zweck.
„Feministische KI soll transformieren, statt zu reproduzieren.“
Der feministische Ansatz, der darauf abzielt den gesamten Entwicklungsprozess insgesamt neu zu denken, habe ich auf Kontext, Menschen, Daten, Design und Zweck ausgerichtet. Eine feministische KI kann kontextbezogen sein, denn sie muss nicht global, sondern lokal funktionieren. Partizipation von Betroffenen und Vielfalt sind entscheidend. Feministische Datenpraktiken legen Wert auf den Kontext der Datenerfassung und dass die Arbeit derjenigen, die Daten sammeln, labeln und bereinigen, sichtbar und fair bezahlt wird. (Buchtipp: Data Feminism) Das Design einer feministischen KI berücksichtigt ökologische Folgen und priorisiert nicht nur nach Effizienz, sondern auch nach Fürsorge, Empowerment und Gerechtigkeit.
Der Zweck ist entscheidend: Warum wird diese KI entwickelt? Um zu transformieren anstatt zu reproduzieren. Feministische KI ist für mich nicht nur ein technischer, sondern ein politischer, sozialer, kultureller und aktivistischer Ansatz, um gesellschaftliche Ungerechtigkeiten und Machtstrukturen mit KI gerechter zu machen.
Frauen nutzen KI-Anwendungen bislang deutlich seltener als Männer. Hat diese größere Zurückhaltung gegenüber einer Technologie, die möglicherweise negative Auswirkungen auf die kritische Denkfähigkeit ihrer Nutzer*innen hat, auch Vorteile für Frauen?
In meinem Buch Feministische KI beschreibe ich die geringere KI-Nutzung von Frauen zunächst als Problem. Wer neue Technologien seltener nutzt, läuft Gefahr, von ihrer Entwicklung und Gestaltung ausgeschlossen zu werden. Das betrifft nicht nur den Arbeitsmarkt, sondern auch politische Mitsprache, wirtschaftliche Chancen und die Frage, welche Perspektiven überhaupt in KI-Systeme einfließen. Wenn vor allem Männer KI entwickeln und nutzen, besteht die Gefahr, dass bestehende Ungleichheiten weiter verstärkt werden. Wir sehen das auch beim Zugang zu KI: Oft bekommen in Unternehmen eher Männer teure Pro-Lizenzen. Das kann diese Lücke noch weiter verschärfen.
Gleichzeitig lohnt sich aber ein differenzierter Blick. Der derzeitige Hype um KI vermittelt manchmal den Eindruck, dass wir jetzt möglichst schnell möglichst viele Aufgaben an KI auslagern müssen. Ich würde hier wieder auf den Zweck verweisen.
Wenn der Prozess nicht gut ist, dann hilft im Zweifel auch KI nicht weiter, wenn wir ihn nicht neu denken. Außerdem gibt es durchaus auch Risiken, wenn KI für jede kleinere Aufgabe verwendet und andersherum Vorteile, wenn auch noch selbst gedacht wird. Wer nicht reflexhaft jede Idee von einer KI formulieren lässt, trainiert kritisches Denken, die eigene Kreativität, und Empathie, entwickelt einen eigenen Schreibstil und bleibt grundsätzlich unabhängiger von algorithmischen Vorschlägen. Ich sehe leider auch, dass KI oft eingesetzt wird, ohne sich im Vorfeld selbst Gedanken zu machen. Dann sind die Antworten oft nicht gut, sondern sehr generisch und ganz frei heraus: es kann uns außerdem ganz schön bequem machen.
Hinzu kommt ein oft übersehener Aspekt: Jede KI-Anfrage verbraucht Energie und Ressourcen. Eine kritischere und bewusstere Nutzung ist deshalb auch aus ökologischer Sicht sehr sinnvoll. Wir sollten daher alle lernen, zu hinterfragen, wo der Einsatz von KI einen echten Mehrwert schaffen kann.
Hinweis der Autorin: Ich habe bei der Beantwortung der Fragen auf meinem Buch Feministische KI aufgebaut und zum Teil KI genutzt, um die Antworten zu strukturieren und zu überarbeiten.
Eva Gengler ist Doktorin der Wirtschafts- und Sozialwissenschaften. Als Wirtschaftsinformatikerin forscht und wirkt sie intersektional-feministisch an der Schnittstelle von Macht und Künstlicher Intelligenz. An der FAU Erlangen-Nürnberg hat sie im Programm Business and Human Rights zu KI aus einer feministischen soziotechnischen Perspektive promoviert. Als Speakerin und Co-Founderin der feminist AI Community sowie von enableYou engagiert sie sich für eine gerechte und verantwortliche Technologiegestaltung. Sie ist Buchautorin von „Feministische KI“ und Gewinnerin des STRIVE Awards 2026.