Diskriminierende Algorithmen?

Lernende Algorithmen und ihr menschlicher Ursprung

Technik ist menschengemacht und spiegelt deshalb gesellschaftliche und soziale Strukturen wider. Die Entscheidungen, die ein Algorithmus fällt, beruhen auf einer ursprünglichen Programmierung durch Menschen. Sogar, wenn der Algorithmus selbstlernend ist, kann er diskriminierend entscheiden. Selbstlernende Algorithmen werden mit Daten gefüttert, aus denen sie nach und nach immer differenzierte Entscheidungen entwickeln und sich selbst immer mehr verbessern. Das funktioniert teilweise erstaunlich gut. Entscheidend ist dabei die Masse: Je mehr Daten man dem Algorithmus „zu fressen“ gibt, desto besser kann dieser Muster erkennen und diese Muster als Grundlage für seine Entscheidungen machen. Deshalb hängen lernende Algorithmen auch eng mit dem Stichwort „Big Data“ – also extrem große, maschinenverarbeitete Datenmengen – zusammen. Solche Algorithmen stehen zum Beispiel hinter Spotify-Empfehlungen, Online-Kreditvergaben oder Pflanzen-Erkennungs-Apps.

Vermeintlich neutrale Daten

Der kritische Punkt ist: Die gefütterten Daten werden oft behandelt wie eine Art „neutrale“ Grundlage. Auf den ersten Blick wirkt das logisch und sogar anti-diskriminierend: Wir geben dem Algorithmus einfach so viele Fakten wie möglich und der entscheidet dann maximal objektiv, ohne den verfälschenden Einfluss menschlicher Vorurteile. Tatsächlich aber sind die Daten oft gar nicht so neutral, wie man meinen könnte. Nehmen wir an, wir programmieren einen selbstlernenden Algorithmus, der über die Kreditwürdigkeit einer Person entscheiden soll. Wir kaufen einen großen Datensatz mit Kreditvergaben der letzten achtzig Jahre in Deutschland und füttern den Algorithmus damit. Der Algorithmus hat eine ganze Menge Material zur Verfügung und schaut sich die jeweiligen Entscheidungen der Banken an und leitet daraus bestimmte Muster ab. So funktionieren vereinfacht gesagt Big Data-Programme.

Kreditvergabe per Algorithmus – ein gesellschaftlich heikles Unterfangen

Aber in den letzten achtzig Jahren sind viele Personen bei der Vergabe von Kredite schlecht weggekommen. Alleinstehende Personen, nicht-weiße Personen oder Frauen haben oft größere Schwierigkeiten, an Kredite zu kommen. Und das kann man nicht immer nur mit „rationalen“ oder „objektiven“ Beurteilungen von Liquidität oder Ähnlichem rechtfertigen. Um es kurz zu machen: Die Kreditvergabe in Deutschland war in den letzten achtzig Jahren oft diskriminierend. Wenn wir also dem Algorithmus nun diese von Diskriminierung geprägten Daten zum Lernen geben, dann eignet der sich diese Diskriminierung an. Vereinfacht gesagt liest der Algorithmus im Datensatz zum Beispiel folgendes Muster: Person A hat ein Eigenkapital von 1.000 €, hat deutsche Nationalität und bekommt einen Kredit. Person B hat ein Eigenkapital von 1.000 €, hat keine deutsche Nationalität und bekommt keinen Kredit. Dieses Muster übernimmt der Algorithmus dann als Grundlage für die eigenen Entscheidungen und reproduziert dann die diskriminierenden Kreditvergaben der Vergangenheit. Die vermeintlich objektiven Daten sind eben nicht neutral, sondern verfälscht, biased, verzerrt, nicht objektiv. Das ganze Beispiel ist etwas zugespitzt und vereinfacht. Aber das Grundproblem sollte dadurch deutlich geworden sein. Und die Kreditvergabe per Algorithmus ist kein herbeikonstruiertes Gedankenspiel, sondern schon längst Realität. Erst letztes Jahr ist zum Beispiel ein Fall mit der Apple Card bekannt geworden, bei dem einem US-amerikanischen Pärchen ein großer Unterschied zwischen ihrer beiden Kreditrahmen aufgefallen ist. Der Mann hatte viel mehr Kreditmöglichkeiten. Und das, obwohl die Frau sogar eine deutlich höhere Bonität hatte. Eine Studie von Forscher*innen der UC Berkeley hat herausgefunden, dass Afroamerikaner*innen und Latinxs bei solchen Algorithmen seltener Hypotheken und diese dann zu schlechteren Konditionen bekommen.

Sexistische Bildervorschläge bei Google

Nicht bei jedem lernenden Algorithmus spielen soziale Strukturen eine Rolle. Bei einer Pflanzen-Erkennungs-App ist das Reproduzieren von diskriminierenden Strukturen erstmal nicht so relevant. Sobald aber Menschen ins Spiel kommen, wird es schwierig. Der Datenwissenschaftler Markus Schedl erläutert in einer neuen „Corso“-Folge vom Deutschlandfunk sehr gut, wie lernende Algorithmen sexistisch verzerrte Vorschläge machen. Gibt man „CEO“ oder „Nurse“ (beides geschlechtsneutrale Begriffe der Gegenwart) bei der Google-Bildersuche ein, bekommt man beim Einen fast nur Männer und beim Anderen fast nur Frauen angezeigt. Springt zu Minute 03:03 (Restzeit) für den entsprechenden Ausschnitt.

Das Problem mit den Algorithmen ist, dass oft nicht mal die Entwickler*innen selbst so genau sagen können, warum und wie ein Algorithmus Entscheidungen fällt. Sie werden zur „Black Box“; zu einem nicht mehr nachvollziehbaren Entscheidungs-Kasten. Wenn ein Mensch eine diskriminierende Entscheidung fällt, lässt sich das ein Stück weit noch anfechten. Aber wenn eine Maschine eine nicht mehr nachvollziehbare, diskriminierende Entscheidung fällt, wie soll man sich dagegen zur Wehr setzen?

Mehr Transparenz

Um die Kontrolle über solche Entscheidungsprozesse wieder zurück zu erlangen, gibt es verschiedene Projekte und Initiativen. In Deutschland versucht zum Beispiel das Projekt OpenSCHUFA, den Kreditbeurteilungsprozess durchschaubarer zu machen. Denn auch die Krediteinstufung der Schufa nutze „mathematisch-statistisch anerkannte und bewährte Methoden“. Über das genaue Verfahren schweigt sich die Schufa aus – mit der Begründung, sonst würden zu viele ihren eigenen Score manipulieren wollen. Das mag sein, aber ohne Transparenz bleiben die Verbraucher*innen hilflos.

Neben mehr Transparenz in Algorithmus-gestützten Entscheidungsprozessen sollte auch eine Sensibiliserung der Fachleute unterstützt werden. Informatiker*innen, Entwickler*innen und Programmierer*innen, die mit Algorithmen arbeiten, sollten so früh wie möglich ein Bewusstsein für den Einfluss ihrer Programme auf soziale Strukturen entwickeln. Als Laie bleibt einem vermutlich erstmal nur übrig, aufzupassen, welche Daten man an Empfehlungssoftwares weitergibt. Eine weitere gute Grundlage ist, anti-diskriminierend zu konsumieren; also aktiv Produkte und Kulturgüter von Nicht-Weißen, Frauen, Indigenen, etc. zu kaufen. Das hilft, um diskriminierende Repräsentationen aufzubrechen und so die Datengrundlage der Algorithmen zu beeinflussen. Bei institutionellen Algorithmen, beispielsweise bei Gerichtsverfahren oder Bewerbungsprozessen sollte man wachsam sein und sich im Fall einer vermuteten Diskriminierung auch die Gesetzeslage anschauen. In Deutschland ist nämlich die Diskriminierung nach Geschlecht, Alter, Religionszugehörigkeit, Behinderung, sexueller Orientierung oder der ethnischen Herkunft per Gesetz verboten. Möglicherweise kann man dann sogar gegen die Diskriminierung durch den Algorithmus klagen. Welche Menschen dann für die Entscheidungen des Algorithmus Verantwortung tragen, ist noch mal eine ganz neue Frage.


Titelbild: Michael Dziedzic, Unsplash

2 Gedanken zu “Diskriminierende Algorithmen?

  1. Gibt es auch Beispiele bei welchen ein Algorithmus zu einer Verbesserung geführt hat?

    Wenn man nicht mit einem selbstlernenden Algorithmus arbeitet, bei der Programmierung bewusst keine Vorgaben zu sozialen Faktoren macht, sondern nur andere „handfeste“ Auswahlkriterien berücksichtigt, dann wäre der Algorithmus fairer als jeder Mensch. Oder?
    So weit die Theorie…

    Aber ob so etwas im großen Stil schonmal umgesetzt wurde?

    Trotzdem natürlich ein relevantes gesellschaftliches Thema.

    Gefällt mir

    1. Hey Katrin 🙂 Spannende Frage! Wahrscheinlich hängt das davon ab, was mit „Verbesserung“ gemeint ist.
      Eine Verbesserung für Musiknerds mit einem sehr spezifischen Musikgeschmack ist, dass sie durch Empfehlungs-Algorithmen schneller neue Sachen finden. Oder zum Beispiel Übersetzungswebseiten, die durch den Abgleich großer Datenmengen akkuratere (also bessere) Übersetzungen anbieten können.

      Wenn es eher um anti-diskriminierende Entwicklung der Gesellschaft geht, dann ist mir jetzt kein konkreter Fall bekannt, bei dem eine „Verbesserung“ bewirkt wurde. Liegt sicher u.a. daran, dass negative Fälle eher aufgegriffen werden und auch, dass es schwierig ist, den „Vorher“- und „Nachher“-Zustand zu definieren. Dafür müsste man ja sowas wie ein gesamtgesellschaftliches Diskriminierungsbarometer haben, das wurde leider noch nicht erfunden 😀

      Ziel einer Verbesserung kann sein, a) möglichst „neutral“ zu entscheiden oder b) anti-diskriminierend (also aktiv historisch diskriminierte Gruppen unterstützend) zu entscheiden. Oder natürlich kann man auch versuchen, Menschen absichtlich zu diskriminieren. Ich gehe jetzt mal davon aus, dass keiner von uns hier das will.

      Um das mit den „neutralen“ Entscheidungen noch mal zu verdeutlichen: Die sind bei sozialen und gesellschaftlichen Fragen aus meiner Perspektive sehr schwierig. Angenommen, man lässt einen Algorithmus über die Beatmung von Covid-19-Patient:innen entscheiden. Das ist ja eine Entscheidung, die wir eigentlich keinem:keiner Mediziner:in gerne zumuten wollen. Der Algorithmus entscheidet aufgrund der verfügbaren Gesundheitswerte. Die Definition der jeweiligen Grenzwerte und der medizinischen Einschätzungen muss erstmal von einem Menschen vorgenommen werden. Der Beatmungs-Algorithmus könnte z.B. durch Daten aus der Familien-Krankheits-Geschichte gestützt werden und Alter, Gewicht und so mit einbeziehen. Diese Angaben klingen einerseits „neutral“, aber schon die Tatsache, wie alt jemand ist, wie viel jemand wiegt, wie viel Vorerkrankungen in der Familie vorherrschen und bei wem welche dieser Daten überhaupt hinterlegt sind, beruhen alle auf gesellschaftlichen Strukturen und Entscheidungen durch Menschen. Dazu kommt, das nicht klar ist, was für die Angehörigen leichter ist: zu wissen, dass ihr:e Verwandte sterben musste, weil ein Mensch das entschieden hat oder weil eine Maschine das entschieden hat? Andererseits soll der Algorithmus ja genau diese Diskriminierung (also Unterscheidung) leisten. It’s difficult difficult Lemon difficult. So leicht kommt man aus dem Grundproblem auf jeden Fall nicht raus. Aber weiterhin ausprobieren und drüber nachdenken ist sicher gut! 🙂

      Gefällt mir

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s