Lernende Algorithmen und ihr menschlicher Ursprung

Technik ist menschengemacht und spiegelt deshalb gesellschaftliche und soziale Strukturen wider. Die Entscheidungen, die ein Algorithmus fällt, beruhen auf einer ursprünglichen Programmierung durch Menschen. Sogar, wenn der Algorithmus selbstlernend ist, kann er diskriminierend entscheiden. Selbstlernende Algorithmen werden mit Daten gefüttert, aus denen sie nach und nach immer differenzierte Entscheidungen entwickeln und sich selbst immer mehr verbessern. Das funktioniert teilweise erstaunlich gut. Entscheidend ist dabei die Masse: Je mehr Daten man dem Algorithmus „zu fressen“ gibt, desto besser kann dieser Muster erkennen und diese Muster als Grundlage für seine Entscheidungen machen. Deshalb hängen lernende Algorithmen auch eng mit dem Stichwort „Big Data“ – also extrem große, maschinenverarbeitete Datenmengen – zusammen. Solche Algorithmen stehen zum Beispiel hinter Spotify-Empfehlungen, Online-Kreditvergaben oder Pflanzen-Erkennungs-Apps.

Vermeintlich neutrale Daten

Der kritische Punkt ist: Die gefütterten Daten werden oft behandelt wie eine Art „neutrale“ Grundlage. Auf den ersten Blick wirkt das logisch und sogar anti-diskriminierend: Wir geben dem Algorithmus einfach so viele Fakten wie möglich und der entscheidet dann maximal objektiv, ohne den verfälschenden Einfluss menschlicher Vorurteile. Tatsächlich aber sind die Daten oft gar nicht so neutral, wie man meinen könnte. Nehmen wir an, wir programmieren einen selbstlernenden Algorithmus, der über die Kreditwürdigkeit einer Person entscheiden soll. Wir kaufen einen großen Datensatz mit Kreditvergaben der letzten achtzig Jahre in Deutschland und füttern den Algorithmus damit. Der Algorithmus hat eine ganze Menge Material zur Verfügung und schaut sich die jeweiligen Entscheidungen der Banken an und leitet daraus bestimmte Muster ab. So funktionieren vereinfacht gesagt Big Data-Programme.

Kreditvergabe per Algorithmus – ein gesellschaftlich heikles Unterfangen

Aber in den letzten achtzig Jahren sind viele Personen bei der Vergabe von Kredite schlecht weggekommen. Alleinstehende Personen, nicht-weiße Personen oder Frauen haben oft größere Schwierigkeiten, an Kredite zu kommen. Und das kann man nicht immer nur mit „rationalen“ oder „objektiven“ Beurteilungen von Liquidität oder Ähnlichem rechtfertigen. Um es kurz zu machen: Die Kreditvergabe in Deutschland war in den letzten achtzig Jahren oft diskriminierend. Wenn wir also dem Algorithmus nun diese von Diskriminierung geprägten Daten zum Lernen geben, dann eignet der sich diese Diskriminierung an. Vereinfacht gesagt liest der Algorithmus im Datensatz zum Beispiel folgendes Muster: Person A hat ein Eigenkapital von 1.000 €, hat deutsche Nationalität und bekommt einen Kredit. Person B hat ein Eigenkapital von 1.000 €, hat keine deutsche Nationalität und bekommt keinen Kredit. Dieses Muster übernimmt der Algorithmus dann als Grundlage für die eigenen Entscheidungen und reproduziert dann die diskriminierenden Kreditvergaben der Vergangenheit. Die vermeintlich objektiven Daten sind eben nicht neutral, sondern verfälscht, biased, verzerrt, nicht objektiv. Das ganze Beispiel ist etwas zugespitzt und vereinfacht. Aber das Grundproblem sollte dadurch deutlich geworden sein. Und die Kreditvergabe per Algorithmus ist kein herbeikonstruiertes Gedankenspiel, sondern schon längst Realität. Erst letztes Jahr ist zum Beispiel ein Fall mit der Apple Card bekannt geworden, bei dem einem US-amerikanischen Pärchen ein großer Unterschied zwischen ihrer beiden Kreditrahmen aufgefallen ist. Der Mann hatte viel mehr Kreditmöglichkeiten. Und das, obwohl die Frau sogar eine deutlich höhere Bonität hatte. Eine Studie von Forscher*innen der UC Berkeley hat herausgefunden, dass Afroamerikaner*innen und Latinxs bei solchen Algorithmen seltener Hypotheken und diese dann zu schlechteren Konditionen bekommen.

Sexistische Bildervorschläge bei Google

Nicht bei jedem lernenden Algorithmus spielen soziale Strukturen eine Rolle. Bei einer Pflanzen-Erkennungs-App ist das Reproduzieren von diskriminierenden Strukturen erstmal nicht so relevant. Sobald aber Menschen ins Spiel kommen, wird es schwierig. Der Datenwissenschaftler Markus Schedl erläutert in einer neuen „Corso“-Folge vom Deutschlandfunk sehr gut, wie lernende Algorithmen sexistisch verzerrte Vorschläge machen. Gibt man „CEO“ oder „Nurse“ (beides geschlechtsneutrale Begriffe der Gegenwart) bei der Google-Bildersuche ein, bekommt man beim Einen fast nur Männer und beim Anderen fast nur Frauen angezeigt. Springt zu Minute 03:03 (Restzeit) für den entsprechenden Ausschnitt.

Das Problem mit den Algorithmen ist, dass oft nicht mal die Entwickler*innen selbst so genau sagen können, warum und wie ein Algorithmus Entscheidungen fällt. Sie werden zur „Black Box“; zu einem nicht mehr nachvollziehbaren Entscheidungs-Kasten. Wenn ein Mensch eine diskriminierende Entscheidung fällt, lässt sich das ein Stück weit noch anfechten. Aber wenn eine Maschine eine nicht mehr nachvollziehbare, diskriminierende Entscheidung fällt, wie soll man sich dagegen zur Wehr setzen?

Mehr Transparenz

Um die Kontrolle über solche Entscheidungsprozesse wieder zurück zu erlangen, gibt es verschiedene Projekte und Initiativen. In Deutschland versucht zum Beispiel das Projekt OpenSCHUFA, den Kreditbeurteilungsprozess durchschaubarer zu machen. Denn auch die Krediteinstufung der Schufa nutze „mathematisch-statistisch anerkannte und bewährte Methoden“. Über das genaue Verfahren schweigt sich die Schufa aus – mit der Begründung, sonst würden zu viele ihren eigenen Score manipulieren wollen. Das mag sein, aber ohne Transparenz bleiben die Verbraucher*innen hilflos.

Neben mehr Transparenz in Algorithmus-gestützten Entscheidungsprozessen sollte auch eine Sensibiliserung der Fachleute unterstützt werden. Informatiker*innen, Entwickler*innen und Programmierer*innen, die mit Algorithmen arbeiten, sollten so früh wie möglich ein Bewusstsein für den Einfluss ihrer Programme auf soziale Strukturen entwickeln. Als Laie bleibt einem vermutlich erstmal nur übrig, aufzupassen, welche Daten man an Empfehlungssoftwares weitergibt. Eine weitere gute Grundlage ist, anti-diskriminierend zu konsumieren; also aktiv Produkte und Kulturgüter von Nicht-Weißen, Frauen, Indigenen, etc. zu kaufen. Das hilft, um diskriminierende Repräsentationen aufzubrechen und so die Datengrundlage der Algorithmen zu beeinflussen. Bei institutionellen Algorithmen, beispielsweise bei Gerichtsverfahren oder Bewerbungsprozessen sollte man wachsam sein und sich im Fall einer vermuteten Diskriminierung auch die Gesetzeslage anschauen. In Deutschland ist nämlich die Diskriminierung nach Geschlecht, Alter, Religionszugehörigkeit, Behinderung, sexueller Orientierung oder der ethnischen Herkunft per Gesetz verboten. Möglicherweise kann man dann sogar gegen die Diskriminierung durch den Algorithmus klagen. Welche Menschen dann für die Entscheidungen des Algorithmus Verantwortung tragen, ist noch mal eine ganz neue Frage.

---

Titelbild: Michael Dziedzic, Unsplash