Ist ein Algorithmus böse?

Terminatoren oder unfaire Technik: Beide Sichtweisen behindern die Debatte über ethische KI

SEBASTIAN DENNERLEIN, CHRISTOF WOLF-BRENNER, ROBERT GUTOUNIG, STEFAN SCHWEIGER, VIKTORIA PAMMER-SCHINDLER
vom 21.10.2020

Künstliche Intelligenz (KI) ist zum Gegenstand gesellschaftlicher Debatten geworden. Die Beratung durch KI unterstützt uns in der Schule, im Alltag beim Einkauf, bei der Urlaubsplanung und beim Medienkonsum, manipuliert uns allerdings auch gezielt bei Entscheidungen oder führt durch Filter-Bubble-Phänomene zur Realitätsverzerrung.

Eine der jüngsten Aufregungen hierzulande galt der Nutzung moderner Algorithmik durch das österreichische Arbeitsmarktservice AMS. Der sogenannte "AMS-Algorithmus" soll Beratende bei der Entscheidung über Fördermaßnahmen unterstützen.

Wenn KI in einem so erheblichen Ausmaß in menschliches Handeln eingreift, bedarf sie im Hinblick auf ethische Prinzipien einer sorgfältigen Bewertung. Das ist notwendig, um unethische Folgen zu vermeiden. Üblicherweise wird gefordert, KI bzw. Algorithmen sollen fair sein, was bedeutet, sie sollen nicht diskriminieren und transparent sollen sie sein, also Einblick in ihre Funktionsweise ermöglichen.

Wie fragwürdige Ergebnisse der KI zustande kommen

Bei der Betrachtung von KI gibt es vor allem zwei Sichtweisen in der öffentlichen Debatte: eine Vermenschlichung der laufenden KI-Systeme und eine zu technische Sicht. Vermenschlichende Darstellungen, etwa im Buch bzw. Film I, Robot, oder Zuschreibungen wie beispielsweise Bösartigkeit lenken vom entsprechenden Verständnis eines komponentenbasierten, technischen Systems ab, das aus sich wiederholenden Schleifen von Input-Algorithmus-Output besteht.

Aktuelle Anwendungen sind besonders gut darin, beschränkt lernfähige Rechenoperationen auf große Datenmengen zu skalieren. Sie funktionieren als "schwache" KI in jeweils einer "erlernten" bzw. antrainierten Domäne. In ihrer Funktionsweise sind diese Systeme nicht besonders menschenähnlich, obwohl sie menschliches Verhalten etwa in Form eines Chatbots simulieren. Dabei liegt die Intelligenz hauptsächlich bei den Entwicklungsteams und deren Entscheidungen bezüglich Trainingsdaten, Algorithmen und Evaluation.

Doch die mathematische Funktion in einem komponentenbasierten KI-System ist nur eine mögliche Ursache für ethisch fragwürdige Konsequenzen. Denn bei der Reduzierung von KI auf ein technisches System wird vor allem außer Acht gelassen, dass bei der Umsetzung von algorithmischen Ergebnissen meist noch Menschen involviert sind: Human-in-the-loop. Sie tragen zur Wirkung des Gesamtsystems Mensch-Technologie bei.

Die menschliche Überhöhung laufender KI-Systeme vereinfacht ebenso wie die zu sehr auf Technik fokussierte Sicht die Problemstellung, wie ethisch eine KI sei. Allerdings erschweren beide auch die Diskussion ethischer Fragestellungen. Dies lässt sich an der Diskussion um den nicht realisierten AMS-Algorithmus zeigen.

Die beim maschinellen Lernen eingesetzte Klassifikationsmethode stellt, vereinfacht formuliert, fest, ob und mit welcher Wahrscheinlichkeit eine Person in den nächsten sechs Monaten wieder erwerbstätig sein wird. Darauf gründen ökonomisch motivierte Entscheidungen über die Vergabe von Fördermaßnahmen. Für die Bewilligung einer Fördermaßnahme an Arbeitssuchende ist jedoch die maschinelle Einschätzung allein nicht entscheidend. Das AMS hat stets betont, dass seine Beraterinnen und Berater die Verantwortung für die Entscheidung übernehmen würden.

Dieses Beispiel zeigt, dass sich die ethische Diskussion über KI bzw. Algorithmen sich weder auf eine technische noch auf eine "maschinenmenschliche" Sicht beschränken lässt. Beide Sichtweisen verschleiern den Zusammenhang von technischen Systemkomponenten (wie dem repräsentativen Datensatz) und den handelnden Menschen in der Software-Entwicklung (Auftraggebende, KI-Designer und -Entwickler) sowie bei der Nutzung der KI, im Fall des AMS Beratende und Arbeitssuchende.

Ein soziotechnisches System zur Bewertung der KI

Angesichts dieser Problematik schlagen wir vor, bei Diskussionen zum Thema Ethik das "soziotechnische System" zu betrachten. Damit meinen wir die Technologie sowie alle menschlichen Akteure, die in die Erstellung einer KI sowie deren Verwendung eingebunden sind. Die Menschen stehen dabei mit der Technik in einem dynamischen Wechselspiel, genauer gesagt, sie interagieren sowohl bei ihrer Herstellung als auch bei der Nutzung auf verschiedene Art und Weise mit den Technikkomponenten. Dies geschieht im Privatgenauso wie im Arbeitsleben.

Während sich die Mitarbeitenden eines Entwicklungsteams um die Akquise und Bereinigung von Daten, das Training des Algorithmus und die Visualisierung der Ergebnisse einer KI kümmern, wenden die Nutzerinnen oder Nutzer die KI etwa zur Entscheidungsfindung und Arbeitserleichterung selbst an oder sind durch prognoseninformierte Entscheidungen indirekt betroffen. Dabei verlangt ihr spezifischer Kontext, etwa die Firma von KI-Entwicklern oder die Familie von einem Jugendlichen, sich an bestimmte Regeln zu halten.

Aufgrund dieser wechselseitigen Abhängigkeit ist eine Diskussion über ethische Prinzipien bei KI-Systemen nur unter Berücksichtigung der Formen (un-)mittelbarer Mensch-Maschine-Interaktionen sinnvoll. Sie zeigt die Ankerpunkte, an denen ethische Probleme auftreten und entsprechende Lösungen ansetzen müssen. Aus dieser Betrachtungsweise ergibt sich eine Vielzahl an Fragen, etwa über die Zusammensetzung eines KI-Entwicklungsteams oder über die Verantwortlichkeit bei der Datenvorverarbeitung und -verwendung sowie bei der Interpretation und Anwendung der Künstlichen Intelligenz durch Nutzer.

Wie sieht die AMS-KI soziotechnisch aus?

Aus soziotechnischer Sicht ergäben sich für den AMS-Algorithmus folgende Fragen, und zwar einerseits bei der Herstellung von KI-Systemen, andererseits bei deren Nutzung: Ist die Zusammensetzung des Teams bei der Software-und KI-Entwicklung interdisziplinär, besteht es aus verschiedenen Kulturen und inkludiert bzw. repräsentiert es alle Stakeholder? Sind beispielsweise auch Arbeitssuchende in die Entwicklung eingebunden? Bilden die selektierten Daten im Sinne von Fairness überhaupt ein repräsentatives Bild der Realität ab? Sind darin unerwünschte, aber reelle Arbeitsmarktverzerrungen enthalten ("gender pay gap")? Legt das System transparent dar, wie sicher das Ergebnis ist, und weist es bereits erfolgte, nachträglich adaptierte Klassifikationen bei ähnlichen Fällen aus? Wird die Grundlage der Ergebnisfindung verständlich dargestellt, sodass die Zusage oder Ablehnung einer Förderung durch die Beratenden erklärt werden kann?

Werden die Beratenden bezüglich des Klassifikationsmechanismus und der darauf aufbauenden Entscheidungsfindung des AMS-Algorithmus geschult, etwa zur richtigen Interpretation eines Klassifizierungsvorschlags? Wie lauten die Leitlinien ihres Handelns? Werden Arbeitssuchende weiterhin fair behandelt, wenn man die zugrunde liegenden Daten leicht verändert? Können AMS-Beratende also erkennen, ob geringfügige Variationen in den Daten zu viel positiveren oder negativeren Konsequenzen für die Arbeitsuchenden führen? Erzielen verschiedene Beratende für ähnliche Personen vergleichbare Ergebnisse?

Wie kommen wir zu einer ethischen KI?

Wir plädieren dafür, diese soziotechnischen Systeme bereits während der Entwicklung von Künstlicher Intelligenz zum Gegenstand ethischer Reflexion zu machen ("ethical-by-design"). Zu diesem Zweck schlagen wir das Framework "Socio-technical Reflection of Ethical Principles"(SREP; Dennerlein et al., 2020) vor. Selbstverständlich sollten auch klassische Fragen nach algorithmischer Fairness und Transparenz Teil dieser KI-Ethik-Diskussionen sein. Klar ist aber, dass sich die ethische Problematik der KI erst aus der Gesamtheit ergibt. Für ein ethisch verantwortungsvolles KI-Design muss daher der soziotechnische Kontext kontinuierlich hinterfragt werden.

Mehr aus diesem HEUREKA

12 Wochen FALTER um 2,17 € pro Ausgabe
Kritischer und unabhängiger Journalismus kostet Geld. Unterstützen Sie uns mit einem Abonnement!