Algorithmische Voreingenommenheit – Wie neutral ist künstliche Intelligenz?
Kurzbeschreibung
Durch diesen Baustein entwickeln die Teilnehmenden eine Sensibilität für die Nutzung und das Leben mit künstlicher Intelligenz (KI). Sie erhalten die Möglichkeit, den täglichen Umgang mit KI zu reflektieren und ein Bewusstsein für die Herausforderungen und Probleme zu entwickeln, denen wir beim Einsatz von KI-Systemen begegnen.
Die Teilnehmenden verstehen verschiedene Anwendungsfälle von künstlicher Intelligenz in ihrem täglichen Leben, die in manchen Fällen unerwartet sein können. Außerdem erhalten sie eine Vorstellung davon, wie künstliche Intelligenz funktioniert und dass sie auch versagen kann. Dieser Baustein gibt verschiedene Beispiele dafür, dass KI subjektiv und diskriminierend ist. KI hängt sehr stark von den Menschen ab, die sie einrichten, sowie von den bereitgestellten Trainingsdaten und bleibt daher in vielen Fällen voreingenommen. Innerhalb des Bausteins werden Beispiele für den Umgang mit den Schwierigkeiten bei der Programmierung von KI bearbeitet.
Der Baustein beginnt mit einer kurzen Selbstreflexion und einer Bildersuche für einen persönlichen und anschaulichen Einstieg in das Thema. Es folgt eine Gruppenarbeit zu verschiedenen Fallbeispielen. Die Analysen zu den Fallbeispielen werden im Plenum zusammengetragen und anschließend mithilfe des Werkzeugs “Teuchnikskreis der Technik” reflektiert. In der Nachbereitung hinterfragen die Teilnehmenden die Wirksamkeit von Selbstverpflichtungen seitens der Industrie anhand der Ethikrichtlinien für KI von Microsoft.
Thema
Auswirkungen, die Vorurteile in KI-Systemen auf die Menschheit haben, sowie wiederum die Auswirkungen der Menschheit auf KI-Systeme
Schlagwörter
Künstliche Intelligenz, KI-Systeme, Algorithmen, Voreingenommenheit, Vorurteile, Diskriminierung, Hightech
Typ
Analog
Dauer
75 min
Gruppengröße
4 - 24
Raum
Seminarraum mit beweglichen Tischen und Stühlen
Lernziele
- Verstehen von der grundlegenden Funktionsweise einer KI
- Analyse von KI-Systemen in Bezug auf Voreingenommenheit
- Reflektieren über die Verantwortung Voreingenommenheit zu bekämpfen
Kompetenzen
- Perspektivenübernahme
- Antizipation
- disziplinübergreifende Erkenntnisgewinnung
- Umgang mit unvollständigen und überkomplexen Informationen
- Motivation
- Reflexion auf Leitbilder
- eigenständiges Handeln
Lernformen
kooperativ, faktenorientiert
Methoden
Selbstreflexion mit Fragen, Bildersuche, Analyse von Fallbeispielen in Kleingruppenarbeit, Reflektion mit Blue Engineering Werkzeug im Plenum
Werkzeuge
Teuchnikskreis der Technik
Material
Laptop, HDMI-Kabel, Beamer
Vorbereitung
Vorbereitung der Moderation
Die Moderation erarbeitet sich, was Voreingenommenheit in Bezug auf KI bedeutet. Um sich einen Überblick zu verschaffen, kann dieses Video verwendet werden.
Zur Vorbereitung ist es wichtig, eine Vorstellung davon zu bekommen, welche Vielfalt an KI-Typen es gibt, wie sie eingesetzt werden können und welche Voreingenommenheit auftreten kann. Die Quellen können genutzt und müssen gegebenenfalls aktualisiert werden. Auch sollte sich die Moderation einen Überblick über die Softwarefirma Palantir und deren Einsatz in Deutschland sowie die damit einhergehende Kritik verschaffen.
Zudem bereitet die Moderation alle Präsentationsfolien vor, druckt die Fallbeispiele & Formen algorithmischer Voreingenommenheit aus und stellt die Stühle in U-Form bereit, sodass die Teilnehmenden die Präsentation gut sehen können. Die Tische stehen zunächst am Rand des Raumes.
Ablaufplan
00. Minute - Begrüßung
Die Moderation gibt den Teilnehmenden eine kurze Einführung in den Baustein. Sie erwähnt, dass KI-Systeme sehr komplex und allgegenwärtig sind und in diesem Baustein nicht im Detail beleuchtet werden können, was jedoch nicht davon abhalten sollte sich mit algorithmischer Voreingenommenheit und ihren Folgen auseinanderzusetzen.
Sie nennt eine Definition von Künstlicher Intelligenz:
“Künstliche Intelligenz ist der Überbegriff für Anwendungen, bei denen Maschinen menschenähnliche Intelligenzleistungen erbringen. […] Die Grundidee besteht darin, durch Maschinen eine Annäherung an wichtige Funktionen des menschlichen Gehirns zu schaffen - Lernen, Urteilen und Problemlösen.”
Zitat: Was ist künstliche Intelligenz? | KI Definition | SAP News Center
05. Minute - Warm Up und erste Reflexion
Die Moderation leitet eine kurze Plenumsdiskussion mit folgenden Fragen ein:
- Wofür benutz ihr KI?
- Seid ihr durch die rasante Entwicklung von KI besorgt (in eurem täglichen Leben und im Allgemeinen) Warum?
- (Falls nein) Warum könnten andere besorgt sein? (Jobs fallen weg, Unselbständigkeit, Regulierung, unbekannte Folgen, Verdummung, nicht nachvollziehbar, Datenschutz)
10. Minute - Warm Up - Algorithmische Voreingenommenheit von Suchmaschinen
Es werden mit einer Bildgenerierenden KI Bilder zu den Punkten erstellt:
(ggf. könnt ihr mehrere Tabs mit verschiedenen Accounts öffnen, oder die Bilder schon vorher generieren. Falls das auch nicht geht, wird eine gemeinsame Bildersuche auf Google zu folgenden Begriffen auf dem Beamer durchgeführt)
- Pflegekraft
- CEO
- schöne Menschen
- Pärchen
Dazu sollen die folgende Fragen diskutiert werden:
- Wer ist (hauptsächlich) auf den Bildern zu sehen?
- Wer ist (fast) nicht auf den Bildern zu sehen?
- Seht ihr Zusammenhänge zu Vorurteilen und Voreingenommenheit?
Es ist wichtig, dass die Moderation beim Warm Up Denkanstöße gibt, falls die Teilnehmenden die Fragen zu oberflächlich beantworten. Nachfragen bezüglich Geschlecht, sexueller Orientierung, ethnischer Herkunft, Behinderung, Alter, vermuteter finanzieller Stellung, … der abgebildeten Personen können helfen. Möglichst viele Formen von Diskriminierung sollten angesprochen werden.
25. Minute - KI-Anwendungen und ihre Voreingenommenheit
Die Teilnehmenden bilden 4 Gruppen durch Durchzählen von 1 bis 4, wobei die Gruppen aus nicht mehr als 6 Teilnehmenden bestehen sollte. Bei mehr Teilnehmenden werden mehrere Gruppen zu gleichen Themen gebildet. Jede Gruppe nimmt sich selbstständig Tische vom Rand und bearbeitet die Arbeitsaufträge zu den Fallbeispielen. Diese werden über den Beamer gezeigt und gemeinsam besprochen, wobei darauf hingewiesen wird, dass die Aufgaben der Reihenfolge nach bearbeitet werden sollen.
Aufgabe 1 - Lest und versteht euer Fallbeispiel (~5 min)
- Lest euch in euer Fallbeispiel ein und diskutiert in der Gruppe:
- Was ist/war die ursprüngliche Aufgabe des KI-Systems?
- Mit welchen Daten arbeitet das KI-System?
- Wer hat das KI-System programmiert?
Aufgabe 2 - Kategorisiert und analysiert die algorithmische Voreingenommenheit (~13 min)
- Lest euch die Texte zu den Formen algorithmischer Voreingenommenheit durch
- Was für eine Form von algorithmischer Voreingenommenheit tritt auf?
- Warum treten diese Formen von Voreingenommenheit auf?
- Wer wird durch das KI-System diskriminiert, wer wird bevorteilt?
- Was für eine Auswirkung hat die Voreingenommenheit für die betroffenen Personen(gruppen)?
Aufgabe 3 - Bereitet euch auf eure Präsentation vor (~2 min)
- Legt fest was ihr vorstellt und wer (eine Person)
- Orientiert euch an folgenden Fragen:
- Was war euer Anwendungsbeispiel und welche Formen von Algorithmischer Voreingenommenheit treten auf?
- Was sind die Auswirkungen auf welche Personengruppen?
55. Minute - aktueller Bezug: Palantir
Den Teilnehmenden wird folgendes Audio als Einstieg und Informationsbasis bis 01:39 vorgespielt:
Die Moderation führt kurz weiter ein, in der Art: Palantier ist eine US-amerikanische Software zur Analyse und Verknüpfung großer Datenmengen, die zB. von US-Behörden wie ICE genutzt wird. Auch in Deutschland wird sie unter verschiedenen Namen wie zB. Hessen-Data bereits verwendet, allerdings nur mit Zugriff auf Polizeidatenbanken oä., ohne Zugriff auch soziale Medien und bisher ohne auch KI.
(die Moderation kann auch mehr sagen, zB. zur Nähe zur US-Regierung, dem Gründer und dem CLOUD-Act, und den Ungereimtheiten beim Vergabeverfahren, sollte aber nicht zu viel von der Kritik vorwegnehmen)
60. Muinute - Gruppendiskussion
Die Teilnehmenden sollen nun in der Gruppe folgendes Szenario diskutieren:
Stellt euch vor die Palantir-Software wird bundesweit eingeführt und soll mithilfe von KI und Zugriff auf soziale Medien eingesetzt werden.
- Welche Probleme seht ihr im Bezug auf algorithmische Voreingenommenheit?
- Welche Arten von algorithmischer Voreingenommenheit könnten auftreten?
- Haltet ihr den Einsatz von KI ihr unabhängig von Palantir für sinnvoll?
- Welche weiteren Risiken seht ihr, im Bezug auf die Firma Palantir (wenn vorher erwähnt)?
70. Minute - Abschluss, Nachbereitung und Feedback
Die Moderation schließt die Diskussion und bittet per 5-Finger-Methode um Feedback:
- Daumen: Das war super!
- Zeigefinger: Das könnte besser gemacht werden.
- Mittelfinger: Das hat mir nicht gefallen!
- Ringfinger: Das nehme ich mit.
- Kleiner Finger: Das kam zu kurz!
Inspiration fürs Lernjournal
- Verschaffe dir einen Überblick über sie selbstverpflichtenden Ethikrichtlinie von Microsoft
- Welche Aspekte bieten Lösungen?
- In welchen Aspekten seht ihr weiterhin Potential für Diskriminierung?
- Welchen Einfluss hat Microsoft als Autor auf die Lösungen und inwiefern ist das problematisch?
- Wer muss eurer Meinung nach handeln, um algorithmischer Voreingenommenheit vorzubeugen? Wer sollte Mitspracherecht haben?
Anmerkungen und Hinweise
Von den Verfasser_innen
Es handelt sich um eine vom Original Baustein abweichende Version, bei welcher Vor- und Nachbereitung bewusst ausgelassen wurden.
Anmerkungen aus dem Original:
- Beachtet, dass der Standort einen Einfluss auf die Suchergebnisse im Warm Up haben kann (z. B. IP-Adresse bei der Nutzung von Suchmaschinen)
- Achtet auf das Zeitmanagement (z.B. klare Kommunikation des Zeitplans an die Teilnehmenden). Die Zeit ist knapp bemessen und wenn alle wichtigen Aspekte angesprochen werden sollen, muss darauf geachtet werden.
Nach weiteren Durchführungen
Noch ausstehend
Literaturhinweise und Quellen
- Fastai - Unsere Hauptquelle, großartiges umfassendes Ethik-Kapitel über Vorurteile und KI, das in einem regulären Deep-Learning-Kurs verwendet wird, um zukünftige Entwickler zu sensibilisieren:
Howard, J. & Gugger, S. (2020). Deep Learning for Coders with Fastai and PyTorch: AI Applications Without a PhD (1. Aufl.). O’Reilly Media. - Ethikrichtlinien für Künstliche Intelligenz? Wie wär’s mit Gesetzen? – Vortrag von Chris Köver beim ChaosCommunicationCamp 2019
- Crash Course AI #18 - Ein sehr anschauliches Video, dessen erster Teil in der Vorbereitung verwendet wird, um den Unterschied zwischen Bias und Diskriminierung zu erklären
- The Verge - Bias in einem Recruiting-Tool bei Amazon - Das erste Beispiel, das uns inspiriert hat dieses Thema aufzugreifen
- Vox - Why algorithms can be racist and sexist
- The Guardian - Do Google’s ‚unprofessional hair‘ results show it is racist? - Artikel über verzerrte Suchmaschinenergebnisse
- Technology Review - Verzerrte Trainingsdaten führen zu „rassistischen prädiktiven Polizeialgorithmen“)
- Science Direct - “Why We Should Have Seen That Coming: Comments on Microsoft’s Tay
“Experiment,” and Wider Implications” - TED - Can we protect AI from our biases? - Eine Lektion über Vorurteile und Beispiele für verschiedene Verwendungen von KI-Systemen, die zum Problem werden könnten, zur Vorbereitung
- TEDx - Stop assuming data, algorithms and AI are objective - Viele verschiedene Beispiele für KI, auch sehr „einfache“ Beispiele, um zu verdeutlichen, was bereits als KI angesehen wird, mit Maßnahmen, um KI besser zu machen
- Survival of the best Fit - Interessantes Spiel, das zeigt, wie der Einsatz von KI in einer Rekrutierungssituation die Vorurteile des Arbeitgebers widerspiegeln kann
- Technology Review - Ein Artikel, der mit verschiedenen Zahlen zu Verhaftungen und Verurteilungen spielt
- Technology Review - Criminal Justice AI
- WIRED - AI Is Biased. Here’s How Scientists Are Trying to Fix It - Artikel über ein Projekt, das versucht, KI-Vorurteile in ihrem Algorithmus zu beheben und welche Schwierigkeiten es dabei gibt, KI-Vorurteile zu beheben
- WIRED - The Best Algorithms Struggle to Recognize Black Faces Equally - Verzerrte Gesichtserkennungsalgorithmen verwechseln schwarze Gesichter eher als weiße Gesichter
- Microsoft - Understand Responsible AI - Ressourcen zu verantwortungsvoller KI und wie sie mit Menschen interagieren sollte
- Künstliche Intelligenz in der Verbrechensbekämpfung | Heinrich-Böll-Stiftung
- Amazon Scraps Secret AI Recruiting Tool that Showed Bias against Women
- Ethikrichtlinie von Microsoft
Arbeitsmaterialien zum Ausdrucken
Fallbeispiele & Formen algorithmischer Voreingenommenheit.pdf (90,9 KB)
