Portraitiert: Miriam Fahimi will gerechte Algorithmen

Wir unterhalten uns, als Miriam gerade ihre Feldforschung in einem Credit Scoring Unternehmen beginnt – einem Unternehmen, das Algorithmen entwickelt, die einschätzen sollen, ob und wie kreditwürdig Menschen sind. Die Untersuchung ist Teil des EU-Projekts „NoBias – Artificial Intelligence without Bias“, das dazu beitragen soll, fairnessbewusste Algorithmen zu entwickeln. „Ein Problem bei Entwicklung von Algorithmen ist nämlich der Bias, zu Deutsch Voreingenommenheit, man kann es auch einfach Diskriminierung nennen.“ Algorithmen sind eben nicht neutral, sondern sie und die Daten, mit denen Algorithmen ‚trainiert‘ werden, tragen Annahmen über die soziale Welt in sich. Und diese Annahmen, diese Voreingenommenheit, kann für manche Menschen zum Problem werden.

Ein in Österreich besonders bekanntes Beispiel ist der AMS-Algorithmus, mit dem das AMS die Arbeitsmarktchancen von Arbeitslosen einschätzen und basierend darauf das Förderangebot gestalten will – mit der Folge dass jene, deren Chancen schlechter stehen, weniger finanzielle und zeitliche Zuwendungen bekommen sollen. Punkteabzug gibt es etwa für Frauen und zusätzlich noch für Frauen mit Betreuungspflichten, für ältere Menschen, Menschen mit Beeinträchtigung, oder nicht-EU-Staatsbürger:innen.

Im Fall vom AMS-Algorithmus ist Diskriminierung explizit sichtbar und nachvollziehbar. Komplizierter wird es bei selbstlernenden Algorithmen, die auf Basis von bestehenden Daten neue Muster erkennen können: „Da ist die Frage: Wie kann ein Bias entdeckt werden? Wann wird dieser entdeckt, erst in der Anwendung, wenn bereits Menschen davon betroffen waren? Und wird dies überhaupt als problematisch empfunden? Oder fällt es vielleicht niemandem auf, wenn ‚nurse‘ immer mit ‚Krankenschwester‘ übersetzt wird?“ Miriam spricht hier als Beispiel die automatisierte Übersetzungssoftware Google Translate an. Oft ist nicht nachvollziehbar, was programmiert bzw. mit bestehenden Datensätzen trainiert wurde, und was in der Anwendung - oder, wie Programmierer:innen sagen: was „in the wild“ - passiert. Wenn etwa „nurse“ immer mit „Krankenschwester“ übersetzt wird, und „doctor“ mit Arzt, dann wird das für den Algorithmus zu einer „ground truth“, einer Grundwahrheit. „Algorithmen spiegeln gesellschaftliche Verhältnisse wider, die an sich schon problematisch sind. Aber mit Algorithmen können wir diskriminierende Strukturen vielleicht auch neu fassen, das ist für mich das Interessante. Weil wenn die Maschine statt eines Menschen diskriminiert, stoßen wir uns vielleicht mehr daran, weil die Maschine ja vermeintlich neutral ist.“

Schlüsselbegriffe in Miriams Forschungsarbeit

• Algorithmus: Dieser Begriff bezeichnet klassischerweise eine Handlungsvorschrift, durch die Daten nach bestimmten, definierten Schritten verarbeitet werden, um ein spezifisches Ergebnis zu erzielen. „In meiner Forschung verstehe ich Algorithmen nicht nur technisch, sondern auch als sozial, weil Algorithmen nur im Verhältnis zu Menschen und Gesellschaft eine Bedeutung erhalten. Algorithmen brauchen auch materielle Grundlagen (Computer, Programme, aber auch Energie, Wasser und Rohstoffe), die sich wiederum auf die Herstellung von Algorithmen auswirken. Und Algorithmen sind konstruiert: Sie werden trainiert, entwickelt, optimiert, konfiguriert und verworfen, sie werden gemacht.“
• Machine Learning, Deep Learning: Hier können Algorithmen durch so genanntes „Training“ auch Transferleistungen erbringen, wenn diese in neuen Kontexten angewandt werden. Bestandteil des Maschinellen Lernens ist auch das so genannte Deep Learning, bei dem neuronale Netze komplexere Aufgaben erfüllen können (wie z.B. Gesichtserkennung).
• Fairness: Die informatikorientierte Perspektive verwendet Begriffe wie „fairness through unawareness” (d.h. sensible Attribute wie Geschlecht werden nicht in die Modellierung einbezogen), „demographic parity” (d.h. gleiche Gruppen werden gleich behandelt) oder „equalized odds” (d.h. ausgeglichene Chancen). Miriam hingegen beschäftigt sich mehr mit der Frage, welche algorithmenbasierten Entscheidungen für wen, wie und warum „fair“ sind. Dabei zeigt sich: Unterschiedliche Fairnessdefinitionen widersprechen sich; was für wen “fair” ist, ist auch eine politische Frage; „fair“ ist nicht unbedingt immer „gerecht“.
• Intersektionalität: Ein Ansatz, der die Verschränkungen und Überkreuzungen unterschiedlicher Diskriminierungsformen in den Blick nimmt. Ein Beispiel dafür ist Diskriminierung auf Basis sich überkreuzender Kategorisierungen Geschlecht, Klasse und Alter. Auch algorithmischer Bias manifestiert sich oft als Verschränkung zwischen unterschiedlichen Diskriminierungsformen (z.B. Gesichtserkennungstechnologie, die schwarze Frauen nicht erkennen kann).

Bereits in ihrer Masterarbeit hat Miriam sich mit dem Wechselspiel zwischen Mensch und Maschine beschäftigt, konkret mit digitaler Pflegetechnologie. Dass sie sich für dieses Thema interessiert, hat Miriam dabei erst entdeckt: „Für mich war klar, ich will aus einer feministischen Perspektive Arbeitsprozesse erforschen, da war ich schnell beim Thema Care-Arbeit. Als ich mich dann weiter vertieft habe, habe ich mich selber dabei ertappt, dass ich mich gefragt habe, was denn Digitalisierung mit Pflegearbeit zu tun hat.“ Dabei fiel ihr auf, dass es eine lange Geschichte zu Pflegearbeit und Technik gibt: „Früher haben Pflegekräfte selbst Technik entwickelt, um ihre Arbeit zu erleichtern. Heute wird Technik oft getrennt von den Bedürfnissen der Pflegekräfte entwickelt, was wieder eigene Probleme mit sich bringt.“ Ein Ergebnis der Masterarbeit war: Aufgrund geschlechterspezifischer Zuschreibungen wird männlichen Pflegekräften eher zugetraut, Technologie zu verwenden. Die Arbeitserleichterungen und Aufwertungen, die durch Technik in den Pflegeberuf eingehen sollen, kommen männlichen Pflegekräften oft mehr zugute als ihren weiblichen Kolleginnen.

Für diese Forschungsarbeit wurde Miriam 2020 mit dem Wissenschaftspreis der Arbeiterkammer ausgezeichnet. Mit ihrer Forschung will sie sich nicht nur im akademischen Elfenbeinturm bewegen. Wissenschaftliche Erkenntnisse müssen mit konkreten gesellschaftlichen Verhältnissen verbunden werden, und zwar gemeinsam mit denjenigen, die von diesen Verhältnissen betroffen sind. „Daher ist mein Anspruch an Wissenschaft auch, mit vielen Menschen zu sprechen, die von Diskriminierung betroffen sind. Die Frage an mich ist dann: Wie kann ich mit meiner wissenschaftlichen Arbeit dazu beitragen, bestehende Verhältnisse zu verändern?“

Steckbrief

• Name: Miriam Fahimi
• Universität: Universität Klagenfurt, Digital Age Research Center (D!ARC)
• Meine Wissenschafts-Idole: … sind meine Kolleg:innen 😉
• Meine politischen Idole: Alle sozialen Bewegungen, die sich für ein gutes Leben einsetzen.
• Mein bewegendster politischer Moment der letzten Jahre: Die Machtübernahme Afghanistans durch die Taliban. Prägend waren für mich auch die ie.bleibt Proteste gegen die Abschaffung des Bachelors Internationale Entwicklung an der Uni Wien.
• Meine Forschung in einem Hashtag: #AlgorithmicJustice
• Darauf bin ich besonders stolz: Wenn mir spontan gute Wortwitze einfallen. Und auf meine Friends und Familie.
• Wissen bedeutet für mich: Gratwanderung zwischen vermachteten und kolonialen Strukturen, Reflexion eigener Privilegien und emanzipatorischem Potenzial.
• Lieblingszitat: „Das Leben wird Dich nicht immer verwöhnen, also verwöhne Dich selbst.“ – frei nach meiner Mama.