Warum wir schwarzen Frauen mehr glauben sollten als Technologieunternehmen

Stellen Sie sich vor, dass Unternehmen Technologien entwickeln, die grundsätzlich rassistisch sind: Diese Technologie ist bekanntermaßen rassistisch Bei schwarzen Menschen ist die Wahrscheinlichkeit, dass sie nicht arbeiten, um fast 30 Prozent höher als für Weiße. Stellen Sie sich dann vor, dass diese Technologie in einem entscheidenden Bereich Ihres Lebens eingesetzt wird: Ihrer Arbeit, Ihrer Bildung, Ihrem Gesundheitswesen. Und schließlich stellen Sie sich vor, Sie sind eine schwarze Frau und die Technologie funktioniert wie erwartet: nicht für Sie. Sie reichen eine Beschwerde ein. Nur um von der nationalen Menschenrechtsbehörde zu erfahren, dass es sich in diesem Fall wahrscheinlich nicht um Rassismus handelte.

Willkommen in der Welt von Robin Pocornie, dem Anfang dieser Woche vom Institut für Menschenrechte mitgeteilt wurde, dass das Institut eher an Technologieunternehmen als an schwarze Frauen glaubt, die Opfer algorithmischer Diskriminierung sind.

Im Jahr 2020, als Covid-19 viele dazu veranlasste, aus der Ferne zu arbeiten und zu studieren, kaufte die Vrije Universiteit eine Software namens „Proctorio“, mit der Absicht, damit „Prüfungsbetrug“ aufzudecken. Diese Software nutzt Gesichtserkennungstechnologie, um zu überprüfen, ob sich ein Schüler während der Prüfung an seinem Computer befindet, und berechnet für jeden Schüler einen „Verdachtswert“, der angibt, inwieweit die Software davon ausgeht, dass der Schüler betrogen hat.

Als Robin Pocornie, eine schwarze Frau, die an der Vrije Universiteit studiert, zu Hause Prüfungen ablegte, konnte Proctorio ihr Gesicht nicht finden. Damit das System sie als Mensch erkennt, musste sie ihre Prüfungen mit einem hellen Licht im Gesicht ablegen. Sie wurde verspätet zu Prüfungen zugelassen, weil das System sie nicht sehen konnte, und wurde sogar einmal von einer Prüfung ausgeschlossen.

Pocornie wehrte sich und erstattete Anzeige am Niederländischen Institut für Menschenrechte, in dem sie erklärte, wie die VU sie aufgrund ihrer Rasse diskriminierte, indem sie Proctorio für die Durchführung von Prüfungen einsetzte. Sie forderte eine Entschuldigung und eine Verpflichtung der Universität, solche diskriminierenden Technologien nicht erneut einzusetzen.

Früher diese Woche Der Rat lehnte Pocornies Anspruch ab, mit einem bemerkenswerten Beispiel für gezieltes Denken zur Rechtfertigung automatisierten strukturellen Rassismus. Obwohl der Rat versucht, die Sache zu beschönigen, läuft seine Entscheidung darauf hinaus, die Feststellung einer Diskriminierung zu verweigern, weil sie „neutralere“ Gründe gefunden haben, um das Versagen der Software zu rechtfertigen, anstatt die gelebte Erfahrung anzuerkennen, die Pocornie in ihrer Beschwerde angesprochen hat. Dies setzt eine Dynamik fort, bei der individuelle schädliche Erfahrungen minimiert werden, während die Auswirkungen von systemischem Rassismus nicht anerkannt werden – eine Form des Gaslightings, die schwarze Frauen nur allzu gut kennen.

Wir wissen, dass die Gesichtserkennung bei Personen nicht funktioniert, die nicht dem Standard „weiß, männlich und cis“ entsprechen. Die Informatikerin und Digitalaktivistin Joy Buolamwini war einer der ersten Forscher, der das ernste Problem erkannte das über Gesichtserkennungstechnologie für schwarze Gesichter und insbesondere für schwarze Frauen verfügte: Die Computersoftware, die ihre Forschung inspirierte, erkannte sie besser, wenn Buolamwini, die schwarz ist, eine weiße Maske trug, als wenn sie ohne erschien. Es stellte sich letzte Woche heraus Forschung von RTL-Nachrichten dass die Software von Proctorio auch schwarze Gesichter nicht richtig erkennen konnte.

Selbst wenn wir die Frage außer Acht lassen, warum eine Universität ihrer Fürsorgepflicht gegenüber ihren Studierenden so nachlässig nachkommen möchte, wirft der Fall wichtige Fragen darüber auf, wie niederländische Institutionen mit Beschwerden über Rassismus umgehen und wessen Perspektive bei der Untersuchung dieser Beschwerden Vorrang hat . Sowohl die Vrije Universiteit als auch das Institut für Menschenrechte haben beschlossen, die unzuverlässigen Aussagen eines kommerziellen Technologieunternehmens, das ein als rassistisch bekanntes Produkt verkauft, ernster zu nehmen als die Erfahrungen einer schwarzen Frau, obwohl dies bekannt ist genau diese TechnologienEs benachteiligt schwarze Frauen.

Anstatt Pocornies Fall als Gelegenheit zu nutzen, um zu bekräftigen, dass große, mächtige Institutionen Systeme aufgeben sollten, die die rassistischen Machtstrukturen in unserer Gesellschaft weiter festigen und stärken, sah unsere führende Menschenrechtsinstitution dies als Gelegenheit, sich mit Big Tech zu verbünden und für etwas zu sorgen Ein einfacher Ausweg für große Institutionen, die die Fähigkeit, die Ressourcen und die moralische Verpflichtung haben, es besser zu machen.

Die Bedingungen, die wir schaffen, und die Systeme, die wir nutzen, um „faire Bildung und faire Beurteilung“ sicherzustellen, sollten niemals auf Kosten schwarzer Frauen gehen. Oder von irgendjemandem. Warum können unsere Menschenrechtsgremien das nicht verstehen?