Service, der KI verwendet, um Geschlecht anhand von Namen zu identifizieren, sieht unglaublich voreingenommen aus

Einige Tech-Unternehmen machen einen Spritzer, wenn sie starten, andere scheinen Bauchflop.

Genderify, ein neuer Dienst, der verspricht, das Geschlecht einer Person zu identifizieren, indem er seinen Namen, seine E-Mail-Adresse oder seinen Benutzernamen mit hilfe Ki analysiert, sieht fest im letzteren Lager aus. Das Unternehmen startete auf Product Hunt letzte Woche, hat aber in letzter Zeit viel Aufmerksamkeit in den sozialen Medien erregt, als Nutzer Vorurteile und Ungenauigkeiten in ihren Algorithmen entdeckten.

Geben Sie beispielsweise den Namen “Meghan Smith” in Genderify ein, und der Dienst bietet die Bewertung: “Männlich: 39,60%, weiblich: 60,40%.” Ändern Sie diesen Namen in “Dr. Meghan Smith”, und die Bewertung ändert sich in: “Männlich: 75,90%, weiblich: 24,10%.” Andere Namen mit dem Präfix “Dr” produzieren ähnliche Ergebnisse, und andere Eingänge scheinen konsequent männlich zu verzerren. “[email protected]” soll beispielsweise zu 96,90 Prozent männlich sein, während “Frau Joan Schmied” zu 94,10 Prozent männlich ist.

Der Aufschrei scheint so groß gewesen zu sein, dass zum Zeitpunkt des Schreibens die Website des Dienstes, Genderify.com, offline geschaltet wurde und seine kostenlose API nicht mehr zugänglich ist.

Diese Art von Vorurteilen treten regelmäßig in Maschinelllernsystemen auf, aber die Gedankenlosigkeit von Genderify scheint viele Experten auf diesem Gebiet überrascht zu haben. Die Antwort von Meredith Whittaker, Mitbegründerin des AI Now Institute, das die Auswirkungen von KI auf die Gesellschaft untersucht, war etwas typisch. “Werden wir getrollt?”, fragte sie. “Ist dies ein Psyop, der die Tech+Gerechtigkeitswelt ablenken soll? Ist es schon krachender Tech-April-Narrentag?”

Das Problem mit Genderify ist nicht, dass es Annahmen über das Geschlecht einer Person auf der Grundlage ihres Namens macht. Die Leute tun dies die ganze Zeit und machen manchmal Fehler in diesem Prozess. Deshalb ist es höflich herauszufinden, wie sich Menschen selbst identifizieren und wie sie angesprochen werden wollen. Das Problem mit Genderify ist, dass es diese Annahmen automatisiert; Anwendung sie in der Skala, während die Sortierung von Individuen in eine männliche / weibliche binäre (und damit ignorieren Individuen, die als nicht-binär identifizieren) während der Stärkung von Geschlechterstereotypen in den Prozess (wie: wenn Sie ein Arzt sind Sie wahrscheinlich ein Mann).

Der potenzielle Schaden hängt davon ab, wie und wo Genderify angewendet wird. Wenn der Dienst beispielsweise in einen medizinischen Chatbot integriert wurde, könnten seine Annahmen über das Geschlecht der Nutzer dazu führen, dass der Chatbot irreführende medizinische Ratschläge ausgibt.

Glücklicherweise scheint der Dienst nicht darauf ausgerichtet zu sein, diese Art von System zu automatisieren, sondern ist in erster Linie als Marketing-Tool konzipiert. Der Schöpfer von Genderify, Arevik Gasparyan, sagte auf Product Hunt: “Genderify kann Daten erhalten, die Ihnen bei der Analyse, der Verbesserung Ihrer Kundendaten, der Segmentierung Ihrer Marketingdatenbank, demografischen Statistiken usw. helfen.”

Im gleichen Kommentarabschnitt räumte Gasparyan die Bedenken einiger Nutzer hinsichtlich Voreingenommenheit und Ignorieren nicht-binärer Personen ein, gab aber keine konkreten Antworten.

Ein Benutzer fragte: “Lasst uns sagen, ich entscheide mich, als weder männlich noch weiblich zu identifizieren, wie gehen Sie das an? Wie vermeiden Sie Geschlechtsdiskriminierung? Wie gehen Sie mit geschlechtsspezifischer Voreingenommenheit um?” Darauf antwortete Gasparyan, dass der Dienst seine Entscheidungen auf der Grundlage “bereits vorhandener binärer Namens-/Geschlechtsdatenbanken” trifft und dass das Unternehmen “aktiv nach Möglichkeiten sucht, die Erfahrung für Transgender- und nicht-binäre Besucher zu verbessern”, indem es “die Konzepte von Name/Benutzername/E-Mail von der Geschlechtsidentität trennt”. Es ist eine verwirrende Antwort, wenn man bedenkt, dass die gesamte Prämisse von Genderify ist, dass diese Daten ein zuverlässiger Proxy für die Geschlechtsidentität sind.

Wir haben uns an das Unternehmen gewandt und werden diese Geschichte mit jedem Kommentar aktualisieren, den wir erhalten.