Elektronisch diskriminiert: Ein in den USA millionenfach von Krankenkassen eingesetzter Algorithmus benachteiligt schwarze Patienten, wie nun eine Studie enthüllt. Das Programm soll Patienten identifizieren, die besonders von einer intensiveren Betreuung profitieren. Doch die Software schätzt dabei schwarze Patienten systematisch als weniger bedürftig ein. Schuld ist ein nicht berücksichtigter Faktor in der Berechnungsgrundlage, wie die Forscher im Fachmagazin „Science“ berichten.
Ob bei Versicherungen, Banken oder sogar in der Justiz: In vielen Branchen entscheiden nicht mehr allein Menschen über Anträge, Kredite oder sogar Verurteilungen. Stattdessen werden Algorithmen eingesetzt, die Empfehlungen abgeben oder sogar selbstständig Entscheidungen treffen. Das Problem jedoch: Selbst lernfähige Maschinenhirne können voreingenommen und parteiisch sein, wenn ihre Programmierung und Trainingsdaten versteckte Vorurteile transportieren.
Software entscheidet über Behandlungsbedarf
Ein eklatantes Beispiel dafür haben nun Ziad Obermeyer von der University of California in Berkeley und seine Kollegen aufgedeckt. Für ihre Studie hatten sie einen Algorithmus untersucht, der von Krankenkassen in den USA millionenfach verwendet wird. „Sie verlassen sich auf diesen Algorithmus, um Patienten für Hochrisiko-Managementprogramme auszuwählen“, erklären die Forscher. Ziel ist es, die Patienten zu identifizieren, bei denen eine intensivere medizinische Betreuung eine Verschlimmerung und damit noch höhere Kosten verhindern kann.
Konkret bedeutet dies: Der Algorithmus wertet die Krankenakten und bisher verursachten Kosten jedes versicherten Patienten aus. Daraus erstellt er eine Risikobewertung, die angibt, wie nötig und sinnvoll die zusätzliche medizinische Betreuung wäre. Die Logik dahinter: Je kränker und damit teurer ein Patient bisher schon war, desto mehr kann er solchen Intensivprogrammen profitieren. Wer in den obersten drei Prozent der Risikorangliste landet, bekommt dabei automatisch die Bewilligung, bei Patienten ab 55 Prozent entscheidet der Hausarzt nach Rücksprache mit der Krankenkasse.
Deutlich verzerrte Bewertung
Doch wie unvoreingenommen und treffsicher ist dieser Algorithmus? Das haben Obermeyer und sein Team nun untersucht, indem sie gut 50.000 Krankenakten eines Universitätskrankhauses selbst auswerteten und die Ergebnisse mit der Risikoeinstufung des Algorithmus verglichen. Eine ihrer Fragen dabei war, ob weiße und schwarze Patienten gleich bewertet wurden.
Das Ergebnis: Der Algorithmus stufte schwarze Patienten trotz gleichem gesundheitlichem Zustand oft in deutlich niedrigere Risikoklassen ein als weiße. „Die schwarzen Patienten auf der gleichen Stufe der Risikorangliste hatten dadurch eine signifikant höhere Krankheitslast als die weißen“, berichten Obermeyer und sein Team. Das führte dazu, dass deutlich weniger schwarze Patienten automatisch eine intensivere Betreuung bewilligt bekamen als ihre hellhäutigen Mitbewerber.
„Damit zeigt ein Algorithmus, der die Gesundheitsversorgung von Millionen Amerikanern beeinflusst, eine signifikante rassenbezogene Voreingenommenheit“, konstatiert Seniorautor Sendhil Mullainathan von der University of Chicago.
Entscheidenden Unterschied übersehen
Wo aber liegt die Ursache? Wie die Forscher herausfanden, besteht das Problem in der Art, wie der Algorithmus die Schwere der Erkrankungen und damit die Dringlichkeit des Handelns beurteilt: Neben den rein medizinischen Daten gehen in starkem Maße die bereits verursachten Kosten in die Bewertung ein. „Doch wegen der strukturellen Ungleichheit unseres Gesundheitssystems verursachen Schwarze selbst bei gleicher Krankheitsschwere meist weniger Kosten als Weiße“, erklärt Obermeyer. Im Schnitt sind dies mehr als tausend US-Dollar weniger pro Jahr und Patient.
So haben Afroamerikaner beispielsweise weniger Zeit, um zum Arzt oder zu Therapien zu gehen. Sie müssen häufiger als Weiße befürchten, bei Fehlzeiten entlassen zu werden oder weniger Lohn zu bekommen. Weil schwarze US-Bürger zudem noch immer häufiger arm sind als weiße, könne sie sich auch Medikamente uns Behandlungen mit Zuzahlungen oft nicht leisten. Als Resultat fallen für ihre Krankenkassen weniger Kosten an, obwohl diese Patienten genauso krank sind wie „teurere“ weiße Patienten.
Diese in der Software nicht berücksichtigen Unterschiede führen dazu, dass der Algorithmus unbeabsichtigt schwarze Patienten benachteiligt.
Kein Einzelfall – aber behebbar
Und dies ist wahrscheinlich kein Einzelfall: „Die Bewertungsparameter der zehn am häufigsten eingesetzten Algorithmen nutzen Kostenvorhersagen als Grundlage“, erklären die Forscher. Das Problem unabsichtlicher Diskriminierungen ist daher auch in anderen Branchen und Systemen zu erwarten. „Algorithmen an sich sind weder gut noch böse – aber man muss aufpassen, wie man sie konstruiert“, sagt Mullainathan.
Denn es geht auch anders: Die Forscher korrigierten die Berechnungsgrundlagen in ihrer Arbeitsvariante des Algorithmus und konnten so die Verzerrung beseitigen: Während zuvor in der Gruppe der automatisch bewilligten Förderung nur 18 Prozent schwarzer Patienten waren, stieg deren Anteil durch die Korrektur auf 47 Prozent. Einer der Hersteller des Algorithmus arbeitet nun bereits daran, die Software entsprechend zu korrigieren, wie Obermeyer und sein Team berichten. (Science, 2019; doi: 10.1126/science.aax2342)
Quelle: University of California – Berkeley
