Fehlende Kontextualität von Big-Data-Analysen

Algorithmen, die Big Data-Analysen zugrunde liegen, werden häufig so programmiert, dass sie bestimmte Korrelationen zwischen Daten erkennen, die dann eine Kategorisierung und Vorhersage ermöglichen, z.B. durch die Einteilung von Menschen in Risikogruppen. Dies benötigt jedoch eine Modellierung der Daten, die sie aus ihrem Kontext herauslöst und in das Datenanalysemodell einpasst. Dabei wird häufig übersehen, dass der Kontext Daten eine spezielle Bedeutung gibt, die aber durch das Herauslösen aus dem Kontext verloren geht.¹ Diese Dekontextualisierung kann zu Missverständnissen und Fehlinterpretationen führen. Auch wenn Algorithmen darauf ausgelegt sind, Daten zu Mustern zu verknüpfen, ist es keineswegs sicher, dass jede Information auch Teil eines größeren Bildes ist. Boyd und Crawford schreiben in diesem Zusammenhang, dass „Big Data zu häufig die Praxis der Apophänie ermöglicht: Muster zu sehen, wo tatsächlich keine existieren, einfach nur, weil enorme Mengen an Daten Verbindungen zeigen können, die in alle Richtungen ausstrahlen“.² Auch diese Praxis der Apophänie kann wie alle Formen von Fehlern und Problemen der algorithmischen datenbasierten Entscheidungsfindung für die Betroffenen schwerwiegende Auswirkungen haben.

Besonders in Sicherheitsfragen sind diese sehr schwerwiegend und falsche Entscheidungen haben nicht einfach nur unangenehme Folgen, sondern stellen ernstzunehmende Missstände dar. Menschen können aufgrund von ähnlichen Datenmustern falsch eingruppiert, herausgefiltert und bloßgestellt werden, am Reisen gehindert oder unschuldig verhaftet oder gar gefoltert werden (vgl. z.B. die Fälle von Ould Salek oder Maher Arar). Dennoch sind algorithmische Bewertungs- und Entscheidungsroutinen nicht transparent. Sie basieren auf sich ändernden Datenquellen, welche sowohl falsche Daten als auch falsche Analyseroutinen schwer zu entdecken und damit auch schwer in Frage zu stellen machen.³ Big-Data-basierte Entscheidungen sind nicht nachvollziehbar und auch für die ausführenden Mitarbeiter*innen oder Beamt*innen praktisch kaum einsehbar. Damit ist es für diese auch kaum möglich, sich über solche Einschätzungen hinwegzusetzen. Hinzu kommt der Glaube an die Technik und die Intelligenz des umfassenden Systems: ‚Bestimmt habe ich etwas übersehen, wenn der Computer zu einem anderen Ergebnis kommt. Er wird schon seine Gründe haben.‘ Induktive algorithmenbasierte Methoden definieren gerade bei Einschätzungen eines verdächtigen Verhaltens aus den Daten heraus eine Norm (des unverdächtigen Verhaltens) und damit auch Muster der Abweichung, die als verdächtig gelten. Ein „algorithmischer Grund“ umgeht damit die bis dato geltenden Evaluierungsmethoden, die nicht nur in der Wissenschaft zur Verbesserung der Robustheit angewendet wurden, wie zum Beispiel Proben, Versuche und Experimente.⁴ „[Datenanalysen, die als] die Überwindung menschlicher Irrationalität bezeichnet worden sind, welche Interpretationen als Quelle von Fehlern und Diskriminierung umgehen, setzen dann im Grunde genommen die datengetriebene Profilerstellung in eine Black Box“.⁵

In diese Black Box hineinschauen zu können oder sie zu bewerten, ist entscheidend, wenn es um Menschenrechte geht. Eine der Kernprinzipien westlicher Demokratien besteht darin, dass Bürger*innen das Recht und auch die Möglichkeit haben, staatliche Handlungen kritisch zu hinterfragen und nicht nur abhängig von staatlicher Macht zu sein. Jedoch sind gerade diese Rechte gefährdet, wenn man sich Algorithmen- und Big-Data-basierte Entscheidungsfindung anschaut.

1. „Algorithmische Gouvernementalität vermeidet sorgfältig alle Arten der Konfrontation, insbesondere mit denen, die von ihren Regulierungsauswirkungen betroffen sind”.⁶ Die Menschen können häufig gar nicht wissen, ob und wann sie diskriminiert werden.⁷

2. Sollten Menschen dennoch eine Diskriminierung feststellen und gegen sie vorgehen wollen, so ist der Weg der Entscheidung immer noch in der Black Box und es ist nur schwer oder überhaupt nicht möglich, den Fehler auf den Algorithmus oder die Daten zurückzuführen. Selbst wenn man Zugang zum Quellcode des Algorithmus bekommt, ist es sehr schwer, die einzelnen Bestandteile zu unterscheiden und zu analysieren und natürlich ist man angewiesen auf Expert*innen. „Es wird schlicht nicht ökonomisch und noch nicht mal technisch umsetzbar sein, dass Datensubjekte die ‘Richtigkeit’ oder Genauigkeit der Daten oder analytischen Modelle, welche […] genutzt werden, beurteilen und dann anfechten“.⁸ Wenn wir noch selbst-lernende Algorithmen hinnehmen, ist es praktisch unmöglich.

3. Weiterhin bleibt die Frage der Verantwortlichkeit: Ist es die Schuld des Algorithmus, des/der Programmierer*in oder des/der ausführenden Mitarbeiter*in oder Beamt*in? Oder sind es falsche oder ungenügende Daten?

4. Wenn die Programme und Routinen im Allgemeinen gut funktionieren, unter Aufsicht stehen und bessere Ergebnisse als andere oder frühere Methoden liefern, wird es für die Betroffenen äußerst schwierig zu beweisen, dass sie diskriminiert wurden und dass es nicht ihre eigene Schuld ist, z.B. weil sie zu wenig Daten zur Auswertung bereitgestellt haben und das System daher falsche Schlüsse gezogen hat. Diskriminierte Personen müssen in diesen Fällen gegen eine scheinbar objektive Entscheidung vorgehen.

Dieselben Eigenschaften von Big-Data-Analysen, die für ihre ‚Objektivität‘ und Unabhängigkeit von menschlichen (Fehl‑)Entscheidungen gelobt werden, erschweren es deutlich, Fragen der Transparenz und Verantwortlichkeit von privaten und staatlichen Akteuren zu stellen und zu beantworten. Besonders wichtig hierbei ist, dass Algorithmen- und datenbasierte Entscheidungsroutinen sowohl bestehende Datenschutz- als auch Nicht-Diskriminierungsgrundsätze, wie sie zum Beispiel in der Europäischen Grundrechtecharta stehen, unterminieren.⁹