Die «Schummelalgorithmen» hinter der künstlichen Intelligenz
Künstlich intelligente Systeme zeigen manchmal erstaunliche Leistungen. Doch den Resultaten ist nicht zu trauen, wo sich der Lösungsweg nicht nachverfolgen lässt.
Wenn «Schummelalgorithmen» Fähigkeiten vortäuschen, die sie nicht haben, kann es für Betroffene ungemütlich werden. (Kin Cheung / AP)
Deutsche Parlamentarier liessen sich am Montag in Berlin über «Schummelalgorithmen» informieren. Klaus-Robert Müller, Computerwissenschafter an der Technischen Universität Berlin, plädierte vor der Enquête-Kommission Künstliche Intelligenz des Deutschen Bundestags für ein verstärktes Engagement bei der Erforschung der Erklärbarkeit von künstlicher Intelligenz. Er ist mit dieser Forderung nicht allein, rund um die Welt beschäftigt «explainable AI» (XAI) Dutzende von hochkarätigen Wissenschaftern. Unter anderen hat die Forschungsagentur der amerikanischen Streitkräfte, die Defense Advanced Research Projects Agency (Darpa), XAI zu einem Schwerpunktthema ihrer Forschungsförderung erklärt.
Geniale Lösungen
Die künstlich intelligenten Maschinen sind wie Tiere, die rechnen können. Was geht in ihrem Kopf vor? Es gibt wissenschaftliche Berichte über eine Schimpansin, die nicht nur rechnen, sondern Zahlen auf Papier auch lesen konnte. Von einem Papagei wird berichtet, der die Resultate seiner Berechnungen aussprechen konnte. Und dann gab es da auch Hans, das Pferd, das die Resultate von Rechenaufgaben durch Klopfen mit den Hufen kommunizierte. Der Kluge Hans sorgte einst mit seinen Rechenkünsten für Schlagzeilen, bis man herausfand, dass er mit Zahlen gar nichts anfangen konnte. Wie oft es klopfen musste, entnahm das Pferd der Mimik und der Körperhaltung des Menschen, der die Rechenaufgaben stellte. Hans ist im Ersten Weltkrieg ums Leben gekommen, seine Betreuer und ihre eigenartigen tierpädagogischen Konzepte sind vergessen. Was aber blieb, ist der Kluger-Hans-Effekt: Er beschreibt bei Experimenten oder Befragungen schwer feststellbare, störende Einwirkungen.
Es gibt den Kluger-Hans-Effekt auch in der Computerwissenschaft. Müller verwendet ihn im Titel eines wissenschaftlichen Aufsatzes, den er zusammen mit Kollegen der TU Berlin, des Fraunhofer-Heinrich-Hertz-Instituts, der Korea University und der Singapore University of Technology and Design diese Woche bei «Nature Communications» publiziert hat. Die Forscher haben die Fähigkeiten von KI-Systemen überprüft, sie wollten herausfinden, ob hinter den guten Leistungen intelligente Entscheidungen stehen oder nur statistisch erfolgreiche Zufälligkeiten.
Flippern ohne Flipperhebel
Machine-Learning-Systeme werden oft als «Blackboxes» charakterisiert. In jüngster Vergangenheit wurden nun aber im Rahmen der XAI-Forschung Verfahren entwickelt, um bei diesen Kisten den Deckel zu heben und das Innere auszukundschaften. Müller und seine Kollegen haben ein bereits bekanntes Verfahren (Layer-wise Relevance Propagation, LRP) erweitert, um Systeme zu beobachten, bei denen visuelle Informationen wichtig sind. Die Ergebnisse sind vernichtend. Bei seinem Vortrag vor der Enquête-Kommission sagte Müller, dass die Hälfte der untersuchten Systeme «Schummelalgorithmen» verwende.
Da ist zum Beispiel diese Software, die mit hoher Zuverlässigkeit auf Fotos Pferde erkennen kann. Eine erstaunliche Leistung! Während der Trainingsphase wurden dem System Bilder mit Pferden gezeigt, bald kannte es sich mit Pferden aus und war in der Lage, Pferde auch auf Bildern, die es noch nie zu Gesicht bekommen hatte, zu erkennen. Müller und seine Kollegen konnten mit ihren Methoden nun aber zeigen, dass die Software mit Pferden nichts am Hut hat. Es war einfach so, dass die Pferdefotos alle aus demselben Archiv stammen und an derselben Stelle mit demselben Copyright-Vermerk gekennzeichnet sind. Die Software erkannte nicht Pferde, sondern orientierte sich an den Copyright-Hinweisen.
Oder da ist diese Software, die sich anhand eines Computerspiels von Atari das Flippern beigebracht hat. Die Software analysiert die Vorgänge auf dem Bildschirm und versucht dann das Game so zu steuern, dass es eine möglichst hohe Punktzahl erreicht. Sehr schnell war die Software am virtuellen Flipperkasten überraschend gut. Doch Müller et al. fanden heraus, dass die Software gar nicht flippert. Die Software hatte durch Versuch und Irrtum herausgefunden, dass es möglich ist, die Spielfläche zu kippen, so dass der Ball zwischen zwei Schlagtürmen stecken bleibt und den Punktezähler in die Höhe treibt. Im wirklichen Leben würde diese Spielstrategie einen «Tilt» und den Abbruch des Spiels provozieren. Das Atari Pinball Game war aber offenbar nicht auf einen Spieler vorbereitet, der flippert, ohne die Flipperhebel zu bedienen.
Gefährliche Unzuverlässigkeit
Die künstlich intelligente Software ist wie ein Idiot savant manchmal zu Spitzenleistungen fähig, manchmal abgrundtief dumm. Doch wenn KI bald auch den Arzt, den Banker oder den Chauffeur ersetzen soll, möchte man schon gern wissen, woran man ist. Sie sollte auch in der Lage sein, einen Kreditentscheid, eine Krebsdiagnose oder eine Notbremsung zu begründen. «Schummelalgorithmen» kommen zwar vielleicht zu einem richtigen Resultat, aber sie tun es auf krummen Wegen. Deswegen sind sie nicht vertrauenswürdig. Wo solche Verfahren beispielsweise bei medizinischen Diagnosen eingesetzt werden, bilden sie eine Gefahr: «Ich möchte so nicht behandelt werden», sagte Müller vor den Parlamentariern.
