Bisher konnte folgende Frage nicht beantwortet werden: Wie triff t ein neuronales Netz Entscheidungen? Dabei ist sie entscheidend, fällen mit Künstlicher Intelligenz arbeitende Systeme doch Entscheidungen aufgrund von Verknüpfungen mathematisch defi nierter Einheiten, die vergleichbar sind mit der Funktionsweise des menschlichen Gehirns. Mit einer neuen Technik kann die Frage jetzt aber beantwortet werden. Und was dies mit dem Pferd „Clever Hans“ zu tun hat, fand Christoph Berger bei seinen Recherchen heraus.
Wie entscheidend KI-Ergebnisse sein können, zeigt sich am Beispiel von Röntgenbildern. Diese werden als Input in ein KI-System gegeben, der Output ist eine Diagnose. Auch beim autonomen Fahren ist das Erfassen von Bildinhalten essentiell, wo Verkehrszeichen, Bäume, Fußgänger und Radfahrer fehlerfrei erkannt werden müssen. Es sind genau diese Situationen, in denen Künstliche Intelligenz absolut sicherheitskritische Problemlösungsstrategien liefern muss. Allerdings war es laut Wissenschaftlern des Fraunhofer-Instituts für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI, und der Technischen Universität Berlin bislang nicht nachvollziehbar, wie KI-Systeme Entscheidungen treffen. „Nicht nur das Ergebnis soll korrekt sein, sondern auch der Lösungsweg“, sagt Dr. Wojciech Samek, Leiter der Forschungsgruppe „Machine Learning“ am Fraunhofer HHI. So habe man bisher darauf vertraut, dass KI-Systeme das richtige tun. Doch im Grund sei das System eine Black Box gewesen, unklar war beziehungsweise ist noch oftmals, ob es sich bei den Ergebnissen wirklich um intelligente Entscheidungen oder „nur“ um statistisch erfolgreiche Verfahren handelt.
Mit LRP visualisieren und interpretieren wir neuronale Netze und andere Machine Learning-Modelle.
Ändern tut sich dies nun durch die von den Forschern entwickelte Methode Spectral Relevance Analysis (SpRAy), die auf der Technik Layer-Wise Relevance Propagation (LRP) basiert. Sie macht KI-Prognosen erklärbar und deckt unsichere Problemlösungsstrategien auf – unter anderem erkennt sie in riesigen Datensätzen unerwünschte Entscheidungen. SpRAy identifiziert und quantifiziert somit ein breites Spektrum erlernter Entscheidungsverhalten. „Mit LRP visualisieren und interpretieren wir neuronale Netze und andere Machine Learning-Modelle. Mit LRP messen wir den Einfluss jeder Eingangsvariablen für die Gesamtvorhersage und zerlegen die Entscheidungen des Klassifizierers“, ergänzt Dr. Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin. Denn nur wer versteht, wie neuronale Netze funktionieren, kann deren Ergebnissen auch vertrauen.
Dass die Lösungswege von KI-Systemen nicht immer sinnvoll sind, ergaben Tests, die von den Forschern im Rahmen einer Studie durchgeführt wurden. So stellten sie mit ihrem neuen Verfahren nicht nur bestehende KI-Systeme auf die Probe, sondern quantifizierten diese Systeme auch: Vom naiven Problemlösungsverhalten, über Schummel-Strategien bis hin zu hochelaborierten „intelligenten“ strategischen Lösungsansätzen. Dabei stellten sie fest, dass selbst moderne KI-Systeme nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg fanden, sondern bisweilen sogenannte „Clever-Hans-Strategien“ nutzen. Der Kluge Hans (Clever Hans) war ein Pferd, das angeblich rechnen und zählen konnte und in den Jahren um 1900 als wissenschaftliche Sensation galt. Wie sich später herausstellte, beherrschte Hans nicht die Mathematik, sondern konnte in etwa 90 Prozent der Fälle die richtige Antwort aus der Reaktion des Fragestellers ableiten. Ähnliche „Clever Hans“-Lösungsstrategien konnten Klaus-Robert Müller und Wojciech Samek mit ihren Kollegen und Kolleginnen auch bei verschiedenen KI-Systemen finden.
