Explainable AI: Warum wir unsere KIs verstehen müssen

Der Begriff Explainable AI (XAI) steht für ein Grundproblem, das wir mit Machine-Learning-Systemen haben: Da ML-Systeme eher trainiert als programmiert werden, gibt es eigentlich keinen lesbaren Code mehr, dem wir entnehmen können, warum der Algorithmus diese oder jene Entscheidung getroffen hat. Verstehen wir überhaupt, wie diese Systeme zu ihren Schlussfolgerungen kommen?

Dieses Zitat stammt von Albert Einstein, der immerhin die Relativitätstheorie entwickelt hat. Heute hätte er vielleicht „KI“ als am schwersten durchschaubar genannt.

Definition Explainable AI: Verstehen, wie die KI tickt

Hier kommt „Erklärbare KI“ ins Spiel. Denn auch in AIs arbeiten Algorithmen, und ihre Ausgaben sind nicht zufällig. Die Definition von Explainable AI lautet daher: Es ist jener Bereich der Künstlichen Intelligenz, der sich darauf konzentriert, die Entscheidungen und Aktionen, die von KI-Systemen getroffen werden, verständlich und nachvollziehbar zu machen. 

Der Bedarf für XAI entsteht durch die Natur vieler KI-Modelle: Sie arbeiten als undurchsichtige „Blackbox“. Sie nehmen Daten auf, verarbeiten sie auf eine für Benutzer:innen erst einmal undurchsichtige und nicht nachvollziehbare Art und Weise, und liefern dann Ergebnisse. Die können richtig sein oder falsch – aber erstmal ist gar nicht klar: Wie ist die AI denn zu diesen Ergebnissen gekommen?

Bei generativen Bild-KIs mag das nicht wichtig sein. Doch in vielen anderen Bereichen ist Erklärbarkeit und Verantwortlichkeit entscheidend: 

• Im Gesundheitswesen zum Beispiel könnte eine KI auch Diagnosen stellen – aber das geht nur, wenn Ärzt:innen und Patient:innen mit Hilfe von Explainable AI verstehen, wie sie zu ihrer Schlussfolgerung kommt. 
• Ebenso können im Finanzwesen Algorithmen zur Kreditvergabe eingesetzt werden – aber Kund:innen haben das gesetzlich verankerte Recht zu erfahren, wie Entscheidungen über ihre Kreditwürdigkeit zustande kommen.
• Eine Stärke von AIs ist, aus Datenmengen neues Wissen schöpfen zu können – das ist gut. Doch wenn davon das Wohl und Wehe eines Unternehmens abhängt, nimmt man dafür wohl besser keine „Blackbox“, sondern eben eine „Glassbox AI“.

XAI: Warum wir KIs verstehen müssen

Ob persönliche Assistenten oder komplexe Prognosesysteme für Gesundheitswesen und Finanzen – AIs haben zunehmend Einfluss auf kritische Entscheidungsprozesse und sollten daher aus vielen Gründen auch Rede und Antwort stehen können. Das sehen auch Anwender:innen so:

• Explainable AI sorgt für Transparenz und Verantwortung: Nur mit XAI können die Entscheidungen von KI-Systemen nachvollzogen und gegebenenfalls auch überprüft werden. Eine solche Rechenschaftspflicht kann dazu beitragen, Fehlentscheidungen aufzudecken – zum Beispiel bei medizinischen Diagnose- oder Entscheidungsunterstützungssystemen extrem wichtig. 
• XAI schafft Vertrauen: Erklärbare KI ermöglicht es den Benutzer:innen, die Funktionsweise der von ihnen genutzten KIs und die Gründe für ihre Entscheidungen oder Outputs besser zu verstehen. Das stärkt das Vertrauen in diese Technologie und sorgt dafür, dass mehr Menschen lernen, wie sie AIs gewinnbringend nutzen können. 
• Ethische Fairness: Viele generative Text- und Bild-KIs zeigen eine gewisse Neigung, Stereotypen zu replizieren. Denn bedingt durch ihre Trainingsdaten sind alle KI-Systeme so voreingenommen wie Menschen („Bias“). Zugleich erwarten wir aber das Gegenteil von ihnen und betrachten ihren Output oft als objektive Wahrheit. Explainable AI muss antrainierte Vorurteile identifizierbar und ihre Ursachen erkennbar und abschaltbar machen, damit zuverlässig faire und ethisch gerechte Entscheidungen gefällt werden.
• Sicherheit und Zuverlässigkeit der Entscheidungsfindung: Mit XAI können wir besser beurteilen, ob eine KI zuverlässig und sicher ist, wo potenzielle Schwachstellen liegen und wie wir sie beheben. Wenn wir die Gründe für eine KI-Entscheidung besser verstehen, können wir deren Qualität besser beurteilen. Wir können dann einerseits gegebenenfalls Verbesserungen vornehmen oder andererseits daraus schließen, wo wir KI besser (noch) nicht einsetzen sollten.
• Explainable AI zur Einhaltung gesetzlicher Vorschriften: Gesetzliche Vorschriften verlangen in einigen Bereichen Transparenz und Erklärbarkeit, eine Art algorithmische Rechenschaftspflicht. Ein Beispiel ist Artikel 14 der DSGVO, wonach Menschen ein Recht auf Erklärung haben bei wichtigen Entscheidungen, von denen sie betroffen sind. Das vor allem bei YMYL-Themen (Your Money, Your Life) so, also rund um Geld und um den Finanzsektor sowie auch bei gesundheitlichen Fragen. XAI kann helfen, dass AI-Technologien solche Anforderungen erfüllen können, zum Beispiel auch die Europäische Datenschutzgrundverordnung (DSGVO), die ein „Recht auf Erklärung“ vorsieht.

Am Ende des Tages ermöglicht XAI den Menschen vor allem, die Kontrolle über KI-Systeme zu behalten. Durch das Verstehen der Entscheidungen der KI können wir eingreifen und Korrekturen vornehmen, wenn dies notwendig ist. Zumindest die Überprüfung der Plausibilität eines Ergebnisses sollte möglich sein.

Wie macht man KI „explainable“?

Ein klassisches Programm ist eine Abfolge von Befehlsschritten. Dabei ist es vergleichsweise einfach zu verstehen, warum ein Input A zu einem Output B geführt hat. Doch schon bei alltäglichen Computerproblemen zeigt sich, dass es schnell kompliziert wird: Jeden Tag laden die Betriebssysteme Updates und auch unsere Benutzung hinterlässt Spuren in ihnen. Deswegen ist es schon bei Rechnerproblemen eine einfache, singuläre Erklärung schwer.

AIs sind noch einmal deutlich komplexer. Die Zahl ihrer Parameter geht inzwischen in die Milliarden. Explainable AI muss also völlig neue Wege gehen, um die Ursachen und Begründungen von Entscheidungen zu verstehen. Es ist schwierig, aber nicht unmöglich, und die Methoden haben beeindruckende Namen wie LIME („local interpretable model-agnostic explanations”, LRP („Layer-wise relevance propagation”) oder GAM („Generalized additive model”), um nur einige zu nennen. 

Nur AI-Expert:innen verstehen derzeit alle Details, aber meist geht es um diese Dinge:

• Ein Ansatz für Explainable AI besteht darin, durch geringfügige Änderungen am Input zu beobachten, wie und wie sehr das KI-System daraufhin seinen Output ändert.
• Einige XAI-Techniken ermitteln die Wichtigkeit jedes einzelnen Merkmals für das gesamte Modell und versuchen so über die wichtigsten Merkmale, die Entscheidung nachvollziehbar zu machen.
• Ein anderer Ansatz für vertrauenswürdige und erklärbare KI besteht darin, für einzelne Fragen ein eigenes Modell zu entwickeln, das sozusagen eine vereinfachte Version der KI für diese eine Frage darstellt.
• Und natürlich gibt es auch Überlegungen, die Kontrolle von KIs an Systeme abzugeben, die dafür besser geeignet sind als wir selbst – also XAI mit Hilfe von Kontroll-KIs.
• Einige Ansätze arbeiten sogar auf eine KI hin, die ab Werk keine Blackbox ist, sondern die als Glassbox selbst über ihre Systemzustände Auskunft geben kann.

Derzeit kann zum Beispiel ChatGPT gar nicht präzise erklären, wie es selbst arbeitet. Mit Explainable AI könnte uns der Chatbot irgendwann selbst erklären, wie er sein Ergebnis produziert hat – und indem wir die KI besser verstehen, können wir ihr auch bessere Anweisungen – so genannte Prompts – geben.

Fazit: Explainable-AIs müssen kommen

Explainable AI hilft Unternehmen, sicherzustellen, dass ihre KI-Systeme fair, ethisch, transparent und verantwortungsbewusst arbeiten. Dank erklärbarer Entscheidungen und Handlungen von KI-Systemen können Unternehmen das Vertrauen ihrer Kund:innen, Mitarbeiter:innen und Stakeholder in diese Systeme stärken. XAI kann dazu beitragen, die Akzeptanz von KI-Systemen zu erhöhen, indem sie Kund:innen wie Mitarbeiter:innen hilft, die Funktionsweise dieser Systeme besser zu verstehen.

Darüber hinaus kann erklärbare KI auch dazu beitragen, regulatorische Anforderungen zu erfüllen und das Risiko von Fehlentscheidungen zu minimieren. Das stärkt das Vertrauen in diese Systeme und erlaubt es ihnen, auch bei Finanz- und Gesundheitsthemen von ihren Möglichkeiten zu profitieren. 

In einer Welt, die immer stärker von KI geprägt ist, ist die Möglichkeit, ihre Arbeitsweise zu verstehen, von unschätzbarem Wert. Nur so können wir verantwortungsvoll die vielen Vorteile von KI nutzen, ohne dabei die Kontrolle zu verlieren oder undurchsichtigen Prozessen ausgesetzt zu sein. Explainable AI ist ein entscheidender Schritt, um AI effektiv zu kontrollieren, zu regulieren und sicherzustellen, dass Künstliche Intelligenz zum Nutzen und Wohl aller eingesetzt wird.

Grundsätzlich geht es beim Thema AI immer auch um die Sicherheit von Daten. Gerade sensible Informationen (Kundendaten, geschäftliche Daten etc.) sollten nicht in Systeme fließen, aus der sich beliebige Internet-KIs einfach bedienen können – besonders, wenn wir noch nicht wissen, was in ihnen tatsächlich vorgeht. Das gilt übrigens auch für Mitarbeiter:innen.