Zuverlässige KI

Künstliche Intelligenz liefert in vielen Anwendungsbereichen eine hohe Performance. Dennoch wird sie aufgrund der schwierigen Interpretierbarkeit selten in kritischen Anwendungsfällen (z.B. in der Medizintechnik) verwendet. Um dies zu ändern, fokussiert sich eine Gruppe der Abteilung auf Verfahren der Erklärbarkeit, Verifikation sowie Unsicherheitsquantifizierung von KI-Systemen.

Erklärbarkeit meint die Nachvollziehbarkeit der inneren Funktionsweise und Entscheidungsfindung einer KI. Beispielsweise umfasst dies das Verstehen der inneren Logik oder einer konkreten Entscheidung. Erklärbarkeit kann dabei global, also für das ganze Modell, oder lokal, für ein bestimmtes Datum, ermöglicht werden. In einigen Fällen ist Erklärbarkeit auch mit Handlungsempfehlungen im Sinne von Wenn-Dann-Aussagen verbunden. Und nicht zuletzt ist es wichtig, die Erklärbarkeit einer KI auf die Zielgruppe abzustimmen. Ein Entwickler Bedarf oftmals einer anderen Erklärung als der Anwender.

Bei der Verifikation wird ein existierendes KI-Modell auf sicherheitsrelevante Aspekte und Robustheit untersucht. Dabei kann beispielsweise die Robustheit der KI gegenüber Störungen überprüft werden. Mittels Unsicherheitsquantifizierung werden Messunsicherheiten in Prozessen oder Daten direkt für Algorithmen nutzbar gemacht. Dies verbessert die Entscheidungsfindung und in Situationen mit inhärenter Unsicherheit kann effektiver und sicherer geplant und prognostiziert werden.

Weitere Informationen über zuverlässige KI gibt es hier auf der KI-Leitthemaseite.