Zuverlässige KI

Eine erklärbare Künstliche Intelligenz (KI) ist eine KI, deren innere Funktionsweise und Entscheidungsfindung nachvollziehbar ist. Das kann z. B. heißen, dass es möglich ist, wichtige Merkmale der Eingabedaten für die Entscheidungsfindung zu identifizieren, die innere Logik verstehen zu können oder bei einer konkreten Entscheidung herauszufinden, warum diese so getroffen wurde.

Forschungsfragen

• Wie kann globale Erklärbarkeit für Convolutional Neural Networks erreicht werden?
• Wie können verständliche globale Erklärungen für tiefe Neuronale Netze geschaffen werden, die eine umfassende Abdeckung des Eingaberaums garantieren?
• Kann ein Prozess definiert werden, welcher ein Standardvorgehen für die Erklärungsextraktion und -interpretation sowie eine daraus resultierende Ableitung von Handlungsoptionen ermöglicht?
• Wie müssen Erklärungen aufgebaut, repräsentiert und ggf. auch kombiniert werden, um den größtmöglichen Erkenntnisgewinn zu erhalten?

Praktische Relevanz

Viele moderne KI-Verfahren sind sogenannte Black Boxes. Der Bedarf an Erklärbarkeit steigt mit der zunehmenden Verwendung von KI-Verfahren in zentralen Prozessen. Erklärbarkeit kann dabei helfen, die Arbeitsweise und die Limitierungen von KI-Modellen besser einzuschätzen und dadurch Rückschlüsse auf die zugrundeliegenden Prozesse zu schließen sowie die Akzeptanz von KI in der Belegschaft zu erhöhen.

Des Weiteren ist Erklärbarkeit insbesondere bei regulatorisch und sicherheitstechnisch kritischen Anwendungsgebieten teilweise gesetzlich vorgeschrieben oder notwendig, um das Risiko eines Produktiveinsatzes von KI-Methoden einschätzen zu können.

Sie können den Demonstrator hier selbst ausprobieren.

Verifizierbare KI bezeichnet Methoden, bei denen ein existierendes KI-Modell auf sicherheitsrelevante Aspekte und Robustheit untersucht wird. Dabei kommen meist mathematische Methoden zum Einsatz, die gewährleisten, dass eine geprüfte Eigenschaft der KI auch mit absoluter Sicherheit bewertet werden kann. Dabei können z. B. Merkmale, wie die Robustheit der KI gegenüber Störungen oder aber der Bereich der möglichen Ausgabeergebnisse, untersucht werden.

Forschungsfragen

• Wie können KI-Modelle sicher und effizient verifiziert werden?
• Wie kann die die Übertragung von abstrakten Sicherheitsregelungen in konkrete Verifikationsanfragen gestaltet werden?
• Wie können KI-Modelle konzipiert und trainiert werden, um vorgegebenen Sicherheitsanforderungen zu genügen?

Praktische Relevanz

Verifizierbare KI ist für sicherheitskritische Anwendungen relevant, die strikte Sicherheitsstandards erfüllen müssen. Dies betrifft beispielsweise kollaborierende Roboter, autonome Fahrzeuge oder intelligente Werkzeugmaschinen. Hier gelten oft klare Normen oder Industriestandards, die von der eingesetzten KI-Applikation nicht automatisch eingehalten werden. Verifizierbare KI bietet hier die Möglichkeit, entsprechende Randbedingungen zu testen und zu kontrollieren. Dies ermöglicht den Einsatz von KI-Verfahren in Prozessen, die zuvor aufgrund strenger regulatorischer Anforderungen mithilfe unflexibler regelbasierter Systemen oder händisch durchgeführt werden mussten.

In vielen Bereichen, bei denen Künstliche Intelligenz (KI) zum Einsatz kommt, reichen Genauigkeit und starre Entscheidungen häufig nicht aus. Unsicherheitsquantifizierung spielt hier eine entscheidende Rolle, um robuste und zuverlässige KI-Applikationen zu ermöglichen. Hier geht es darum, Messunsicherheiten in Prozessen oder Daten direkt für Algorithmen nutzbar zu machen und somit die Entscheidungsfindung zu verbessern. Außerdem kann in Situationen mit inhärenter Unsicherheit effektiver und sicherer geplant und prognostiziert werden.

Forschungsfragen

• Welche Methoden können zur Propagation und Weiterverarbeitung von Unsicherheiten im Kontext von KI eingesetzt werden?
• Wie kann Unsicherheitsquantifizierung effizient und dennoch möglichst exakt durchgeführt werden?
• Wie kann die Quantifizierung von Unsicherheiten effektiv für die Planung und Entscheidungsfindung genutzt werden?

Praktische Relevanz

Anwendungsfelder finden sich vor allem in sicherheitskritischen Applikationen, wie der Mensch-Roboter-Kollaboration, aber auch in Bereichen, wie Produktion, Logistik oder Maschinensteuerung, bei denen Fehler häufig kostenintensiv sind. Zum einen kann ein Roboter in einer Montageinsel beispielsweise präventiv Rückmeldung geben, falls er die aktuelle Situation nicht in vollem Maße überblicken kann, zum anderen ist die Anomalieerkennungsoftware in der Qualitätskontrolle in der Lage, Bauteile, bei denen eine Anomalieerkennung nicht eindeutig war, zu markieren. Die Unsicherheitsquantifizierung in KI-Applikationen kann somit deren Praxistauglichkeit erheblich verbessern.

Normen und Standards übernehmen in unserer Zeit eine Vielzahl von essenziellen Aufgaben. Sie unterstützen bei der Entwicklung sicherer Produkte, indem sie den aktuellen Stand der Forschung abbilden und so kundenseitiges Vertrauen in Technologie schaffen. Zeitgleich geben Normen und Standards Herstellern juristische Sicherheit, sobald ein neues Produkt in den Markt eingeführt wurde. Letztlich muss für Produkte, welche sich einer Künstlichen Intelligenz (KI) bedienen, dasselbe gelten. Eine Norm für intelligente Maschinen und Produkte existiert jedoch derzeit noch nicht.

Forschungsfragen und praktische Relevanz

Das Fraunhofer IPA legt im Rahmen der Normierungsroadmap des Deutschen Instituts für Normung (DIN) sowie des Expertenrats des Verbands der Elektrotechnik, Elektronik und Informationstechnik (VDE) mit den Grundstein für eine solche Norm. Hierbei zeigt sich, dass eine Künstliche Intelligenz Besonderheiten im Vergleich zu klassischen Software aufweist, welche es gesondert zu berücksichtigen gilt.

Insbesondere Fragen, wie das Bestimmen des nötigen Sicherheitsniveaus, die Besonderheiten bei der industriellen Automation und in der Medizin sowie ethische Aspekte müssen in Bezug auf das nötige Sicherheitsbedürfnis, die Innovationsförderlichkeit und die Wirtschaftlichkeit eingeordnet werden.
Ein zentraler Aspekt der Normierungsroadmap liegt auch in der Frage, wie die Qualität eines intelligenten Systems ermittelt und letztlich auch zertifiziert werden kann. Hierbei spielen Methoden der Explainable AI (xAI), wie sie am Fraunhofer Zentrum für Cyber-Cognitive Intelligence (ZCCI) erforscht werden, eine entscheidende Rolle.

Die Auditierung stellt sicher, dass ein KI-System ethischen, technischen oder rechtlichen Anforderungen entspricht und kann so dazu beitragen, die Akzeptanz unter Nutzern zu steigern und mögliche Fehler bei der Entwicklung aufzudecken. Je nach Anforderung kann der Fokus dabei entweder auf rechtlichen, technischen oder ethischen Kriterien liegen. Da die rechtlichen Rahmenbedingungen noch nicht eindeutig geklärt sind, besteht die Möglichkeit bei einem rechtlichen Fokus eine Anwaltskanzlei einzubinden.

Leitfragen

• Wie kann die Akzeptanz bei der Anwendung von KI-Systemen gesteigert werden?
• Werden gängige Best-Practices bei der Konzeption, Entwicklung und Operationalisierung von KI-Systemen eingehalten?
• Welche wissenschaftlichen und technischen Methoden sind notwendig bzw. entsprechen dem Stand der Forschung, um die Leistungsfähigkeit und Sicherheit eines KI-Systems zu gewährleisten?
• Wie können rechtliche Anforderungen in technische Anforderungen übersetzt werden?  
  
  
  

Praktische Relevanz

Je nach Schwerpunkt des Audits kann eine externe Prüfung eines KI-Systems dabei helfen, Fehler bei der Modelentwicklung aufzudecken, sich auf eine zukünftige Zertifizierung des Systems vorzubereiten oder Vertrauen bei Nutzern zu steigern.