Interview zum FQS-Forschungsprojekt “AIQualify”: Framework zur Qualifizierung von KI-Systemen in der industriellen Qualitätsprüfung
Die produzierende Industrie und deren Endkunden stellen immer höhere Qualitätsansprüche. Anstelle von manchmal ineffizienten und fehleranfälligen manuellen Qualitätskontrollen setzen Unternehmen zunehmend auf automatisierte Prüfungen, wie zum Beispiel optische Prüfsysteme mit anschließender Bildverarbeitung (siehe Abb. 1). Die klassische Bildverarbeitung stößt jedoch oft an ihre Grenzen, vor allem dann, wenn es eine hohe Variabilität bei Fehlern oder Bauteilen gibt. So können beispielsweise Oberflächenkratzer in Form, Farbe und Lage variieren. Diese Defekte sind jedoch oft schwer analytisch zu beschreiben. Mit Methoden des maschinellen Lernens (ML), einem Teilgebiet der Künstlichen Intelligenz, können diese Einschränkungen zunehmend überwunden werden. Bedenken hinsichtlich der Zuverlässigkeit oder Genauigkeit von ML-Verfahren verhindern jedoch bisher ihren weit verbreiteten industriellen Einsatz. Gerade der Unterschied zu klassischen Algorithmen erschwert die Qualifizierung von ML-basierten Qualitätsprüfungssystemen. Die Qualifizierung solcher Systeme zu erleichtern, stellt das zentrale Forschungsziel des über die FQS – Forschungsgemeinschaft Qualität e. V. geförderten Projekts AIQualify dar.
Abb. 1: Optische Prüfung von Platinen. Quelle: Rainer Bez, Fraunhofer IPA
Das Konsortium von AIQualify besteht aus dem Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA sowie dem Institut für Industrielle Fertigung und Fabrikbetrieb IFF der Universität Stuttgart. Begleitet wird das Projekt von zahlreichen Unternehmen: 36ZERO Vision, AUDI, Babtec Informationssysteme, Bosch, EVT, Festool, Maddox AI, preML, scitis.io, sentin und WICKON Hightech. Zudem unterstützen die Allianz Industrie 4.0 der Bitkom und die Universität Speyer das Vorhaben. Das Projekt startete am 1. Mai 2023 und hat eine Laufzeit von zwei Jahren.
Im Interview gibt Prof. Dr.-Ing. Marco Huber (Fraunhofer IPA / IFF der Universität Stuttgart) einen Ausblick auf das Projekt und erläutert, wie Unternehmen von den Forschungsergebnissen profitieren können.
Aus welcher Problemstellung heraus ist das Forschungsprojekt entstanden?
Prof. Dr.-Ing. Marco Huber: Bei der klassischen Bildverarbeitung geben Menschen analytische Kriterien oder explizite Regeln vor, etwa bei der Defekterkennung. Folglich wird das Computerprogramm zur Qualitätsprüfung in der Regel manuell erstellt und besteht aus einer Folge von prüfbaren und nachvollziehbaren Anweisungen. Beim ML hingegen wird das auszuführende Computerprogramm automatisiert auf der Grundlage eines Datensatzes erstellt. Die Daten stellen gewissermaßen die Spezifikation des Programms dar. Dies hat zur Folge, dass bei maschinell erlernten Programmen – die in dem Kontext gerne als ML-Modell bezeichnet werden – eine begrenzte Nachvollziehbarkeit der Entscheidungsfindung oder eine unzureichende Robustheit gegenüber geringfügigen Änderungen der Eingabedaten vorliegt. Auch fehlen aussagekräftige Kriterien, die für einen Nachweis der Eignung herangezogen werden können. Dies alles erschwert die Qualifizierung von ML-basierten Qualitätsprüfungssystemen und mindert auch häufig die Akzeptanz in der Industrie.
Welche Lösung wird im Forschungsprojekt AIQualify entwickelt?
Prof. Dr.-Ing. Marco Huber: Die Entwicklung von ML-Systemen durchläuft üblicherweise die in Abb. 2 dargestellten Phasen. In jeder Entwicklungsphase stehen qualifizierte Entscheidungen an, die einen wesentlichen Einfluss auf das fertige System haben können. Folglich ist es zwingend erforderlich, nicht nur das fertige System zu betrachten, sondern jede Phase dessen Entwurfs bzw. Entwicklung. Dadurch wird sichergestellt, dass bereits frühzeitig qualifizierte Entscheidungen hinsichtlich Datenauswahl, Vorverarbeitung, Gütekriterien, Modellauswahl usw. getroffen und dokumentiert werden.
Abb. 2: Phasen der Entwicklung eines ML-Systems. Quelle: Fraunhofer IPA
Neben der Ganzheitlichkeit der Betrachtung der gesamten Entwicklungskette liegt die Innovation von AIQualify zudem in der assistierten Ermittlung und Bündelung von Prüf- und Bewertungskriterien und der assistierten Qualifizierung des ML-Systems entlang der formalisierten Kriterien. Hierzu entwickeln wir ein Software-Framework samt Vorgehensmodell und Software-gestützter Prüfmodule, welches die Ermittlung und Formulierung von Prüf- und Bewertungskriterien sowie die Abnahme des ML-Systems entlang dieser Kriterien erlaubt. Das Framework soll modular gestaltet sein, sodass eine einfache Integration und Erweiterung von Prüfmodulen möglich werden.
Wer soll von den Ergebnissen profitieren und welcher konkrete Nutzen ergibt sich für Unternehmen?
Prof. Dr.-Ing. Marco Huber: Angelehnt an die Norm ISO 19011 lassen sich drei Arten der Qualifizierung unterscheiden: Qualifizierung (1) durch die Organisation selbst, was einer Selbstauskunft entspricht, (2) durch einen Kunden, Lieferanten oder Partner oder (3) durch eine unabhängige dritte Stelle, z.B. Zertifizierung. Daraus ergeben sich drei potentielle Nutzerkreise für die Forschungsergebnisse:
- Dienstleister für (ML-basierte) Qualitätsprüfung und -management
- Produzierende Unternehmen
- Dienstleister für Konformitätsprüfungen und Auditierungen
Die Dienstleister können die Forschungsergebnisse für eine systematische und vollumfängliche Prüfung der Konformität eines entwickelten ML-Systems nutzen. Dies kann sowohl kontinuierlich im Entwicklungsprozess der Lösung als auch vor der Auslieferung an Kunden erfolgen. Produzierende Unternehmen erwarten ein Werkzeug, um fremdbezogene ML-Systeme zu qualifizieren, um so sicherstellen zu können, dass die gestellten Anforderungen an das System prüfbar erfüllt sind. Dienstleister für Konformitätsprüfungen und Auditierungen erhalten mit den Forschungsergebnissen ein Werkzeug, mit welchem sie ihre originären Prüfaufgaben auch auf ML-Systeme ausweiten können.
Wie sieht das weitere Vorgehen aus?
Prof. Dr.-Ing. Marco Huber: Zur Evaluierung der Projektergebnisse haben wir einen ersten Anwendungsfall im Bereich der kamerabasierten Defekterkennung von Lochscheiben definiert. Die Besonderheit bei diesem Anwendungsfall ist, dass neben echten Kamerabildern auch synthetische Bilder mit Defekten erzeugt werden können. Dies erlaubt es, unterschiedliche Schweregrade der Prüfaufgabe zu betrachten, um die Eignung von ML-Systemen bewerten zu können.
Die nächsten Schritte sehen vor, dass die unterschiedlichen allgemeinen Anforderungen und Kriterien an ML-Systeme in der Qualitätsprüfung bestimmt werden. Dies mündet dann in ein Konzept zur systematischen Ermittlung konkreter Anforderungen und Kriterien für spezifische Prüfsysteme. Zudem werden wir wird einen weiteren industrienahen Anwendungsfall zusammen mit einigen der beteiligen Unternehmen ausarbeiten.
Stimmen aus dem Projektbegleitenden Ausschuss:
Christian Els, CEO und Co-Founder, sentin GmbH
In zahlreichen Projekten haben wir festgestellt, dass eine standardisierte Qualifizierung von KI-Systemen dringend benötigt wird. Die Teilnahme am Forschungsprojekt verspricht eine Reihe von Vorteilen für unser Unternehmen: Die Erkenntnisse können dazu beitragen, die Zuverlässigkeit und Transparenz unserer Lösungen zu steigern, was zu schnelleren Implementierungsprojekten bei unseren Kunden führen wird. Auch die Übertragung der Standards auf andere Bereiche der industriellen Anwendung von KI ist denkbar, um die Implementierung der Technologie zu fördern. Durch unsere Beteiligung können wir dazu beitragen, die Industrieakzeptanz für KI insgesamt zu steigern, indem transparente und standardisierte Verfahren etabliert werden. Dies hilft, das Vertrauen in KI-Lösungen zu stärken und Innovationen in der Branche voranzutreiben.
Lesen Sie hierzu auch das DGQ-Interview mit Christian Els: QM und Künstliche Intelligenz – Wie lassen sich KI-Systeme qualifizieren? »
Lutz Krämer, Mitglied der Geschäftsleitung & Bereichsleiter Product & Communication – CPO, Babtec Informationssysteme GmbH
KI und deren Anwendung in Unternehmen wird immer präsenter. Als Softwareanbieter befassen wir uns intensiv mit dem Thema und möchten konkrete Anwendungsfälle bei unseren Kunden kennenlernen. Im Rahmen unserer Projektbeteiligung möchten wir Expertenwissen rund um das Thema Qualität zur Verfügung stellen und die Anforderungen, die sich beispielsweise aus Qualitätsnormen ergeben, in das Projekt tragen. Wir sind in der Lage, den Blickwinkel von produzierenden KMU einzunehmen – in Bezug auf Anwendbarkeit und Nutzen beim potenziellen Einsatz von KI in der Fertigung und Rückspiegelung des Marktes. Dabei identifizieren wir eine Problemstellung in der Praxis, genauer bei der Validierung der Systeme, die für Qualitätsprüfaufgaben eingesetzt werden. Wie wird sichergestellt, dass eine KI – die sich selbst weiterentwickelt und lernt – auch zuverlässig funktioniert und der Mensch sich darauf verlassen kann? Einen dokumentierten Nachweis der Fähigkeiten sehen wir als äußerst wichtig an.
Michael Beising, Geschäftsführer, EVT Eye Vision Technology GmbH
KI spielt eine immer größere Rolle in der optischen Qualitätssicherung. Die Entwicklung in diesem Bereich verläuft sehr schnell und es ist zunehmend wichtig, diese Verfahren auch nachvollziehbar zu qualifizieren und damit berechenbar zu machen. Die Idee, passende Vorgehensweisen zu erarbeiten, die vorhandene KI überprüfbar machen, aber auch eine Überführung in neue Systeme ermöglichen, ist sicher die Basis, um KI nachhaltig in der Industrie einzusetzen. Die Beteiligung am Forschungsprojekt ermöglicht uns, die Forschungsarbeiten aus der Praxisperspektive zu steuern und die entwickelten Ideen frühzeitig in die Entwicklung einfließen zu lassen, um so unsere KI-Systeme zukunftssicher und nachvollziehbar zu machen.
Über den Interviewpartner:
Prof. Dr.-Ing. Marco Huber, Institut für Industrielle Fertigung und Fabrikbetrieb IFF, Universität Stuttgart und Leiter der Abteilung Bild- und Signalverarbeitung sowie Leiter der Abteilung Cyber Cognitive Intelligence (CCI) am Fraunhofer IPA, Stuttgart
Über das Forschungsprojekt: Kontakt: Über die FQS: Vorstellung der FQS Forschungsgemeinschaft Qualität e.V.
Das IGF-Vorhaben 22929 BG der FQS – Forschungsgemeinschaft Qualität e. V., August-Schanz-Straße 21A, 60433 Frankfurt am Main wird über die AiF im Rahmen des Programms zur Förderung der Industriellen Gemeinschaftsforschung (IGF) durch das Bundesministerium für Wirtschaft und Klimaschutz (BMWK) aufgrund eines Beschlusses des Deutschen Bundestages gefördert.
marco.huber@ipa.fraunhofer.de
Die FQS – Forschungsgemeinschaft Qualität e. V. (FQS) unterstützt seit 1989 die anwendungsorientierte Forschung rund um das Thema Qualität in Deutschland. Sie versteht sich selbst als Forschungsbereich der Deutschen Gesellschaft für Qualität e. V. (DGQ) und wird von ihr getragen. Die FQS fördert innovative Forschungsideen über das Instrument der Industriellen Gemeinschaftsforschung (IGF) und des Forschungsnetzwerks CORNET des Bundesministeriums für Wirtschaft und Klimaschutz (BMWK). Ziele der Förderung sind möglichst anwendungsnahe Forschungsideen, die einen unmittelbaren Nutzen für die Wirtschaft, insbesondere für kleine und mittelständische Unternehmen (KMU), erbringen.
Wer ist die FQS Forschungsgemeinschaft Qualität e.V. und was tut sie? Lernen Sie im Video den Forschungsbereich der DGQ kennen und erfahren Sie von Dr. Christian Kellermann-Langhagen, wissenschaftlicher Geschäftsführer der FQS, wie die FQS arbeitet, welche Themen beforscht werden und wie sich Unternehmen in der FQS beteiligen und von den eingesetzten Förderprogrammen profitieren können.
