Menü

KI-basierte Bildverarbeitung in der Qualitätssicherung

Künstliche Intelligenz (KI) hat in den vergangenen Jahren insbesondere in der Bildverarbeitung ihr hohes Potenzial gezeigt. Allgemein bekannt sind hier vor allem Klassifizierungsaufgaben, wie beispielsweise die Unterscheidung zwischen Hunde- und Katzenbildern [Golle 2008]. Im industriellen Umfeld findet man Klassifizierungsaufgaben insbesondere in der Qualitätssicherung (QS). Die in der Bildverarbeitung eingesetzten KI-Methoden sind vor allem aus dem Bereich des maschinellen Lernens (ML) und können den überwachten Lernverfahren zugeordnet werden. Unüberwachte Lernverfahren spielen hier eine eher untergeordnete Rolle.

ML für Klassifizierungsaufgaben in der Sichtprüfung

In der Qualitätskontrolle finden nach wie vor viele rein manuelle Sichtprüfungen statt, um die zu prüfenden Objekte in i.O. (in Ordnung) und n.i.O. (nicht in Ordnung) einzuteilen. Bei einem Großteil dieser Aufgaben bietet sich die Verwendung von überwachten maschinellen Lernverfahren zur Automatisierung der Prüfung an, da manuelle Prüfprozesse von der Tagesform des Personals abhängen und dadurch oft fehleranfällig und nicht objektiv sind. Zunächst muss ausreichend Bildmaterial aufgenommen und annotiert werden. Unter Annotation versteht man hierbei das Hinzufügen eines Labels zu einem Bild. In dem hier beschriebenen Fall kennzeichnet also ein QS-Mitarbeiter ein Bild des zu prüfenden Objekts als i.O. oder n.i.O. Die annotierten Daten werden anschließend in Trainingsdaten, Validierungsdaten und Testdaten aufgeteilt. Die Trainingsdaten werden für die Lernphase der tiefen neuronalen Netze genutzt, die Validierungsdaten dienen dazu, das Netz bereits während der Trainingsphase zu optimieren. Mithilfe der Testdaten wird anschließend die Leistungsfähigkeit und Güte des trainierten Netzes ermittelt und z.B. anhand der richtigen (True Positive) bzw. nicht richtigen (False Positive) Klassenzuordnung bewertet.

ML für Segmentierungsaufgaben

Neben der Klassifizierung ist in der Qualitätssicherung mit Bildverarbeitung die Segmentierung ein weiteres wichtiges Aufgabenfeld. Oft ist es nicht nur relevant, ein n.i.O. Bauteil zu erkennen, sondern es ist auch wichtig, den entsprechenden Fehlstellenbereich zu segmentieren. Je nach Bildaufnahmeverfahren ermöglicht die Segmentierung auch, die Größe des Defekts zu bestimmen. Oft kann erst auf dieser Basis die eigentliche Einteilung in i.O. und n.i.O. stattfinden.

Maschinelle Lernverfahren sind auch für diese Segmentierungsaufgaben auf dem Vormarsch. Insbesondere, wenn klassische schwellwertbasierte Bildverarbeitungsverfahren versagen, bietet sich die Nutzung von ML-Methoden an. Klassische, regelbasierte Verfahren benötigen oft möglichst ähnliche Aufnahmeszenarien. Starke Umgebungseinflüsse bei der Bildaufnahme (zum Beispiel unterschiedliche Lichtverhältnisse) können das Verfahren instabil machen. ML-basierte Verfahren hingegen können solche Schwankungen besser abbilden und ausgleichen. Voraussetzung hierfür ist aber, dass diese Varianz auch in den Trainingsdaten vorhanden ist.

In vielen Fällen ist die Segmentierung auch ein notwendiger Vorverarbeitungsschritt, um die eigentliche Defekterkennung zu ermöglichen oder zu vereinfachen. Ein Beispiel hierfür ist in Abbildung 1 zu sehen. Durch ein CNN (Convolutional Neural Network) wird das relevante Infrastrukturelement von seiner Umgebung segmentiert. Anschließend kann der segmentierte Bildbereich zielgerichtet automatisch auf Schäden untersucht werden, wobei ebenfalls ML-Verfahren eingesetzt werden können.

Abbildung 1: Segmentierung von Gebäudeinfrastrukturelementen (in Zusammenarbeit mit BASF SE). Quelle: Fraunhofer IPA und BASF SE.

ML für die Erkennung von Beschädigungen an Bauteilen oder ganzen Fahrzeugen

Ein Use Case aus dem Automobilzulieferbereich ist die Schadenserkennung bei flexiblen metallischen Bauteilen. Typische Fehler hierbei sind Aufplatzer der Schweißnaht. Die Fehlerbilder zeichnen sich durch eine hohe Varianz aus und sind somit nur schwer analytisch zu bewerten. Durch den Einsatz eines CNN-Modells können trotz dieser Schwankungen Bildbereiche mit einem Fehler klassifiziert werden. Für den Einsatz von ML-Verfahren ist nach wie vor eine umfassende Aufnahme der rotationssymmetrischen Bauteile notwendig, um eine qualitativ hochwertige Datenerzeugung sicherzustellen. Deshalb wurde die Datenaufnahme mittels einer Zeilenkamera und Rotationseinheit durchgeführt. Eine genauere Beschreibung des umgesetzten Projekts findet sich bei [Frommknecht 2020].

Die automatische Erkennung und Klassifizierung von Beschädigungen ist nicht nur für einzelne Bauteile, sondern auch für komplette Fahrzeuge relevant. An dieser Anwendung haben insbesondere Mietwagenfirmen, Flottenmanagement, Werkstätten oder Versicherungen ein großes Interesse. Mithilfe von hochauflösenden Farbkameras werden in einem Fahrzeugscanner bei der Durchfahrt des Fahrzeugs Bilder aus verschiedenen Ansichten aufgenommen und auf diese Weise das gesamte Fahrzeug erfasst. Der Einsatz von klassischen Bildverarbeitungsverfahren wäre für diesen Anwendungsfall mit extremem Aufwand verbunden und nur sehr schwierig an die unterschiedlichen Umgebungsbedingungen, Fahrzeugvarianten und diversen Fehlerausprägungen anpassbar.

Im Gegensatz dazu können sich KI-basierte Verfahren leichter auf variierende Fehlstellen und Lichtverhältnisse einstellen und eröffnen damit für diese Anwendung eine flexiblere und kostengünstigere Automatisierungslösung. Die Fahrzeugbilder werden mithilfe von mehreren, nacheinander ausgeführten CNN-Modellen ausgewertet, die mit annotierten Bildern aus den unterschiedlichen Schadenskategorien, wie zum Beispiel Kratzer, Delle oder Verformung, trainiert wurden. Zunächst wird das Fahrzeug im Bild segmentiert, dann die Fehlstellen erkannt und im letzten Schritt die segmentierten Schadensbereiche den einzelnen Fehlerklassen zugeordnet.

Abbildung 2: segmentiertes Fahrzeug (links), erkannte Beschädigungen (rechts). Quelle: TwoTronic GmbH und Fraunhofer IPA.

Eine besondere Herausforderung an die Erkennungsfähigkeiten der tiefen neuronalen Netze stellt die meist geringe Größe der Beschädigung im Vergleich zum Gesamtbild dar. Durch eine intelligente Vorverarbeitung der Bilddaten ist es gelungen, die Modelle immer besser an die Erkennung auch dieser kleinen Defekte anzupassen.

ML für die Qualitätsbeurteilung der Bearbeitung

Mit ML können aber nicht nur Schäden erkannt werden. Auch die Qualität von Bearbeitungsergebnissen lässt sich bewerten. Ein Beispiel hierfür sind thermisch geschnittene Kanten, die hinsichtlich Rauheit und Gratbildung bewertet werden müssen. Eigentlich sind hierfür 3D-Messverfahren notwendig. Aktuell wird untersucht, inwieweit mittels reiner 2D-Aufnahmen mit geeigneter Beleuchtung diese Größen bestimmt werden können. Zunächst bewerten QS-Experten auch hier die Kanten. Diese dienen im ersten Schritt als Trainingsdaten des zugehörigen ML-Netzes. Eine Schneidkante und das Ergebnis der Trainingsphase sind in Abbildung 3 zu sehen. Zukünftig werden aufgenommene 3D-Daten die Trainingsdatenbasis erweitern.

Die Bewertung der Schneidkanten stellt aus Sicht der KI ebenfalls eine Klassifizierungsaufgabe dar. Im Gegensatz zu den eingangs erwähnten Beispielen (Einteilung Hund oder Katze bzw. i.O. und n.i.O.) handelt es sich hierbei aber nicht um eine Binärklassifizierung. Die Anzahl der Ausgangsdaten ist deutlich größer und kann nahezu kontinuierliche Werte annehmen. Zukünftig soll das Bildaufnahmesystem soweit wie möglich vereinfacht werden. Eine ausführliche Beschreibung der aktuellen Arbeiten in diesem Kontext findet sich bei [De Mitri 2019].

Abbildung 3: Thermische geschnittene Kante (links), Ergebnis der Trainingsphase (rechts). Quelle: Fraunhofer IPA.

KI für die Bestkombination von Bauteilen beim Laserschweißen

Die bisher vorgestellten Anwendungen von KI basieren auf 2D-Kamerabildern. Jedoch lassen sich KI-Verfahren auch für die Qualitätssicherung auf Basis von 3D-Messdaten einsetzen. Beim Laserschweißen von Kunststoffteilen pflanzen sich die geometrischen Abweichungen der Einzelteile fort, wodurch die Qualität des geschweißten Bauteils vor allem im Bereich der Schweißnaht leidet. Eine geeignete Kombination der zu schweißenden Einzelteile kann die geometrischen Fehler im Zusammenbau jedoch kompensieren. Basierend auf 3D-Scandaten der einzelnen Kunststoffteile, die zum Beispiel mit einem Computertomographiesystem oder einem Laserliniensensor aufgenommen werden, wird zunächst durch virtuellen Zusammenbau der gefügte Zustand simuliert [Kaufmann 2020] und die geometrischen Merkmale, die für die Bauteilselektion zugrunde gelegt werden, abgeleitet. Um geeignete Bauteilkombinationen zu bestimmen, kommen dann KI-Verfahren zum Einsatz, in diesem Fall genetische Algorithmen zur globalen Optimierung. Am Beispiel von Spritzwasserdüsen konnte gezeigt werden, dass durch KI-basierte Bestkombination von Gehäusen und Deckeln die Qualität des Zusammenbaus im Bereich der Schweißnaht erheblich gesteigert und somit Ausschuss reduziert beziehungsweise vermieden werden kann.

Abbildung 4: Farbcodierte Abweichungen im Schweißnahtbereich. Quelle: Fraunhofer IPA.

Fazit und Ausblick

KI-basierte Bildverarbeitung ist mittlerweile zu einem zentralen Bestandteil für zahlreiche Qualitätssicherungsaufgaben geworden. Die wesentliche Herausforderung besteht jedoch nach wie vor darin, qualitativ hochwertige Lerndaten zu erzeugen und bereitzustellen. Das ist noch immer mit erheblichem, manuellem Aufwand verbunden. In Zukunft könnten synthetische Daten in diesem Zusammenhang eine immer größere Rolle spielen und beispielsweise unter Verwendung von GAN-Architekturen erzeugt werden [Goodfellow 2014]. Allerdings steht die sensorrealistische Erzeugung synthetischer Bilddaten, die für den Einsatz in der Bildverarbeitung geeignet sind, noch in den Anfängen. Die Entwicklung in den nächsten Jahren wird zeigen, ob diese Ansätze das Datenproblem lösen können. Trotz des enormen Erfolgs KI-basierter Ansätze sollten regelbasierte Verfahren nach wie vor nicht außer Acht gelassen werden. Je nach Aufgabenstellung sind diese Verfahren der KI hinsichtlich Auswertezeit, Nachvollziehbarkeit und Parametrierung überlegen [Braun 2020, Mahony 2019]. Erfolgversprechend ist sicherlich auch die Kombination von analytischer und KI-basierter Bildverarbeitung und sollte daher für komplexe Aufgabenstellungen in der Qualitätssicherung ebenfalls in Erwägung gezogen werden.

 

[Golle 2008] Golle, Philippe (2008): Machine learning attacks against the Asirra CAPTCHA, Proceedings of the 15th ACM conference on Computer and communications security 2008, Alexandria, Virgina, USA

[Frommknecht 2020] Frommknecht, Andreas; Wöltje, Kay (2020): Mit KI schlau prüfen und verpacken; Künstliche Intelligenz optimiert End-of-Line-Qualitätssicherung. Automationspraxis. – Leinfelden-Echterdingen: Konradin Verlag R. Kohlhammer. ISSN: 1863-401X

[De Mitri 2019] De Mitri, Omar; Stahl, Janek; Jauch, Christian; Distante, Cosimo (2019): Image acquisition, evaluation and segmentation of thermal cutting edges using a mobile device. Proceedings of the SPIE Optical Metrology Conference 2019, München

[Kaufmann 2020] Kaufmann, Manuel; Effenberger, Ira; Huber, Marco (2020): Computed Tomography enabling Virtual Assembly. In: The Web’s Largest Open Access Database of Nondestructive Testing (NDT). – Kirchwald: NDT.net. ISSN: 1435-4934 – (2020), 10 S.

[2014 Goodfellow] Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Ferley, David; Ozair, Sherjil et al. (2014): Generative Adversarial Nets. Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014), Montréal, Canada.

[Braun 2020] Braun, Alexander; Frommknecht, Andreas; Glitzner, Markus; Hasna, Günther; Heinzmann, Michael; Hüttel, Markus et al. (2020): Maschinelles Lernen in KMU. Künstliche Intelligenz im eigenen Unternehmen nutzen. VDI-Statusreport. Hg. v. VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik. Online verfügbar unter https://www.vdi.de/ueber-uns/presse/publikationen/details/maschinelles-lernen-in-kmu, zuletzt aktualisiert am 16.11.2020.

[Mahony 2019] Mahony, NiallO‘; Campbell, Sean; Carvalho, Anderson; Harapanahalli, Suman; Hernandez, Gustavo Velasco; Krpalkova, Lenka et al. (2019): Deep Learning vs. Traditional Computer Vision. Computer Vision Conference (CVC) 2019, Las Vegas, Nevada, USA.


Über die Autoren

Andreas Frommknecht hat nach Abschluss des Studiums seine Tätigkeit beim Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA am Standort Stuttgart in der Abteilung Bild- und Signalverarbeitung aufgenommen. Hier hat sich Herr Frommknecht zunächst intensiv mit der 3D-Datenverarbeitung beschäftigt. Mittlerweile leitet er die Gruppe Optische Mess- und Prüfsysteme.

Frau Dr.-Ing. Ira Effenberger leitet am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA die Arbeitsgruppe 3D-Datenverarbeitung in der Abteilung Bild- und Signalverarbeitung. Im Fokus der Forschungsarbeiten stehen hier sowohl intelligente Auswerteverfahren für die Qualitätskontrolle als auch 3D-Objekterkennungslösungen für die Automatisierung. Weiterhin ist Frau Dr. Effenberger als stellvertretende Leiterin des Zentrums für Cyber Cognitive Intelligence CCI am Fraunhofer IPA tätig.