3D-Bildverarbeitung

© Fraunhofer IPA

Ausgangssituation

Für die autonome Ausführung von Handhabungsaufgaben in veränderlichen Alltagsumgebungen muss ein Serviceroboter in der Lage sein, Objekte zu erkennen und deren genaue Lage in 6D (Position und Orientierung) zu berechnen. Sollen mobile Serviceroboter Manipulations- und Navigationsaufgaben nicht nur in bekannten, sondern auch in unbekannten und veränderlichen Umgebungen vollständig autonom ausführen, ist eine dreidimensionale Erfassung der Umgebung eines Roboters unabdingbar. Dabei sollen sowohl statische als auch dynamische Objekte im Umfeld des Roboters systematisch und effizient erfasst werden.


Kompetenzen und Projektbeispiele

Das Fraunhofer IPA hat eine vielseitige und flexibel einsetzbare Softwarebibliothek zur automatischen Generierung von 3D-Umgebungskarten, zum Einlernen und Erkennen von Alltagsgegenständen sowie für Identifizierung, Lokalisierung und Tracking von Personen entwickelt. Neben grundlegenden Funktionen für die Vorverarbeitung/Filterung und Fusion von Sensordaten sind darin folgende Methoden enthalten:

Verfahren zur Rekonstruktion einer dreidimensionalen Umgebung:

  • Filterung und Fusion von Sensordaten
  • Registrierung von Punktewolken und CAD-Modellen
  • Merkmalsextraktion aus Farb- und Tiefendaten
  • Segmentierung und Rekonstruktion von Oberflächen
  • Kontextextraktion

Verfahren zur automatischen Erstellung und Wiedererkennung von Objektmodellen:

  • Filterung und Fusion von Sensordaten 
  • Berechnung stabiler 6D-Merkmalspunkte auf Basis von Textur oder Oberfläche des Objekts
  • Fusion mehrerer Objektansichten in ein Objektmodell
  • Zuverlässige Erkennung beliebiger modellierter Objekte

Verfahren zur Klassenerkennung von zuvor ungesehenen Objekten:

  • Filterung und Fusion von Sensordaten
  • 3D- und 2D-Segmentierung
  • Berechnung von Merkmalen und Attributen (z. B. Farbe oder Form)
  • Klassenbestimmung einzelner Segmente (= simple Objekte)
  • Klassenbestimmung von Segmentgruppen (= zusammengesetzte Objekte)


Leistungsangebot

Als Ihr erfahrener Partner unterstützt Sie das Fraunhofer IPA in allen Entwicklungsphasen Ihrer individuellen Softwarekomponenten zur 3D-Wahrnehmung

  • Systemkonzeption und Auswahl geeigneter Sensoren und Bildverarbeitungsverfahren
  • Anpassungen oder Neuentwicklungen existierender Algorithmen für Ihren spezifischen Anwendungsfall
  • Integration der Verfahren in bestehende Systeme und Anwendungen

 

Luka-Beverage – ein KI-basierter mobiler Handhabungsassistent für die Getränkelogistik

»Luka-Beverage« ist ein Serviceroboter, der bei der Handhabung von Getränkeflaschen und -kisten im Handel und bei Getränkeherstellern unterstützt.

 

»Sortier mit mir!« - Ein interaktiver, selbstlernender Handhabungsroboter

Mithilfe eines interaktiven Spiels stellt ein am Fraunhofer IPA entwickelter Demonstrator neue KI-Technologien rund um das Sortieren von Gegenständen dar.

 

Knowledge4Retail: Künstliche Intelligenz für den Einzelhandel

»Knowledge4Retail« entwickelt eine Plattform, um KI-basierte Anwendungen sowie digitale Lösungen im Online- wie Offlinehandel zu etablieren.

 

 

RoPHa: Robuste Perzeption für die interaktive Unterstützung älterer Nutzer bei Handhabungsaufgaben im häuslichen Umfeld

 

BakeR – Baukastensystem für kosteneffiziente, modulare Reinigungsroboter

Im Projekt »Baker« werden Serviceroboter-Technologien für Reinigungsroboter weiterentwickelt, um einen Beitrag zu deren Marktreife zu leisten.

 

SOCRATES - Social Cognitive Robotics in the European Society

Im Rahmen des SOCRATES-Projekts entwickelte das Fraunhofer IPA Schlüsseltechnologien für soziale Serviceroboter.

 

SECURE – Safety Enables Cooperation in Uncertain Robotic Environments

In SECURE arbeiten Partner aus Wissenschaft und Industrie daran, die Sicherheit von Assistenzrobotern weiter zu verbessern. Am Fraunhofer IPA werden mit Care-O-bot 4 die 3D-Umgebungserfassung sowie ein Bewegungsplaner weiterentwickelt, damit Roboter sicher und kollisionsfrei agieren können.

 

Objektklassifikation zur flexiblen Manipulation

Im Rahmen dieses Projekts wurde ein neues Verfahren zur Klassifizierung von Objekten entwickelt, das auf der Kombination von 3D-Formen mit 2D-Erscheinungsinformationen basiert.

 

R3-COP: Resilient Reasoning Robotic Co-operative Systems

Das Projekt zielte darauf ab, mithilfe einer integrativen Plattform Technologien und Methoden für das Design, die Entwicklung und Validierung verschiedener Robotersysteme zur Verfügung zu stellen.

 

ECHORD HERMES: Automatisierte Schuhverpackung

HERMES hatte zum Ziel, ein Robotersystem zum Verpacken von Schuhen zu entwickeln, das ähnlich flexibel und geschickt wie ein Mensch ist.

 

ECHORD-InterAID: Interactive Mobile Manipulators for Advanced Industrial Diagnostics

In diesem Projekt wurde ein mobiler Roboter für Mess- und Kontrollaufgaben im industriellen Umfeld entwickelt.

 

Vislok: Visuelle Lokalisierung von Kleinrobotern

Ziel dieses Forschungsprojektes war es, ein Verfahren zur visuellen Lokalisierung von Robotern auf Basis von Low-Cost Farbkameras zu entwickeln. Damit kann eine systematische Navigation kostengünstig realisiert werden.

 

SRS: Häusliche Unterstützung mittels teilautonomer Serviceroboter

Ziel des SRS-Projekts ist die Entwicklung und Erprobung eines teleoperierten, teilautonomen Serviceroboters, der in der Lage ist, ältere Personen im häuslichen Umfeld zu unterstützen.

 

COGNIRON – The Cognitive Robot Companion

Im Projekt COGNIRON wurden notwendige kognitive Funktionen eines Robotergefährten oder »Robot Companion« identifiziert, erforscht und entwickelt.

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Care-O-bot 4 unterstützt Pflegepersonal im Seniorenzentrum beim Austausch von Getränkeflaschen

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

Intelligente Scanstation zur Aufnahme und Analyse dreidimensionaler Objektmodelle

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

The SOCRATES project: How do robots help humans?

Kommissionierroboter für den Einzelhandel und Warenlager

Care-O-bot 3: Lernfähige Objekterkennung

Aggregation of a geometric map with Care-O-bot

Aggregation of a geometric map with Care-O-bot in simulation

Segmentation and surface classification of point clouds

Person Recognition for Service Robotics Applications

Multi-User Identification and Tracking