3D-Bildverarbeitung

Ausgangssituation

Für die autonome Ausführung von Handhabungsaufgaben in veränderlichen Alltagsumgebungen muss ein Serviceroboter in der Lage sein, Objekte zu erkennen und deren genaue Lage in 6D (Position und Orientierung) zu berechnen. Sollen mobile Serviceroboter Manipulations- und Navigationsaufgaben nicht nur in bekannten, sondern auch in unbekannten und veränderlichen Umgebungen vollständig autonom ausführen, ist eine dreidimensionale Erfassung der Umgebung eines Roboters unabdingbar. Dabei sollen sowohl statische als auch dynamische Objekte im Umfeld des Roboters systematisch und effizient erfasst werden.


Kompetenzen und Projektbeispiele

Das Fraunhofer IPA hat eine vielseitige und flexibel einsetzbare Softwarebibliothek zur automatischen Generierung von 3D-Umgebungskarten, zum Einlernen und Erkennen von Alltagsgegenständen sowie für Identifizierung, Lokalisierung und Tracking von Personen entwickelt. Neben grundlegenden Funktionen für die Vorverarbeitung/Filterung und Fusion von Sensordaten sind darin folgende Methoden enthalten:

Verfahren zur Rekonstruktion einer dreidimensionalen Umgebung:

  • Filterung und Fusion von Sensordaten
  • Registrierung von Punktewolken und CAD-Modellen
  • Merkmalsextraktion aus Farb- und Tiefendaten
  • Segmentierung und Rekonstruktion von Oberflächen
  • Kontextextraktion

Verfahren zur automatischen Erstellung und Wiedererkennung von Objektmodellen:

  • Filterung und Fusion von Sensordaten 
  • Berechnung stabiler 6D-Merkmalspunkte auf Basis von Textur oder Oberfläche des Objekts
  • Fusion mehrerer Objektansichten in ein Objektmodell
  • Zuverlässige Erkennung beliebiger modellierter Objekte

Verfahren zur Klassenerkennung von zuvor ungesehenen Objekten:

  • Filterung und Fusion von Sensordaten
  • 3D- und 2D-Segmentierung
  • Berechnung von Merkmalen und Attributen (z. B. Farbe oder Form)
  • Klassenbestimmung einzelner Segmente (= simple Objekte)
  • Klassenbestimmung von Segmentgruppen (= zusammengesetzte Objekte)


Leistungsangebot

Als Ihr erfahrener Partner unterstützt Sie das Fraunhofer IPA in allen Entwicklungsphasen Ihrer individuellen Softwarekomponenten zur 3D-Wahrnehmung

  • Systemkonzeption und Auswahl geeigneter Sensoren und Bildverarbeitungsverfahren
  • Anpassungen oder Neuentwicklungen existierender Algorithmen für Ihren spezifischen Anwendungsfall
  • Integration der Verfahren in bestehende Systeme und Anwendungen

 

COGNIRON – The Cognitive Robot Companion

Im Projekt COGNIRON wurden notwendige kognitive Funktionen eines Robotergefährten oder »Robot Companion« identifiziert, erforscht und entwickelt.

 

ECHORD HERMES: Automatisierte Schuhverpackung

HERMES hatte zum Ziel, ein Robotersystem zum Verpacken von Schuhen zu entwickeln, das ähnlich flexibel und geschickt wie ein Mensch ist.

 

ECHORD-InterAID: Interactive Mobile Manipulators for Advanced Industrial Diagnostics

In diesem Projekt wurde ein mobiler Roboter für Mess- und Kontrollaufgaben im industriellen Umfeld entwickelt.

 

Objektklassifikation zur flexiblen Manipulation

Im Rahmen dieses Projekts wurde ein neues Verfahren zur Klassifizierung von Objekten entwickelt, das auf der Kombination von 3D-Formen mit 2D-Erscheinungsinformationen basiert.

 

R3-COP: Resilient Reasoning Robotic Co-operative Systems

Das Projekt zielte darauf ab, mithilfe einer integrativen Plattform Technologien und Methoden für das Design, die Entwicklung und Validierung verschiedener Robotersysteme zur Verfügung zu stellen.

 

SECURE – Safety Enables Cooperation in Uncertain Robotic Environments

In SECURE arbeiten Partner aus Wissenschaft und Industrie daran, die Sicherheit von Assistenzrobotern weiter zu verbessern. Am Fraunhofer IPA werden mit Care-O-bot 4 die 3D-Umgebungserfassung sowie ein Bewegungsplaner weiterentwickelt, damit Roboter sicher und kollisionsfrei agieren können.

 

SRS: Häusliche Unterstützung mittels teilautonomer Serviceroboter

Ziel des SRS-Projekts ist die Entwicklung und Erprobung eines teleoperierten, teilautonomen Serviceroboters, der in der Lage ist, ältere Personen im häuslichen Umfeld zu unterstützen.

 

Vislok: Visuelle Lokalisierung von Kleinrobotern

Ziel dieses Forschungsprojektes war es, ein Verfahren zur visuellen Lokalisierung von Robotern auf Basis von Low-Cost Farbkameras zu entwickeln. Damit kann eine systematische Navigation kostengünstig realisiert werden.

 

BakeR – Baukastensystem für kosteneffiziente, modulare Reinigungsroboter

Im Projekt »Baker« werden Serviceroboter-Technologien für Reinigungsroboter weiterentwickelt, um einen Beitrag zu deren Marktreife zu leisten.

Care-O-bot 3: Lernfähige Objekterkennung

Aggregation of a geometric map with Care-O-bot

Aggregation of a geometric map with Care-O-bot in simulation

Segmentation and surface classification of point clouds

Person Recognition for Service Robotics Applications

Multi-User Identification and Tracking