Beschreibung von Arbeitsinhalt und -aufwand der Arbeitsschritte
- Konzeptionierung und Implementierung: Für die Entwicklung einer AR-Streaming-Lösung sind vier Komponenten notwendig: a) Methoden zur Darstellung von digitalen 3D-Objekten (Rendering), b) Pose-Tracking-Verfahren, c) Interaktionsmöglichkeiten und d) eine Server-Client-Kommunikation. Zu Beginn wird eine Literaturrecherche durchgeführt, um geeignete Methoden zu ermitteln. Anschließend wird konzeptionell erarbeitet, wie mithilfe der einzelnen Verfahren das AR-Streaming realisiert werden kann. Auf Basis des Konzeptes werden die einzelnen Komponenten implementiert und zu einer Gesamtlösung umgesetzt.
a
Methoden für Rendering virtueller Objekte
Damit die virtuellen Objekte in AR visualisiert werden können, müssen diese vom System verarbeitet werden. Im ersten Schritt wird eine Schnittstelle zum Einlesen von 3D-Modellen realisiert. Mithilfe eines Parsers werden die Modelldaten erfasst und in das System übertragen. Für das Rendering werden die Rohdaten der 3D-Modelle anschließend aufbereitet. Dazu gehören beispielsweise eine Triangulation der Daten und eine Überführung in eine effiziente Datenstruktur (z.B. Octree). Zum Rendering der 3D-Daten wird eine virtuelle Umgebung mit einer virtuellen Kamera für die AR erzeugt.
b
Pose-Tracking-Verfahren
Für die genaue lagerichtige Einblendung von virtuellen 3D-Modellen in der Realität wird die Indoor-Positionierung (AP 2) um ein visuelles Pose-Tracking-Verfahren (Natural Feature Tracking) zur hochgenauen Echtzeitbestimmung der Position und Rotation (Pose) des AR-Systems erweitert. Die Grob-Pose aus AP 2 dient dabei als Grundlage zur Ermittlung der Fein-Pose. Zu berücksichtigen sind u.a. verschiedene Koordinatensysteme und Aktualisierungsraten zur Zusammenführung der Grob- und Fein-Pose. Die Fein-Pose wird abschließend zur Synchronisation der virtuellen mit der realen Welt verwendet.
c
Interaktionsmöglichkeiten
Für die Interaktion mit der AR-Umgebung werden Eingabemethoden entworfen und implementiert, um beispielsweise Informationen der virtuellen Objekte in AR abzurufen und bereitzustellen. Hierzu sollen verschiedene Gestiken (Antippen, Wischen, etc.) vom Smartphonebildschirm erfasst und verarbeitet werden und auf die AR übertragen werden.
d
Schnittstelle für Server-Client-Kommunikation
Die komplexen Rendering- und Pose-Tracking-Verfahren werden auf einem Server berechnet und die Ergebnisse auf das Mobilgerät übertragen. Für das Rendering werden Methoden zum Senden von Renderdaten sowie Objektinformationen auf dem Server und Methoden zum Empfangen auf dem Client implementiert. Für das Pose-Tracking werden Methoden zum Senden von Rohdaten (z.B. Sensordaten, Kamerabilder) auf dem Client und Empfangen auf dem Server sowie Methoden zum Senden von Ergebnisdaten (Pose-Informationen) auf dem Server und Empfangen auf Client implementiert. - Labortests und empirische Evaluierung der Ergebnisse (Meilenstein 1)
Mittels erster Untersuchungen werden die umgesetzten Komponenten und die Gesamtlösung anhand von Labortests evaluiert, um Optimierungspotential zu identifizieren und weitere Schritte zur Leistungssteigerung zu planen. - Steigerung der Updaterate der AR-Streaming-Lösung
Es werden Lösungen zur Leistungssteigerung anhand der identifizierten Potentiale erarbeitet und umgesetzt. Unter anderem werden die Verhältnisse zwischen der visuellen Qualität und dem Rechenaufwand für das Rendering und zwischen der Genauigkeit und dem Rechenaufwand für das Pose-Tracking untersucht und optimiert. - Überprüfung der Robustheit der Streaming-Performanz im TIP (Meilenstein 2)
Abschließend wird im TIP die AR-Streaming-Lösung hinsichtlich der Robustheit und Leistung evaluiert. Dabei sollen insbesondere Stresstests mit großen 3D-Modellen durchgeführt werden, um das Leistungslimit der Lösung zu bestimmen und die Robustheit zu bestätigen.
Ergebnisse und Risiken; Meilensteine mit Abbruchkriterien
- Konzeptionierung und Implementierung
- Labortests und empirische Evaluierung der Ergebnisse (Meilenstein 1)
- Steigerung der Updaterate der AR-Streaming-Lösung
- Überprüfung der Robustheit der Streaming-Performanz im TIP (Meilenstein 2)
Meilenstein 1
Labortests und empirische Evaluierung der Ergebnisse erfolgreich abgeschlossen
Meilenstein 2
Überprüfung der Robustheit der Streaming-Performanz im TIP erfolgreich
Risiken/Folgen
Die AR-Streaming-Lösung oder einer Komponente können unzureichend (bspw. hinsichtlich des Datendurchsatzes oder aufgrund von Fehlern bei der Datenübertragung) sein, so dass die Visualisierungsqualität, die Updaterate (Geschwindigkeit), die Genauigkeit oder die Leistung für die Zwecke des Vorhabens zu gering sind. In diesem Fall müssen Wege zur Verbesserung der Streaming-Lösung (z.B. Bündelung von Kanälen) gefunden und/oder Kompromisse bei den einzelnen Komponenten gemacht werden, um ein lauffähiges, aber reduziertes Gesamtsystem zu erhalten.
