Augmented Reality Digitaler Wartungshelfer

Eine Brille aufsetzen anstatt Aktenordner voll mit Plänen und Handbüchern mit sich herumzutragen – so könnte die nicht allzu ferne Zukunft für Monteurinnen und Monteure aussehen, die für Wartungsarbeiten in Gebäuden zuständig sind. Mit Smart Glasses, also intelligenten Brillen, könnten die Anwender zum Einsatzort navigieren und sich dort Schritt für Schritt anzeigen lassen, was zu tun ist – alles mithilfe von Augmented Reality.

„Überlagert über dem realen Bild würde der Nutzer in der Brille Informationen eingeblendet bekommen, die ihm die Arbeit erleichtern“, erzählt Prof. Dr. Markus König, der den Bochumer Lehrstuhl für Informatik im Bauwesen leitet. „Er könnte sich zum Beispiel anzeigen lassen, wann ein Bauteil von wem das letzte Mal gewartet wurde und was aktuell zu erledigen ist. Die Information hätte er an Ort und Stelle, wo er sie braucht, und nicht in irgendeinem Aktenordner versteckt.“

Markus König entwickelt mit seinem Team Algorithmen, die solche Augmented-Reality-Anwendungen möglich machen sollen. Weltweit arbeiten viele Gruppen an ähnlichen Fragen, wobei der Fokus des Bochumer Teams auf der Anwendung in Gebäuden liegt. „An meinem Lehrstuhl beschäftigen wir uns vor allem mit der Positionierung im Raum“, erklärt er. „Damit die Brille die Informationen am richtigen Ort einblendet, muss sie exakt wissen, wo sie sich befindet und was sie gerade sieht.“

Markus König leitet den Lehrstuhl für Informatik im Bauwesen der RUB. © Roberto Schirdewahn

Dazu ist aktuell noch eine Kalibrierung notwendig. Sie erfolgt über mindestens zwei Punkte, die an unterschiedlichen Stellen im Raum aufgeklebt sind und auch im digitalen Modell verzeichnet sind: Betritt der Anwender den Raum, muss er die Informationen zu den Punkten zunächst ins System eingeben, damit dieses seine dreidimensionale Position im Raum berechnen kann.

Automatische Positionierung in Echtzeit

Die Algorithmen der Bochumer Forscher sollen es ermöglichen, dass die Smart Glasses künftig in Echtzeit und automatisch erkennen, wo im Raum sie sich befinden – ohne dass eine aktive Kalibrierung nötig ist, nur anhand der Bilder, die die Kameras aufzeichnen. Damit können sie nicht nur die Position der Brille in einem Zimmer bestimmen, sondern in einem gesamten Gebäude. Mit der manuellen Punkt-Kalibrierungsmethode würde das nur gehen, wenn der Anwender häufig neu kalibrieren oder sehr viele Punkte verwenden würde.

Für die automatische Kalibrierung füttern die Forscher das System mit einem digitalen Modell des Gebäudes. Ein selbst entwickelter Algorithmus vergleicht das von der Kamera aufgezeichnete Bild mit dem Modell. Dazu muss sich der Träger der Brille nur einmal im Raum umdrehen und der Brille dadurch möglichst viele Bildinformationen über seine Umgebung präsentieren. „Der Algorithmus dreht und verschiebt dann das digitale Modell so lange, bis es mit der Umgebung übereinander passt“, beschreibt Markus König. Wenn nötig geht er dabei Bildpunkt für Bildpunkt vor, wobei die Tiefeninformationen hilfreich sind, die die modernen Kameras mit aufzeichnen.

Das System so im Raum auszurichten funktioniert selbst dann, wenn Möbel und Accessoires die Umgebung ganz anders aussehen lassen, als sie im digitalen Modell verzeichnet ist. „Einrichtungsgegenstände stören eigentlich nicht. Es reicht, wenn ein paar markante Punkte sichtbar sind, die Kanten des Raums oder Fenster“, so der Forscher.

Im Neubau getestet

Wie genau der Bochumer Algorithmus bei der Positionierung bereits ist, hat das Team von Markus König im Sommer 2019 in einem neu gebauten Gebäude der Hochschule Bochum getestet, für das ein komplettes digitales 3D-Modell vorliegt. Dieses Modell und ihren Algorithmus testeten sie mit einer Tiefenbildkamera, die vergleichbare Bilder wie eine smarte Brille erzeugt. Sie prüften, wie genau der Algorithmus die Position der Kamera im Raum bestimmen konnte. Zum Vergleich führten sie außerdem die herkömmliche Positionierung mit drei an der Wand befestigten Markern durch. Schließlich vermaßen sie den Raum mit sehr präzisen Sensoren, um verlässliche Vergleichsdaten zu haben.

Die automatische Kalibrierung funktioniert derzeit auf 20 Zentimeter genau, was ausreichend genau ist, um damit zu navigieren. Für andere Anwendungen wollen die Bochumer Forscher den Algorithmus aber weiter optimieren. Das Maximum ist bei zwei Zentimetern erreicht. „So groß sind die Bautoleranzen“, erklärt König. „Das heißt, wenn eine Wand in einem digitalen Modell an Position X verzeichnet ist, darf sie in der Realität bis zu zwei Zentimeter davon abweichen.“ Solch eine Genauigkeit würde für viele Anwendungen aber vollkommen ausreichen, meint der Forscher.

Für geringe Rechenleistung optimieren

Wichtig ist der Gruppe, dass der Algorithmus automatisch und in Echtzeit funktioniert – das klappt bereits, wenn er auf einem Smartphone läuft. Smart Glasses haben aber eine geringere Rechenleistung, sodass die Anwendung noch effizienter werden soll, um auch hier reibungslos ihren Dienst zu tun.

Zu Testzwecken wird Markus Königs Team künftig den Forschungsneubau Zess der RUB begleiten, um die Algorithmen an einem neuen Objekt in Aktion testen zu können. Kleinere Tests laufen zwischendurch auch immer wieder im Gebäude IC, in dem der Lehrstuhl Informatik im Bauwesen seine Büros besitzt. Beispielsweise programmierten die Forscher eine Anwendung, die Hololens-Träger automatisch zu den zu wartenden Feuerlöschern im Gebäude IC dirigiert.

Eine zweite große Baustelle der Wissenschaftler ist es, auf Unvorhergesehenes in Gebäuden vorbereitet zu sein. „Es kann vorkommen, dass in einem Raum etwas eingebaut ist, was laut Plan dort gar nicht sein sollte“, sagt Markus König. Diese Dinge soll das System möglichst selbstständig erkennen können, also auf Basis seiner Position, Größe und Form des Objekts identifizieren können, um was es sich handelt. „Die Bildverarbeitungsalgorithmen dafür müssen wir nicht von Grund auf neu erfinden“, erzählt König. „Google besitzt gut funktionierende Algorithmen, die als Open-Source-Lösungen zur Verfügung gestellt werden und die wir für unsere Anwendungen optimieren können.“

Schritt-für-Schritt-Anleitung einbauen

Funktioniert die Positionierung im Raum und kann die intelligente Brille auch unerwartete Objekte identifizieren, fehlt nur noch eins: Das System muss die Informationen bereitstellen, die ein Monteur für die Wartung benötigt – die digitale Schritt-für-Schritt-Anleitung. „Die Brille könnte zum Beispiel markieren, welche Schrauben zuerst gelöst werden müssen, dann einblenden, dass eine Abdeckung entfernt werden muss und welches darunterliegenden Bauteil ausgewechselt werden muss“, gibt Markus König ein Beispiel. Dazu muss die Brille aber auch erkennen können, welche Schritte bereits erledigt sind – ein weiterer Fall für kluge Bildverarbeitungsprozesse.

Prinzipiell muss das System dafür Fotos aller relevanten Zustände der betreffenden Bauteile aus verschiedenen Blickwinkeln besitzen, mit denen es den Ist-Zustand vergleichen kann. „Die Hersteller könnten solche Bilder künftig direkt mitliefern“, blickt Markus König in die Zukunft. Alternativ gibt es bereits Unternehmen, die sich darauf spezialisiert haben, solches Bildmaterial zu beschaffen. „Es gibt ein Start-up, das auf ein Netzwerk von 150.000 Privatpersonen zugreifen kann, die losgeschickt werden, um bestimmte Gegenstände zu fotografieren“, erzählt der Forscher. „Wenn jemand zum Beispiel Bilder von Rauchmeldern benötigt, werden die Leute beauftragt, Rauchmelder zu fotografieren – sie werden pro eingeschicktem Foto bezahlt.“ Die Bilder verkauft das Start-up weiter.

Die Basis für eine digitale Unterstützung mittels Augmented Reality bei Wartungsarbeiten ist also bereits gelegt. „Noch sind die Smart Glasses allerdings zu teuer, als dass es sich lohnen würde, jeden Handwerker oder Bauarbeiter damit auszustatten“, sagt König. Wenn die Anwendungen aber in greifbare Nähe rücken und sich die Technik durchsetzt, könnten auch die Preise fallen – und dann stünde der Bochumer Algorithmus bereit, um in der Praxis eingesetzt zu werden.