Zusammen mit führenden Forschungsinstituten
setzen wir innovative Ideen in die Tat um.

Zusammen mit führenden Forschungsinstituten
setzen wir innovative Ideen in die Tat um.

INVIA Teamfoto

Fraunhofer-Gesellschaft

INVIA - Fernwartung durch Augmented Reality

München 4. Quartal 2018

INVIA Aufbau

Ziel des Forschungsvorhabens INVIA ist die Erforschung, Konzeption und prototypische Umsetzung eines neuartigen mobilen cloudgestützten Assistenzsystems für das Training, die Diagnose und den Service komplexer Landmaschinen. Dabei sollen folgende Use Cases betrachtet werden:

  • Die interaktive Unterstützung des Fahrers durch bild- und videogestütze Diagnose durch Spezialisten in den Niederlassungen oder in der Werkszentrale
  • Die interaktive Unterstützung des Servicetechnikers durch Experten in der Werkszentrale auf Basis von Augmented Reality (AR) Technologien und vernetzten Diagnosetools
  • Das onlinegestützte Training des Fahrers durch ausgebildete Trainer während der Erntekampagne („training on the job“)

Motivation und Stand der Technik

Da Landmaschinen in Gegenden mit sehr unterschiedlicher Mobilfunkbandabdeckung betrieben werden, besteht die Herausforderung darin, das geplante Assistenzsystem derart adaptiv zu gestalten, dass der Fahrer bzw. der Servicetechniker den größtmöglichen Nutzen daraus ziehen kann. Aktuelle Forschungsansätze aus den Bereichen Cloud Computing, Mobile Edge Computing (MEC) und Fog Computing bilden die technologische Basis für dieses Vorhaben. Eine sog. „Edge-ECU“ in der Landmaschine soll bei schlechter bzw. temporär fehlender Verbindung zur Mobilfunkbasisstation den Kern der Fog Cloud bilden, die ausserdem aus den vernetzten Komponenten der Maschine, den mobilen Consumergeräten des Fahrers bzw. Technikers und zusätzlichen vernetzten Sensoren bestehen. Damit können bereits Grunfunktionen des Assistenzsystems auch ohne Verbindung zur Servicezentrale bereitgestellt werden. Neuartige, in der „Edge-ECU“ integrierte Verfahren für den optimalen Einsatz von AR-Technologien in rauen Umgebungen, wie die Erkennung des Fahrers relativ zur Maschine, sollen die Brücke zwischen dem adaptiven Dienst und dem Fahrer bilden. Weiterhin soll untersucht werden, welche Vorteile hier eine MEC-Komponente als Teil einer Mobilfunkbasisstation anstatt oder in Ergänzung zu zentralen Cloud Diensten bietet. So zeichnen sich MEC-Komponenten aufgrund ihrer Nähe zur Maschine durch sehr geringe Latenzen aus und bieten eine hohe Rechenkapazität. Dies ermöglicht beispielsweise die Bereitstellung von AR- bzw. Videodiensten oder echtzeitnahe koordinierende Dienste zwischen mehreren Landmaschinen in der gleichen Mobilfunkzelle. Die Zusammenarbeit zwischen dem Spezialisten und dem Techniker vor Ort bzw. dem Trainer und dem Fahrer soll durch einen cloudbasierten Service Desk realisiert werden. Im Bereich der Landtechnik stellt der Einsatz Video und AR basierter Assistenzsysteme ein Novum dar. Aufgrund fehlender Erfahrungswerte soll im Rahmen des Projekts ein umfangreicher Feldversuch durchgeführt werden, der verschiedene technologische Ausbaustufen der Assistenzlösung bzgl. Praktikabilität untersucht und bewertet.

Konsortium

INVIA Projektübergabe

Im mit fast einer Million Euro von der Bayerischen Forschungsstiftung geförderten Projekt INVIA arbeiten neben Weptun die Landmaschinenhersteller HOLMER und HORSCH, der Embedded-Spezialisten InMach, die Mobilfunkexperten von Smart Mobile Labs, sowie das Fraunhofer-Institut für Eingebettete Systeme und Kommunikationstechnik (ESK) und das Institut für Landtechnik und Tierhaltung der LfL. Im Rahmen einer feierlichen Zeremonie übergab Finanz- und Heimatstaatssekretär Albert Füracker am 12. Mai 2017 beim Landmaschinenhersteller Horsch in Schwandorf den Förderbescheid mit den Worten: „Möglichkeiten zu erforschen, wie Maschinenbaufirmen über eine verstärkte Vernetzung mit den Maschinen beim Kunden vor Ort und mit dem Kunden selbst Servicedienstleistungen anbieten können, halte ich für eine sehr nützliche, weil ressourcensparende Idee. Durch eine live-Unterstützung über ein Assistenzsystem könnten in der Landwirtschaft zeitaufwändige Reparaturen oder gar Maschinen-Ausfallzeiten vermieden werden. Die Bayerische Forschungsstiftung steht für strategisch wichtige, anwendungsnahe Forschungsförderung. Durch den raschen und flexiblen Einsatz von Fördermitteln werden Verbundprojekte mit hoher Wertschöpfung in Bayern effizient gefördert.“

Wirtschaftliche Ziele

Philipp Horsch, Geschäftsführer der Horsch GmbH, erläutert die wirtschaftlichen Ziele: „Oft sind es Kleinigkeiten wie z.B. eine falsche Maschineneinstellung, die dazu führen, dass unsere Maschinen im Feld nicht weiterarbeiten können oder nicht die optimale Leistung erreichen. Unsere Servicetechniker fahren dann meist lange Strecken für einen kleinen Einsatz und der Kunde verliert wertvolle Zeit. In der Nutzung von Videoübertragung und Augmented Reality sehen wir eine Riesenchance, viele Probleme im Feld zusammen mit unserem Kunden ohne Zeitverlust lösen zu können. Dies senkt die Kosten auf beiden Seiten und führt zu niedrigeren Stillstandzeiten, effizienterer Maschinennutzung und zufriedeneren Kunden.“

Rolle von Weptun

Im Aufgabenbereich der Weptun GmbH liegt die Entwicklung des Assistenzdienstes mit einem Schwerpunkt auf der intelligenten Verteilung der Anwendungslogik auf die verschiedenen Komponeten, sowie dem damit einhergehenden Management der verteilt vorliegenden Informationen. Als erstes Zwischenergebnis entwickelte Weptun einen Prototyp des angedachten Assistenzdienstes, der plattformunabhängig im Browser funktioniert, eine Live Audio/Video Verbindung zwischen mehreren Teilnehmern per WebRTC herstellen kann, sowie in Echtzeit Maschinendaten der verbundenen Landmaschine auslesen und darstellen kann. Im Rahmen eines Feldversuchs in der Nähe von Regensburg wurde der Assistenzdienst zusammen mit allen beteiligten Projektpartner am Beispiel eines Rübenroders der Firma HOLMER evaluiert. Die verschiedenen Use Cases (Unterstützung des Fahrers, Unterstützung des Servicetechnikers, sowie Training des Fahrers) wurden dabei unter Leitung des LfL Instituts erfolgreich getestet. Ein weiterer Feldtest ist für Anfang 2019 geplant.