25.02.2019 - 16:13

Echte Multimodalität mit BMW Natural Interaction

Echte Multimodalität mit BMW Natural Interaction

Quelle: BMW

Auf dem derzeit stattfindenden Mobile World Congress 2019 in Barcelona demonstriert BMW seine Vorreiterrolle in Sachen Interaktion zwischen Fahrer und Fahrzeug. Das vorgestellte BMW Natural Interaction ist mehr als nur ein einfacher Sprachassistent und ermöglicht echte Multimodalität bei der Bedienung. Das System kombiniert Sprachsteuerung mit erweiterter Gestensteuerung und Blickerkennung.

Die Interaktion mit dem Fahrzeug soll ähnlich wie bei zwischenmenschlicher Kommunikation via Sprache, Gestik und Mimik erfolgen, wobei der Fahrer auch hier je nach Situation und Kontext intuitiv den gewünschten Bedienmodus wählen kann. Zuverlässig soll das Fahrzeug den Bedienwunsch, die Sprachanweisungen, Gesten und die Blickrichtung erkennen.

Echte Multimodalität mit BMW Natural Interaction

Quelle: BMW

Die Spracherkennung wird mithilfe von Natural Language Understanding erfasst und verarbeitet. Ein lernender und sich weiterentwickelnder Algorithmus kombiniert und interpretiert die komplexen Informationen. Eine optimierte Sensorik und kontextsensitive Analyse von Gesten ermöglichen eine präzise Erfassung von Hand- und Fingerbewegungen, wobei erstmals auch deren Richtung in dem Interaktionsraum registriert werden kann.

Die verschiedenen Modalitäten lassen sich miteinander kombinieren, so dass der Fahrer entsprechend seiner Vorlieben und Gewohnheiten die Art der Interaktion entscheidet. Befindet sich der Fahrer gerade mit dem Beifahrer im Gespräch, kann er beispielsweise mittels Gesten und Blick berührungslos das Schiebedach öffnen oder schließen. Auch kann der Fahrer über das Deuten auf Tasten mehr über die Bedienung und Funktionalität seines Fahrzeuges erfahren.

Echte Multimodalität mit BMW Natural Interaction

Quelle: BMW

Durch den hohen Grad der Vernetzung und die erweiterte Gestenerkennung, die auf den gesamten Fahrerarbeitsplatz ausgedehnt ist, hat der Insasse zudem die Möglichkeit mit seiner direkten Umgebung zu interagieren. Deutet er zum Beispiel im Vorbeifahren auf ein Gebäude und fragt „Was ist das für ein Gebäude?“, antwortet das System darauf. Durch die tiefgreifende Vernetzung, umfangreiche Umfeld-Daten und der Einsatz von KI kann BMW Natural Interaction auch einen Tisch im Restaurant reservieren, Auskunft zu Öffnungszeiten von Geschäften oder der Verfügbarkeit von Parkplätzen geben.

„Der Kunde soll mit dem intelligenten und vernetzten Fahrzeug auf völlig natürliche Weise kommunizieren können“ erklärt Christoph Grote, Senior Vice President BMW Group Elektronik. „Er wird zukünftig nicht überlegen müssen, mit welcher Bedienstrategie er zum Ziel kommt, sondern zu jeder Zeit frei interagieren und das Fahrzeug versteht ihn. BMW Natural Interaction ist ein bedeutender Schritt auch für die in Zukunft autonom fahrenden Fahrzeuge, wenn der Innenraum nicht mehr vorrangig auf den Fahrer ausgerichtet ist und die Insassen mehr Freiheiten genießen.“

Durch verbesserte Technologien in den Bereichen Sensorik und Analyse können ausgeführte Bewegungen von Hand und Finger dreidimensional erfasst und ein präziser Richtungsvektor ermittelt werden. Eine die in die Instrumentenkombination integrierte High-Definition-Kamera registriert zusätzlich die Kopf- und Blickrichtung. Die Bilder werden von der verbauten Kameratechnologie ausgewertet und erforderliche Vektordaten errechnet, die im Fahrzeug weiterverarbeitet werden.

Gesten und Sprachanweisungen müssen schnell und zuverlässig erkannt werden. Um diese multimodal eingegebenen Informationen auszuwerten, wird künstliche Intelligenz verwendet. Der zuständige Algorithmus wird mittels Machine-Learning und Auswertung unterschiedlicher Bedienszenarien stetig optimiert und weiterentwickelt.

Auf dem Mobile World Congress 2019 können die Besucher BMW Natural Interaction im Rahmen einer aufwendigen Mixed-Reality-Inszenierung erleben. Mithilfe eines speziell gestalteten Raumkonzepts und einer Virtual Reality Brille kann die Natürlichkeit der Interaktion im simulierten Cockpit nachempfunden werden.


Erste Funktionsumfänge von BMW Natural Interaction sollen bereits 2021 BMW iNEXT verfügbar sein.

Editor: Tanja Lauch mit dem Pressematerial von BMW

Autor: jst

– PODCAST –

Wir starten mit einer neuen Staffel unseres Podcasts und freuen uns über unseren Partner Bosch Service Solutions GmbH. Für den Auftakt dieser Staffel, die 10 Folgen umfassen wird, sprechen dann auch direkt mit Arne Schönfeld. Er ist Head of Sales & Marketing für die DACH-Region bei Bosch Service Solutions. Was müssen die Services rund um die Mobilität leisten und welche Rolle spielt dabei ein Restaurant samt passendem Blumenstrauß? Das beantwortet Arne Schönfeld in der aktuellen Podcast-Folge.
Podcast bei spotify>>; bei iTunes >>bei Overcast >>; bei intellicar.de >>

Gefunden bei intellicar.de
https://intellicar.de/hardware-and-software/echte-multimodalitaet-mit-bmw-natural-interaction/
25.02.2019 16:19