Beim vollautomatisierten Fahren entscheidet das Fahrzeug, was es tun muss – es lenkt, bremst und beschleunigt selbsttätig. Bis es jedoch so weit ist, dass Fahrzeuge gänzlich auf einen Fahrer verzichten können, werden teilautomatisierte Fahrzeuge den Wagenlenker unterstützen und ihm zunehmend mehr Freiheiten verleihen. Naturgemäß sind bei teilautomatisierten Fahrzeugen Übergaben zwischen Auto und Fahrer nötig, etwa bei einer Baustelle auf der Autobahn oder beim Übergang in den Stadtverkehr nach einer Autobahnfahrt. Das Fahrzeug muss also nicht nur intelligent werden, um den Verkehr zu interpretieren, sondern auch nach innen schauen und mit dem Fahrer in den Dialog treten. Was macht der Fahrer gerade? Wie schnell könnte er die Steuerung des Fahrzeugs übernehmen? Zwar gibt es bereits Fahrerbeobachtungssysteme, diese nutzen jedoch bisher kaum Kamerabilddaten und beschränken sich vorwiegend auf die Erkennung von Müdigkeit.
Daher widmen sich die Forscher am Fraunhofer IOSB dem Dialog zwischen Fahrer und Auto – und füllen damit diese Lücke. „Mit unserer Technologie erkennen wir nicht nur das Gesicht, sondern vielmehr die aktuellen Posen des Fahrers und der Mitfahrer“, sagt Michael Voit, Gruppenleiter am Fraunhofer IOSB. „Aus diesen Posen wiederum können wir zuverlässig bestimmen, womit sich Fahrer und Insassen gerade beschäftigen“.
Der Kern der Entwicklung liegt in Algorithmen und Verfahren des maschinellen Lernens, also der Künstlichen Intelligenz. Die Algorithmen analysieren die Kameradaten in Echtzeit und finden heraus, ob der Fahrer telefoniert, mit den Kindern spielt oder auf das Handy des Mitfahrers schaut. Die Technologie des Fraunhofer IOSB geht damit über die reine Bilderkennung hinaus und interpretiert Aktivitäten im Kontext.
Die Forscherinnen und Forscher haben das System zunächst angelernt, indem sie zahlreiche Kameraaufnahmen per Hand annotierten: Wo befinden sich Hände, Füße, Schultern der Personen, wo sind Objekte wie Smartphones, Bücher und Co. zu erkennen? Anschließend evaluierten sie die Algorithmen mit neuen Bildern und korrigierten oder verifizierten deren Ergebnisse.
Aufnahmen des Fahrers oder der Insassen abstrahiert das System zu einem digitalen Skelett – einer Art Strichmännchen, das die Körperpose der Person nachbildet. Aus der Skelettbewegung und einer ergänzenden Objekterkennung wiederum schließt es auf die Aktivität. „Die Algorithmen wissen also, ob jemand schläft oder auf die Straße blickt, wie abgelenkt die Person ist und wie lange es dauert, bis die volle Aufmerksamkeit wieder auf den Verkehr gerichtet werden kann“, erläutert Voit. Hierfür werden sowohl klassische Videokameras als auch Infrarotkameras eingesetzt, die im Dunkeln sehen können, sowie 3D-Kameras, die die Entfernung der Objekte zur Kamera messen. Auch bei der Platzierung der Kameras lässt das System den Innenraumdesignern Freiheit.
Fragen rund um die Aktivitätserkennung im Fahrzeuginnenraum bearbeiten die Forscherinnen und Forscher in zahlreichen Verbundprojekten mit namhaften Autoherstellern wie Audi und Volkswagen, aber auch Zulieferern wie Bosch und Continental.
Wie wichtig Aktivitätserkennungen sind, zeigt eine Verordnung der EU: Das „Driver Monitoring“ soll bei der Automatisierung des Autos verpflichtend werden. Mit der Technologie aus dem Fraunhofer IOSB können Fahrzeughersteller nicht nur diese Richtlinie erfüllen, sondern zudem zahlreiche Visionen in puncto autonomes Fahren Realität werden lassen. Ein Beispiel: Spracherkennung stößt bei der Kommunikation von Mensch und Fahrzeug schnell an ihre Grenzen. So ist der Befehl „Park dort ein“ für sich genommen nicht aussagekräftig. Über die Körperposen- und Aktivitätserkennung weiß das System jedoch, auf welche Parklücke der Nutzer in dem Moment zeigt. Auch bei Sicherheitsaspekten von fahrerlosen Fahrzeugen kann das System helfen: Während derzeit die Fahrenden noch darauf achten, dass alle Mitfahrer die Sicherheitsregeln einhalten und sich beispielsweise anschnallen, wird dies künftig das fahrerlose Fahrzeug übernehmen müssen – etwa bei autonom fahrenden Taxis oder Bussen. Auch hier ist eine zuverlässige Innenraumüberwachung unverzichtbar.
Bild: Das Occupant-Monitoring-System des Fraunhofer IOSB erkennt neben der Körperpose aller Insassen auch Aktivitäten und damit zusammenhängende Objekte.
Bildquelle: M. Zentsch/Fraunhofer IOSB
