Die einstündige autonome Fahrt durch den chaotischen Innenstadtverkehr zeigt eindrucksvoll, wie weit autonomes Fahren heute ist.

In einem Video zeigt Pony.ai Ausschnitte einer einstündigen autonomen Fahrt durch die chinesische Großstadt Guangzhou. Die Tour wurde im Sommer 2020 während der Hauptverkehrszeit aufgezeichnet. Laut dem Start-up für autonomes Fahren kam es dabei zu keiner menschlichen Intervention. Das Auto fuhr selbstständig und ohne Probleme durch die hochfrequentierte Innenstadt.

Pony.ais Video liefert eindrucksvolle Bilder über den Aufbau und die Arbeitsweise eines autonomen Fahrsystems. An realen, teilweise chaotischen Verkehrsszenarien wird gezeigt, welche Bewegungsdaten durch Sensoren und Kameras erfasst werden und wie die Künstliche Intelligenz sie verarbeitet und darauf reagiert. Dabei werden weder plötzlich auftauchende Fußgänger noch Geisterfahrer und lebensmüde Motorradfahrer zu einem ernsthaften Problem.

Pony.ai: Das zeigt die Visualisierung des KI-Systems

Pony.ai testet seine autonomen Fahrsysteme seit 2017 in Guangzhou. In der Stadt herrscht feuchtes Klima mit häufigen und starken Regenfällen. Das Verkehrsbild ist von einer hohen Dichte an Fahrzeugen und unzähligen Motorrädern geprägt, die teils chaotisch durch die Straßen fahren.

Eine Fahrt eines autonomen Fahrsystems von Pony.ai im Vergleich: Links die Visualisierung des Systems, rechts die realen Kamerabilder der Fahrt.

Orange Boxen repräsentieren Motorräder und Fahrräder in der Visualisierung des KI-Systems. | Bild: Pony.ai

Dabei kommt es regelmäßig zu einer Vielzahl an unterschiedlichen und komplexen Verkehrsszenarien. Parallel zu den Bildern der tatsächlichen Fahrt zeigt Pony.ai im Video eine Echtzeit-Visualisierung des KI-Systems. Dort ist zu sehen, welche Bewegungsdaten erfasst werden, wie sie das System verarbeitet und mit welchen Entscheidungen es auf die verschiedenen Situationen reagiert.

Zur Erklärung: Das weiße Auto in der Mitte ist das autonom fahrende Pony-Vehikel und der lange grüne Balken davor der geplante Fahrtweg. Grüne Boxen stehen für Lkws, Pkws und Busse. Motorräder und Fahrräder werden durch orange Boxen repräsentiert, Fußgänger sind gelb. Erscheint ein grünes Gitter zwischen dem Pony-Auto und einem anderen Objekt, zeigt das den gewählten Sicherheitsabstand an.

Blaue Punkte, konzentrische Kreise und Linien auf dem Boden stammen von den reflektierten Signalen der Lidar-Sensoren. Rechts oben am Bildschirmrand wird der Echtzeit-Status des autonomen Fahrzeugs eingeblendet. Dort werden beispielsweise die gefahrene und die gegenwärtig erlaubte Geschwindigkeit oder die Bewegungen des Lenkrads angezeigt.

Geisterfahrer & Fußgänger sind kein Problem für die KI

Das System erkennt unter anderem einen Fußgänger, der vom Bordstein zwischen zwei stehenden Fahrzeugen hindurchläuft und direkt vor dem Pony-Auto die Straße überquert. Das Robo-Auto kommt ohne abruptes Bremsen und mit ausreichendem Abstand rechtzeitig zum Stehen und lässt den Fußgänger passieren.

Ein Sicherheitsfahrer nimmt die Hände vom Lenkrad in einem von Pony.ai ausgestatteten autonom fahrenden Pkw.

Während der einstündigen autonomen Fahrt durch die Innenstadt war laut Pony.ai kein menschliches Eingreifen nötig.

Auch zwei Motorräder, die auf der falschen Fahrbahnseite auf das Fahrzeug zukommen, erkennt das System und umfährt sie. Das Einreihen auf Hauptstraßen gelingt ebenso flüssig wie das Abbremsen und Anfahren an großen Kreuzungen mit Ampelsystemen.

Die erkennt das Robo-Auto durch seine Kameras schon aus über hundert Metern Entfernung. Pony.ais „Planning and Control“-Modul nutzt diese Information und passt die Geschwindigkeit entsprechend der bei Ankunft roten oder grünen Ampel an.

Autonomes Fahren: Problemfall Motorräder

Ein weiterer Vorfall zeigt, wie vorausschauend die KI agiert. Auf einer mehrspurigen Straße wird das Pony-Auto von mehreren Motorrollern und Motorrädern überholt. Eines davon schert an der Kreuzung abrupt und unmittelbar vor dem Robo-Auto wieder ein. Die KI vermindert daraufhin die Geschwindigkeit und agiert „vorsichtiger“.

Kurz darauf wird das Motorrad selbst von einem Motorrad überholt, das während des Vorgangs von einem Pkw geschnitten wird. Das Pony-Auto geht nun davon aus, dass das Motorrad einen erneuten Überholvorgang starten wird. Es vermindert die Geschwindigkeit und erhöht den Sicherheitsabstand.

Der Vorgang ist im nachfolgenden YouTube-Video ab Minute 5:30 zu sehen. Motorräder gelten als besondere Herausforderung für die KI-Systeme autonom fahrender Vehikel. Sie sind schnell unterwegs und fahren besonders an Kreuzungen und während Überholvorgängen nicht immer regelkonform.

Aggressives Fahrverhalten, abruptes Einscheren oder Richtungswechsel ohne vorheriges Blinken sind im Großstadtverkehr keine Seltenheit. Pony.ai trainiert sein Vorhersagemodell deshalb laufend mit großen Mengen an historischen Daten, damit es auf willkürlich erscheinende Verkehrssituationen reagieren kann.

Diese Daten bilden die Grundlage für vorausschauende Entscheidungen. Die KI führt sie mit den Echtzeit-Daten aus der Umgebung und der Verkehrsteilnehmer zusammen, analysiert die Lage und sieht so Geschehnisse wie den erneuten Überholversuch voraus.

Sie passt die eigene Geschwindigkeit und die Position in der Spur entsprechend an. Komplexe Situationen mit Motorrädern sind ab Minute 6:05 im obigen Video zu sehen. Dabei kommt es auch zu einem unvorhersehbaren U-Turn mitten auf der Kreuzung und unmittelbar vor dem Robo-Auto.

Zentimetergenaue Erkennung der Umgebung durch Multi Sensor Fusion

Warnobjekte wie Verkehrspylonen bildet das System in der Visualisierung als rote Boxen ab. Da die Warnkegel sehr klein sind, fallen die erfassten Informationen des Lidar-Sensors laut Pony.ai spärlich aus. Kameras täten sich bei der Erfassung leichter, es fehle jedoch an Tiefeninformationen der Bildpixel.

Eine Fahrt eines autonomen Fahrsystems von Pony.ai im Vergleich: Links die Visualisierung des Systems, rechts die realen Kamerabilder der Fahrt.

Die kleinen Verkehrspylonen erkennt das KI-System durch eine Fusion der Kamerabilder und der Daten von Lidar-Sensoren. | Bild: Pony.ai

Deshalb setzt Pony.ai wie die meisten Hersteller autonomer Fahrsysteme eine sogenannte „Multi Sensor Fusion“-Technologie ein. Das Fahrzeug ist mit mehreren Kameras, Lidar- und Radarsensoren ausgestattet, die sich gegenseitig ergänzen. Im Fall der Pylonen fusioniert das KI-System die Kamerabilder mit den Punktwolken des Lidars. Dadurch kommt es zu einer zuverlässigen dreidimensionalen Erkennung der Kegel im Zentimeterbereich.

Durch die unterschiedlichen Sensortypen und Kameras deckt das System 360 Grad der Fahrzeugumgebung ab. Diese Konfiguration ist deshalb so wichtig, weil die verschiedenen Stärken der Sensoren kombiniert und dadurch etwaige Schwächen ausgeglichen werden können, wie das genannte Beispiel zeigt.

Gegebenheiten in China und den USA unterscheiden sich deutlich

Pony.ai betreibt Robo-Taxis in Peking, Guangzhou und Shanghai sowie im US-Bundesstaat Kalifornien. Dabei sind die Standorte nicht zufällig gewählt. In Chinas Großstädten muss das KI-System hauptsächlich mit dicht befahrenen, engen Straßen und Kreuzungen klarkommen.

Die durchschnittlichen Fahrgeschwindigkeiten sind eher niedrig. In den USA sind die Straßen zwar breiter und weniger stark frequentiert, dafür wird schneller gefahren. Die Sensoren müssen also größere Abstände und höhere Reichweiten beherrschen.

Im Februar erhielt Pony.ai ein weiteres Millionen-Investment. Damit beläuft sich die Bewertung des Unternehmens auf über 5,3 Milliarden US-Dollar. Ein Jahr zuvor investierte der japanische Autokonzern Toyota über 400 Millionen US-Dollar in das Start-up.

Titelbild & Quelle: Pony.ai (YouTube)

Weiterlesen über autonomes Fahren:

steady2

MIXED.de Podcast: VR, AR und KI - jede Woche neu

Jetzt reinhören: Alle Folgen


Hinweis: Links auf Online-Shops in Artikeln können sogenannte Affiliate-Links sein. Wenn ihr über diesen Link einkauft, erhält MIXED.de vom Anbieter eine Provision. Für euch verändert sich der Preis nicht.