ADAS og objektdetektering via kamerasystemer: Rask utvikling

Omtrent samtidig som den første Tesla Model S ble introdusert, dukket det opp et annet nytt navn i bilbransjen: Mobileye. Hvor fokuset hos mange andre utviklere av sensorer for objektdeteksjon først og fremst lå ved et stort antall og enorme mengder nedlastede data (3D-kart av omgivelsene), rettet Mobileye seg først og fremst mot ett kamerasystem (det mobile øyet) som fullstendig selvstendig kan beregne situasjoner i real time. I denne artikkelen skal vi se på de forskjellige versjonene av autonom kjøring som gjør dette mulig og hvordan denne utviklingen vil fortsette.

Bilde: Skjematisk gjengivelse av virkemåten til tradisjonell ADAS (over) og ADAS med Mobileye (under)

Mobileye EyeQ: Autonominivå 2+

Grunnlaget for MobilEye's "camera only"-teknologi er EyeQ: Det for denne oppgaven spesielt utviklede SoC (System on Chip). EyeQ fikk umiddelbart oppmerksomhet av flere store bilfabrikanter ved introduksjonen i 2007. Bilindustrien hadde behov for en partner som kunne levere et komplett ADAS-system. Imidlertid er det levert meer en 100 millioner(!) EyeQ's over hele verden, fordelt over mer en 700 bilmodeller fra mer en 35 forskjellige bilmerker. Toppmodellen anno 2023, EyeQ6H, er internt utstyrt med en egen "image signal processor" (ISP), en grafisk prosessor (GPU) og en en video encoder. Dermed er det mulig å kontrollere systemer med autonominivå 2+. Denne siste versjonen SoC kan kontrollere selv de mest krevende ADAS-systemene. Med hardware av et slikt kaliber, kommer det ikke som noen overraskelse at denne teknikken kan håndtere mange funksjoner. Tenk på filskiftevarsling, kjørefeltassistanse, automatisk nødbremsassistanse, frontkollisjonsvarsling, adaptiv cruise control, trafikkskiltgjenkjenning, fjernlysassistent og parkeringshjelp er alt gjort mulig med EyeQ SoC. I noen tilfeller støttes det sentrale kameraet av en radar.

Bilde: Et blikk på innsiden av EyeQ

Mobileye REM: Autonominivå 3

For å kunne nå autonominivå 3 eller høyere uten å ta i bruk et stort antall sensorer eller storskala 3D-kart, undersøkte Mobileye alternative måter å implementere forkunnskap på, slik at EyeQ hadde mer informasjon tilgjengjelig enn det kameraet registerte for øyeblikket.

Løsningen kom i 2018 i form av Road Experience Management (REM). Basisen for dette systemet er at hver eneste bil utstyrt med denne nye EyeQ SoC-varianten kontinuerlig lagrer den informasjonen kameraet registerer. All denne informasjonen blir samlet sentralt og bearbeidet i en "Roadbook": Et realtime kart hvor ikke bare omgivelsene er kjent, men hvor det også er tydelig på hvilken måte veien brukes og i hvilken posisjon kjøretøyet befinner seg på veistrekningen. Dataene blir samlet og via "Over-The-Air" (OTA) delt med andre kjøretøyer utrustet med EyeQ, som dermed kan treffe bedre beslutninger i autonom modus.

Du kan kanskje forestille deg at, gitt det enorme antallet EyeQ SoC-er i omløp, dette vil raskt føre til en komplett og praktisk helhet. Spesielt fordi dette systemet også kan til en viss grad kan estimere lokal kjøremønster og tilpasse autonom kjøreatferd deretter. For eksempel er rask filskifte mye viktigere midt i en travel by enn et sted på landsbygda.

Mobileye SuperVision ADAS

Desto mer ADAS kan registrere rundt seg, jo bedre vil systemet virke og muliggjøre fler funksjonaliteter. I samarbeid med bilfabrikanten Geely ble derfor SuperVision introdusert: Et kraftig utbedret variant på ADAS med hele 7 omgivelseskameraer, 4 parkeringskameraer og 2 SoC'er.

Gjennom denne kraftige oppdateringen er SuperVision ADAS i stand til å reagere slik en sjåfør også ville ha gjort. Står det for eksempel noen parkert langs veien med døra åpen, vil systemet ta hensyn til dette og holde større sideveis avstand ved forbikjøring. Går det en fotgjenger langs veien, vil bilen senke farten. Systemet er også i stand til å forutsi trafikksituasjoner som sammenfletting eller objekter som plutselig forandrer retning. Alt i alt en god utvikling.

Radar og LiDAR som back-up

For å kunne gjøre kjøretøyer fullstendig autonome (nivå 5), må et særdelse høyt sikkerhetsnivå bygges inn i systemene. Hvis man bare skulle stole på kameraer, slik som MobilEye, kan man ganske raskt befinne seg i problemer. Ikke fordi autonom kjøring alene basert på kameraer ikke er mulig, men rett og slett fordi det ikke er noen back-up å støtte seg til for å kontrollere om kameraene faktisk registerer omgivelsene korrekt og dermed kan forutsi situasjonene riktig. Derfor har man valgt å sette inn både radar og LiDAR.. Tilnærmingen er annerledes, slik som man kan se i tabellen. Mobileye ser ikke på radar og LiDAR som tillegg for å komplettere informasjonsstrømmen, men stoler på at det egne kamerasystemet er godt nok til å se på radar og LiDAR som kontrollmidler. Man kaller det selv for "true redundancy".

Nvidia er også opptatt med autonom kjøring

Hvor Mobileye først og fremst retter seg mot et system med universell tilpasning som relativt enkelt kan implenteres overalt, har teknologigiganten Nvidia alltid valgt et annet perspektiv på problematikken rundt autonom kjøring og de tilhørende enorme mengder data. Nvidia har sine røtter i (den grafiske) computerindustrien og ser derfor ikke objektdetektering som et adskilt system, men mer som en del av en større helhet: Kjøretøyet. Litt på samme måte som at et grafisk kort er en del av en komplett datamaskin.

Bilde: Nvidia DRIVE Thor i detalj

September 2022 bekjentgjorde Nvidia "DRIVE Thor", en altomfattende sentralcomputer som kan styre systemer som autonom kjøring og parkering, overvåkning av okkupanter og objekter i bilen, infotainment og styring av det digitale instrumentpanelet. Thors sterkeste punkt er den enorme regnekraften (2000 teraflops) som gjør enkeltstående styreenheter fullstendig overflødig. Dessuten tillater plattformen "multi-domain computing", som betyr at autonom kjøring er fullstendig uavhengig og dermed sikkert utførbar ved siden av andre funksjoner i denne supercomputeren.

Hvordan objektdetektering vil ha innflytelse på motormanagementet

Det har sannsynligvis blitt tydelig at alle disse systemene kan ha stor innflytelse på motorstyreenheten. Budskapet vi gjerne vil gi med denne informasjonen, er at å stille en diagnose på grunn av denne nye teknologien aldri vil bli den samme som nå: Gasspedalen er ikke lenger den eneste input som motormanagementet reagerer på. Å finne årsaken til en funksjonsfeil blir dermed en komplisert øvelse: Er egentlig ECU'en defekt? Eller mangler den de riktige signalene og finnes dermed årsaken et annet sted i bilen?