其實在純視覺的自動駕駛系統中,攝像頭就像汽車的“眼睛”,負責不停地拍下周圍的風景,然后把這些畫面交給車上的“大腦”——也就是各種算法和模型(決策系統),來判斷前方有沒有行人、車輛或障礙物。當汽車只靠攝像頭“看世界”時,無論是真人、雕像,還是貼在墻上的海報、廣告牌,都可以被它同樣地“看到”,但這一切都只是二維的像素點。如果車上的“腦子”誤把一張畫得惟妙惟肖的海報人物當成了真實行人,它是否會不由自主地踩下剎車,甚至緊急停車?
要讓純視覺系統分清畫報上的“假人”和馬路上真正走動的行人,其實要從硬件和軟件兩條路同時發力。現階段為了確保自動駕駛的安全性,很多車企都會選擇在攝像頭旁邊再裝一臺雷達或激光雷達(基于激光雷達的自動駕駛方案)。雷達發射電磁波,激光雷達發射激光脈沖,不同于攝像頭只“看到”表面紋理,這些傳感器能直接給出物體到車身的距離。海報只是貼在墻上的一層薄薄的紙,它在雷達或激光雷達里幾乎沒有回波,汽車就能立刻判斷:“哦,這不是立體的人,是個平面的東西。”但受成本和空間限制,量產車型并不總能一開始就配齊這些高精度傳感器。
在只依賴攝像頭的情況下,軟件層面的改進更顯關鍵。最先要做的,就是讓攝像頭拍到的畫面經過更聰明的“人形檢測”算法。目標檢測模型通常會先在圖像上劃出許多小方框,然后再判斷每個方框里是不是人。早期的做法像給照片打了“九宮格”,一點一點地掃;現在用深度學習的大腦,能一次性在不同大小的區域上同時判斷,大幅提高了速度和準確率。但是這些大腦都是在大量真實行人的照片或視頻上訓練出來的,對海報、畫報這樣專門制作的人像平面并不陌生,因為它們往往長得和真人太像了,于是就容易“見人就當真人”。
為了解決這個問題,就會讓模型在訓練時多“看”一些海報、廣告、櫥窗人像的畫面,把它們當作“負樣本”喂給大腦,告訴它們“雖然這個區域里有一個人形,但它總是貼在同一個地方,不會移動,也不會有立體的深度變化”。這樣,模型在識別“行人”時,就能多留一個心眼,如果它在連續的畫面里每一幀都在同一個位置出現,而且旁邊沒有地面陰影、腳步移動產生的微小抖動,就可能是個海報,而不是一個真正走路的人。
除了讓模型學得更聰明,純視覺系統還會利用“深度估計”技術來給每個像素預測一個距離值。想象一下,如果你只用單只眼睛看東西,也能憑借物體大小、透視關系估計遠近。深度估計網絡就是這么一回事,它會結合數萬張配有真實距離標注的照片,學會從平面圖像里猜距離。問題是,海報和背景是一體的平面,網絡有時候也會誤以為海報里的“人”是在幾米外的真實行人。為此,工程師們會在車上裝兩臺攝像頭或雙目攝像頭,前后或左右分開約幾十厘米,模仿我們人眼的工作原理,通過左右圖像的微小差別(視差),直接算出距離。對于真正立體的行人,視差足夠明顯;對于緊貼墻面的廣告,其視差幾乎為零,這時系統就能判定它是個平面。
更進一步的時,系統會追蹤每個“人”在多幀畫面中的運動軌跡。真的行人會自己動,每一步都帶來位置和形狀的微妙變化;而海報里的“人”只會隨著車子的移動在畫面里平移、縮放,卻不會產生獨立運動。現在主要采用一種叫“多目標跟蹤”(MultiObject Tracking)的技術,把每個檢測到的人都打上標簽,然后觀察它在時間軸上是如何變化。如果某個標簽在反復觀察中,從來沒有過正常的人行運動,那么它的“行人”置信度就會被一幀一幀地降低,最終被系統忽略。
為了讓純視覺系統更早地識別出海報,很多車企還會選擇在車輛首次經過某條路段時,自動繪制一張“靜態地圖”(高精度地圖),記錄下兩旁那些看起來像人卻不怎么動的畫面位置。這樣,車輛再次行駛同一路線時,就不用每次都去重新判斷,而是把這些已知的靜止“假人”從一開始就屏蔽掉,節省計算資源,也避免了重復誤判。
盡管這些算法在實驗室和小范圍測試中已經取得了不錯效果,但陽光直射、雨雪天氣、夜晚路燈閃爍等復雜情況,仍然會讓純視覺系統偶爾“犯迷糊”。為此還會在虛擬仿真平臺(比如CARLA、LG SVL)里,模擬各種極端光照和天氣條件,讓系統先在虛擬世界里“吃透”可能遇到的畫面,再到真實道路上進行測試和驗證。
隨著“視覺大模型”(類似自然語言領域的GPT大模型)逐漸走向成熟,純視覺方案將擁有更強的“常識推理”能力。它們不僅能看出圖像里有人,還能結合場景理解。海報一般固定在墻面、廣告牌上不會突然移動,也不會投下隨行人的腳部陰影。這樣一來,汽車的大腦就像多了常識一樣,能夠更好地區分“畫報上的人”和真正的行人。
要讓純視覺自動駕駛系統既能敏銳地發現真實行人,又不會被路邊的海報嚇得亂剎車,其實需要軟硬件多方面的配合。加裝雷達或雙目攝像頭、利用深度估計、時空跟蹤、靜態語義地圖和負樣本訓練,都是在讓汽車“更聰明”地看世界。未來,當城市的路燈、路側基站也都能把靜態障礙信息實時廣播給車輛時,純視覺自動駕駛就能像人一樣,用“眼睛+大腦”配合得更默契,真正做到在復雜的城市環境中,自信而平穩地前行,再也不用擔心那些“畫報上的人”會誤導它。
-- END --