2023 年，城市 NOA 迎來(lái)爆發(fā)元年。圍繞城市 NOA 的討論，成為了今年自動(dòng)駕駛領(lǐng)域最受關(guān)注的話題之一。

(相關(guān)資料圖)

當(dāng)眾多車(chē)企全力推進(jìn)城市 NOA 的量產(chǎn)落地，重感知、去高精度地圖已成為業(yè)內(nèi)公認(rèn)的趨勢(shì)。但在實(shí)際的車(chē)輛運(yùn)行中，面向復(fù)雜多變的路交通環(huán)境，在車(chē)端部署城市 NOA 需要精準(zhǔn)高效的感知融合算法，以滿足車(chē)規(guī)級(jí)計(jì)算平臺(tái)的適配，有效解決復(fù)雜路況中的各種長(zhǎng)尾問(wèn)題。

這意味著，自動(dòng)駕駛的感知模塊將要迎接更高的挑戰(zhàn)，而其中的一個(gè)難點(diǎn)在于如何評(píng)估「感知結(jié)果」與「自動(dòng)駕駛系統(tǒng)決策規(guī)劃結(jié)果」之間的關(guān)系。

眾所周知，自動(dòng)駕駛感知模塊的高效評(píng)測(cè)是自動(dòng)駕駛技術(shù)研發(fā)過(guò)程中一個(gè)非常重要的部分，它直接影響整個(gè)智能系統(tǒng)的安全性和可靠性。此前業(yè)界的大多數(shù)方法僅針對(duì)感知模塊進(jìn)行評(píng)測(cè)，但忽略了感知模塊對(duì)自動(dòng)駕駛決策規(guī)劃行為的整體影響，目前僅有 Waymo、NVIDIA 和多倫多大學(xué)對(duì)該問(wèn)題進(jìn)行了有效探索。

輕舟智航是一家行業(yè)領(lǐng)先的自動(dòng)駕駛通用解決方案公司，2019 年 3 月于硅谷成立，并于同年 11 月落地中國(guó)創(chuàng)立總部，迄今已積累了全棧自研的核心技術(shù)體系。輕舟智航在去年完成轉(zhuǎn)型，聚焦以中高階輔助駕駛解決方案服務(wù)車(chē)企。

在最近的一篇 ICML 2023 論文中，輕舟智航創(chuàng)新地提出了一套考慮全局影響的感知模塊高效評(píng)測(cè)和理論分析框架，極大地推動(dòng)了自動(dòng)駕駛領(lǐng)域這一基礎(chǔ)性問(wèn)題的突破。這種從規(guī)劃器視角出發(fā)的框架提供了一種新的方法來(lái)評(píng)估感知模塊對(duì)整個(gè)自動(dòng)駕駛系統(tǒng)的影響，從而改進(jìn)設(shè)計(jì)和優(yōu)化感知模塊，幫助提高自動(dòng)駕駛系統(tǒng)的性能和安全性。

論文鏈接：/pdf/

ICML（International Conference on Machine Learning，國(guó)際機(jī)器學(xué)習(xí)大會(huì)），與 NeurIPS 和 ICLR 一起，被公認(rèn)為機(jī)器學(xué)習(xí)和人工智能研究中具有高度影響力的三大主要會(huì)議之一。目前，ICML 為 CCF（中國(guó)計(jì)算機(jī)學(xué)會(huì)）推薦的 A 類(lèi)會(huì)議，同時(shí)也是 Core Conference Ranking 的 A* 類(lèi)會(huì)議，被視為推動(dòng)機(jī)器學(xué)習(xí)發(fā)展的重要會(huì)議。

研究背景

自動(dòng)駕駛領(lǐng)域在工業(yè)界和學(xué)術(shù)界在近期均得到了迅速發(fā)展。車(chē)載感知模塊是自動(dòng)駕駛汽車(chē)獲取動(dòng)態(tài)環(huán)境信息的重要來(lái)源。傳統(tǒng)的計(jì)算機(jī)視覺(jué)感知任務(wù)（如檢測(cè)、分割、跟蹤等）雖然可以直接套用來(lái)評(píng)價(jià)感知模塊的性能，但是這些評(píng)價(jià)方法忽略了感知模塊在自動(dòng)駕駛系統(tǒng)中對(duì)系統(tǒng)整體的影響。

事實(shí)上，感知模塊結(jié)果中相似的錯(cuò)誤對(duì)決策規(guī)劃控制的影響可能大相徑庭：例如同樣是靜態(tài)障礙物的漏檢，這種錯(cuò)誤發(fā)生在正在向前行駛的自動(dòng)駕駛車(chē)輛前方時(shí)相對(duì)于發(fā)生在后方要嚴(yán)重得多。因此整個(gè)領(lǐng)域都非常需要一個(gè)高效和有效的工具來(lái)評(píng)價(jià)感知模塊性能對(duì)整個(gè)自動(dòng)駕駛?cè)蝿?wù)的影響。

之前試圖解決這個(gè)問(wèn)題的工作大多從自動(dòng)駕駛的軌跡輸出來(lái)試圖衡量感知誤差對(duì)自動(dòng)駕駛系統(tǒng)的影響。一個(gè)常見(jiàn)的方法就是通過(guò)計(jì)算自動(dòng)駕駛車(chē)輛的決策規(guī)劃在真值和實(shí)際感知輸入作用下得到的結(jié)果的區(qū)別來(lái)判斷影響大小。但是自動(dòng)駕駛車(chē)輛最終行為的改變與最終結(jié)果之間的相關(guān)性在不少情況下都比較弱，在某些場(chǎng)景下甚至呈負(fù)相關(guān)，如下圖所示：

圖中紅色箭頭表示自動(dòng)駕駛車(chē)輛決策規(guī)劃在感知真值輸入下得到的最優(yōu)動(dòng)作軌跡，灰色箭頭表示在錯(cuò)誤感知下的最優(yōu)動(dòng)作軌跡。彩色和灰度的路障分別表示障礙物的真實(shí)位置和錯(cuò)誤感知位置。在（a）情況下，自動(dòng)駕駛汽車(chē)必須繞行較大的彎路，以繞過(guò)錯(cuò)誤感知的路障。而對(duì)于（b）， 自動(dòng)駕駛車(chē)輛雖然需要稍微向右做微小繞道，然而它最終在實(shí)際世界里撞上了路障。在這種情況下，盡管行為的改變遠(yuǎn)遠(yuǎn)小于（a），但結(jié)果卻明顯更糟（“撞到一個(gè)物體” vs “繞了遠(yuǎn)路”）。

在（c）中，不論是向左還是向右繞道，任何一種方式的結(jié)果對(duì) “向前移動(dòng)” 這一目的來(lái)說(shuō)都沒(méi)有太大區(qū)別；但就時(shí)空軌跡而言，行為的變化非常大。在（d）場(chǎng)景里，道路兩側(cè)各有一個(gè)被誤檢的路障，但并不會(huì)與前進(jìn)通過(guò)的車(chē)輛發(fā)生碰撞（雖然車(chē)輛經(jīng)過(guò)時(shí)路障距離車(chē)輛很近）；在這個(gè)有誤檢的情況下自動(dòng)駕駛車(chē)輛仍然決定保持與真實(shí)情況相同的運(yùn)動(dòng)繼續(xù)勻速前進(jìn)：在感知誤差存在的情況下，自動(dòng)駕駛汽車(chē)的最終行為沒(méi)有改變，但經(jīng)過(guò)兩個(gè)近距離物體的成本實(shí)際上已經(jīng)改變了決策規(guī)劃過(guò)程，而這些額外的隱藏成本將無(wú)法通過(guò)僅關(guān)注自動(dòng)駕駛車(chē)輛結(jié)果行為變化的感知評(píng)價(jià)指標(biāo)體現(xiàn)。因此，由于感知錯(cuò)誤導(dǎo)致的車(chē)輛行為變化并不總是與錯(cuò)誤導(dǎo)致的實(shí)際后果相關(guān)。

之前有限的幾個(gè)從自動(dòng)駕駛系統(tǒng)角度評(píng)價(jià)感知模塊性能的工作大多采用類(lèi)似這樣的啟發(fā)式方法。這些方法會(huì)將一些人工總結(jié)的先驗(yàn)知識(shí)整合到評(píng)價(jià)系統(tǒng)中，如（Philion et al.，2020）假設(shè)感知誤差的造成的后果與其導(dǎo)致的規(guī)劃器輸出的時(shí)空軌跡變化直接相關(guān)，并提出用 KL 散度作為評(píng)價(jià)指標(biāo)來(lái)衡量后果；但由于沒(méi)有考慮實(shí)際的環(huán)境背景，因此并不能準(zhǔn)確反映真實(shí)交通環(huán)境里輸入噪聲導(dǎo)致的實(shí)際代價(jià)。

本文希望強(qiáng)調(diào)的是通過(guò)規(guī)劃過(guò)程來(lái)理解感知誤差對(duì)自動(dòng)駕駛系統(tǒng)影響的必要性：只有從決策規(guī)劃的角度，通過(guò)理解感知輸入噪聲對(duì)自動(dòng)駕駛系統(tǒng)造成的實(shí)際后果才能有效評(píng)估感知誤差帶來(lái)的影響。這種完全通過(guò)實(shí)際觀察者（規(guī)劃器）的視角來(lái)評(píng)估待考察事物（感知誤差）屬性的方法，與經(jīng)典哲學(xué)理論里的先驗(yàn)唯心主義論(Kant, 1781)一致，因此該方法被命名為規(guī)劃器先驗(yàn)唯心論（Transcendental Idealism of Planner / TIP）。

目前對(duì)自動(dòng)駕駛決策規(guī)劃過(guò)程的研究工作大致可以分為兩類(lèi)，其一是基于效用的方法，其二是非基于效用的方法。前者通過(guò)對(duì)自動(dòng)駕駛要實(shí)現(xiàn)的具體目標(biāo)（向目的地接近，遵守交通規(guī)則，平滑的車(chē)輛運(yùn)動(dòng)等）編碼來(lái)構(gòu)建一個(gè)描述行為與收益的目標(biāo)函數(shù)，并通過(guò)求最優(yōu)化解作為最終的決策規(guī)劃結(jié)果；后者則利用海量數(shù)據(jù)和深度學(xué)習(xí)的擬合能力，直接將原始或者被預(yù)處理過(guò)的傳感器數(shù)據(jù)直接映射為自動(dòng)駕駛車(chē)輛的控制信號(hào)。本文重點(diǎn)在探索感知噪聲對(duì)決策規(guī)劃的影響，因此主要關(guān)注基于效用的規(guī)劃研究。

理論分析

基本概念

這篇工作首先給出了經(jīng)典的期望效用最大化（Expected Utility Maximization / EUM）框架（Osborne and Rubinstein, 1994）在 Hilbert 空間里的解釋。EUM表示在任意時(shí)刻 t，智能體通過(guò)最大化效用函數(shù)的期望獲得最佳動(dòng)作 。

其中 表示 t 時(shí)刻智能體所有待考察的可行動(dòng)作選項(xiàng)集合。 表示 t 時(shí)刻環(huán)境狀態(tài)隨機(jī)變量（ 為環(huán)境狀態(tài)的集合），效用函數(shù) 負(fù)責(zé)編碼自動(dòng)駕駛汽車(chē)應(yīng)該實(shí)現(xiàn)的目標(biāo)或獎(jiǎng)勵(lì)（例如及時(shí)到達(dá)目的地，盡量減少與其他物體碰撞的可能性，避免運(yùn)動(dòng)的急劇變化等等）。期望效用表達(dá)為：

是隨機(jī)變量 的分布函數(shù)，用于描述環(huán)境的不確定性（可視為感知模塊對(duì)規(guī)劃器的輸入）。

給定了 與 的雙射關(guān)系，我們就可以在 Hilbert 空間里利用許多代數(shù)工具（如內(nèi)積、正交、投影、子空間、零空間等）來(lái)分析感知結(jié)果噪聲對(duì)自動(dòng)駕駛規(guī)劃的影響。

感知錯(cuò)誤分析

假設(shè) 中每一個(gè)候選行為都有一個(gè)不同的效用函數(shù)，即對(duì)任意不同的 ，有

令 為 EUM 里在正確感知輸入下的最優(yōu)行為，則對(duì)任意 ，定義了行為方向，規(guī)劃半空間為：

在這個(gè)定義下，當(dāng)且僅當(dāng) ，即 時(shí)，真正的最優(yōu)行為 會(huì)被認(rèn)為優(yōu)于 ，其中：

其中

是投影到與 同方向的單位向量 （稱(chēng)為行為方向）上之后的分量； 是 投影到 的正交補(bǔ)空間上的分量?？梢钥吹狡梅?jǐn)?shù)改變

完全由 決定，因此研究者定義 為規(guī)劃關(guān)鍵誤差（planning-critical Error / PCE）， 為規(guī)劃不變誤差（planning-invariant Error / PIE）。以上討論的示意圖如下所示：

如左圖所示， 定義了行為方向， 和 表示環(huán)境真值與噪聲感知的嵌入； 表示感知誤差，可以將其分解為規(guī)劃關(guān)鍵誤差（PCE） 和規(guī)劃不變誤差（PIE） ；陰影區(qū)域?qū)?yīng) 。

通過(guò)以上推導(dǎo)，可以得到如下結(jié)論：

并非環(huán)境狀態(tài)估計(jì)或感知中的所有錯(cuò)誤對(duì)自動(dòng)駕駛車(chē)輛規(guī)劃都有同等的影響。實(shí)際上，只有 PCE 會(huì)對(duì) EUM 結(jié)果有影響，PIE 完全不會(huì)造成任何影響；

這兩個(gè)結(jié)論都是通過(guò)本文提出的理論框架下的分析得到的自然推論結(jié)果。

以上分析只是考慮了一個(gè)候選選項(xiàng) ，當(dāng)需要考慮整個(gè)候選選項(xiàng)集合 時(shí)，直接取所有偏好分?jǐn)?shù)改變的最小值（即最大的負(fù)面影響）作為感知輸入的噪聲對(duì)決策規(guī)劃影響的影響

實(shí)際計(jì)算時(shí)，一個(gè)偏好分?jǐn)?shù)改變

可以分解為四個(gè)期望效用來(lái)計(jì)算。每一個(gè)期望效用可以利用隨機(jī)采集的獨(dú)立同分布樣本通過(guò)無(wú)偏估計(jì)器

進(jìn)行數(shù)值估計(jì)。可以證明，這樣的估計(jì)方法可以由一致收斂界限（uniform convergence bound）保證指數(shù)級(jí)別的數(shù)值收斂速度。這是一個(gè)值得注意的結(jié)果，因?yàn)橹笖?shù)收斂速度只要求效用函數(shù)是有界的，至于效用函數(shù)的具體形式（保證了可使用任意函數(shù)形式的靈活性）和其中變量的維度完全沒(méi)有任何限制（因此維度爆炸不會(huì)出現(xiàn)）。整個(gè)過(guò)程的偽代碼如下：

實(shí)驗(yàn)驗(yàn)證

實(shí)驗(yàn)中使用的所有自動(dòng)駕駛汽車(chē)都是基于同一類(lèi)型的普通乘用車(chē)。這些車(chē)載自動(dòng)駕駛系統(tǒng)中的基于效用的模塊化規(guī)劃器已在多個(gè)百萬(wàn)人口級(jí)別的城市進(jìn)行了嚴(yán)格的道路測(cè)試和廣泛的驗(yàn)證。實(shí)驗(yàn)中研究者選取了三個(gè)基準(zhǔn)方法作為參照對(duì)象：

（1）在傳統(tǒng)端，nuScenes 數(shù)據(jù)集評(píng)分（NDS）（Caesar et al., 2020）將 3D 物體檢測(cè)的幾個(gè)傳統(tǒng)評(píng)分結(jié)果結(jié)合到一個(gè)單一的性能分?jǐn)?shù)中；

（2）SDE 距離加權(quán)平均精度（SDE-APD）（Deng et al., 2021）以自動(dòng)駕駛車(chē)輛為空間中心視角的方式更多地關(guān)注自動(dòng)駕駛車(chē)輛附近的感知誤差（支撐距離誤差）；

（3）PKL（Philion et al., 2020）則作為自動(dòng)駕駛車(chē)輛基于行為變化指標(biāo)的代表。

人工合成數(shù)據(jù)測(cè)試

第一組實(shí)驗(yàn)的目標(biāo)是獲得各種評(píng)測(cè)方法對(duì)常見(jiàn)感知噪聲類(lèi)型在噪聲可控條件下的反應(yīng)的一些理解。數(shù)據(jù)集是從真實(shí)世界中收集和精心選擇的復(fù)雜道路測(cè)試場(chǎng)景生成。共有 1000 個(gè) 5s 長(zhǎng)的交通場(chǎng)景，每個(gè)場(chǎng)景交通參與者數(shù)量在 30-500 之間，含有由專(zhuān)業(yè)人員標(biāo)注的感知真值。

實(shí)驗(yàn)中考慮了如下常見(jiàn)類(lèi)型噪聲：

誤檢（假陽(yáng)性）錯(cuò)誤是在以自動(dòng)駕駛車(chē)輛為中心的一個(gè) 70x30 米的矩形范圍里隨機(jī)加入 “幽靈” 車(chē)輛，而這些車(chē)輛的其他運(yùn)動(dòng)信息從自動(dòng)駕駛汽車(chē)的運(yùn)動(dòng)信息通過(guò)隨機(jī)擾動(dòng)添加。

漏檢（假陰性）錯(cuò)誤是通過(guò)以一定的概率（即漏檢率）隨機(jī)從真值結(jié)果中移除物體來(lái)實(shí)現(xiàn)。

其他類(lèi)型的感知噪聲（速度，位置，朝向，大小等誤差）則通過(guò)直接向原始真值里添加高斯隨機(jī)噪聲實(shí)現(xiàn)。

在上述的不同強(qiáng)度噪聲下各個(gè)評(píng)估指標(biāo)的結(jié)果如下圖所示：

橫軸為噪聲強(qiáng)度，左縱軸為 NDS 和 SDE-APD，右縱軸為 PKL 和 TIP。在一些情況下，一旦噪聲達(dá)到一定水平， NDS 就會(huì)飽和（比如在速度噪聲上）。同理，包含大量人工設(shè)計(jì)的 SDE-APD 也在不同的噪聲強(qiáng)度下表現(xiàn)出了大量的非線性（比如速度噪聲上）。而 TIP 和 PKL 沒(méi)有依賴人工設(shè)計(jì)，表現(xiàn)出的靈敏度在各種噪聲強(qiáng)度區(qū)間里相對(duì)都比較一致。

研究者也單獨(dú)考察了一個(gè)如下圖所示的一個(gè)具體場(chǎng)景。

在這個(gè)場(chǎng)景里，x 軸上有三個(gè)物體：1）一個(gè)漏檢的靜態(tài)物體（坐標(biāo)為 x）；2）一個(gè)靜態(tài)物體在 x=50m；3）自動(dòng)駕駛車(chē)在 x=0 以大概 14m/s 的速度向 x 軸正前方前進(jìn)。有兩個(gè)不同的規(guī)劃器參與評(píng)測(cè)：1）AV-1（加速劇烈變動(dòng)厭惡型）針對(duì)駕駛舒適性做了優(yōu)化（最大剎車(chē)加速度為 -4m/s2）；2）AV-2（碰撞厭惡型）針對(duì)安全性做了優(yōu)化（最大剎車(chē)加速度為 -6m/s2）。

二者最小剎車(chē)距離分別為 30m 和 20m。在這個(gè)情況里，對(duì) AV-1 規(guī)劃器，TIP 認(rèn)為最關(guān)鍵的誤檢發(fā)生在 30m，因?yàn)檎系K物低于這個(gè)距離時(shí)即使能成功檢測(cè)到碰撞也無(wú)法避免，因此恰好在最小剎車(chē)距離的物體誤檢是最嚴(yán)重的（剛好能避免的碰撞發(fā)生的地方）。其他判據(jù)都沒(méi)有類(lèi)似的特點(diǎn)和分辨能力，NDS 和 SDE-APD 都表現(xiàn)出各項(xiàng)同性（都認(rèn)為發(fā)生在正后方和正前方同樣距離的誤檢影響都一樣），而 PKL 則認(rèn)為正前方的漏檢越近影響越大。

真實(shí)數(shù)據(jù)測(cè)試

第二組實(shí)驗(yàn)中，本文研究了部署在自動(dòng)駕駛車(chē)輛上的真實(shí)感知模塊的結(jié)果。以一個(gè) 3D 物體檢測(cè)模型為例，該模型可以從激光雷達(dá)點(diǎn)云中預(yù)測(cè)物體的類(lèi)別、位置、方向、速度和大小。TIP 獨(dú)立于特定的檢測(cè)器，可以應(yīng)用于評(píng)估各種感知模型。

如下圖所示為該車(chē)載模型在若干場(chǎng)景上用 PKL 和 TIP 評(píng)估的結(jié)果。

左圖為這些場(chǎng)景的同場(chǎng)景 PKL 和 TIP 分?jǐn)?shù)分布圖，可以看到有大量的點(diǎn)匯集在橫軸上，對(duì)應(yīng)那些行為變化不大，但是卻可能導(dǎo)致嚴(yán)重后果的感知錯(cuò)誤。其中被紅圈標(biāo)記的場(chǎng)景如右側(cè)兩幅圖所示。右側(cè)第一幅圖顯示在感知真值輸入時(shí)，自動(dòng)駕駛汽車(chē)可以通過(guò)緩慢制動(dòng)向前行駛，以保持與前面另一輛車(chē)的距離；然而當(dāng)實(shí)際的感知輸入包括噪聲時(shí)（右側(cè)第二幅圖），自動(dòng)駕駛汽車(chē)必須緊急制動(dòng)，以避免與前方近距離的誤檢車(chē)輛（紅色箭頭所示）發(fā)生碰撞。

在這兩種情況下，由于自動(dòng)駕駛車(chē)輛速度緩慢并且正在制動(dòng)（無(wú)論是緩慢制動(dòng)還是緊急制動(dòng)），行為的差異比較?。≒KL=-），但這個(gè)誤檢物體卻導(dǎo)致了嚴(yán)重的后果：誤檢物體導(dǎo)致了緊急制動(dòng)和虛擬碰撞（在真值感知輸入下的行為和誤檢物體之間），這種差異被 TIP（TIP=-）精確捕獲。

真實(shí)場(chǎng)景的自動(dòng)駕駛車(chē)輛的運(yùn)動(dòng)學(xué)數(shù)據(jù)為（a=-/s2, j=-/s3），噪聲場(chǎng)景下為（a=-/s2, j=-/s3）。而正常情況下的加加速度（jerk）一般不會(huì)超過(guò) 1m/s3。從系統(tǒng)的角度來(lái)看，這是一個(gè)嚴(yán)重的感知錯(cuò)誤。由此可見(jiàn)，TIP 能夠捕捉到被其他指標(biāo)所忽略的對(duì)自動(dòng)駕駛車(chē)輛規(guī)劃過(guò)程有重要影響的感知噪聲。

為了進(jìn)一步證明所提出的方法在場(chǎng)景層面的合理性，本文還實(shí)施了一套類(lèi)似于（Philion et al, 2020）中的主觀評(píng)估。為此，研究者收集了 258 對(duì)具有上述感知模型實(shí)際感知噪聲的場(chǎng)景，并檢查 TIP、PKL、SDE-APD 和 NDS 在相對(duì)嚴(yán)重程度上是否存在分歧（即一個(gè)評(píng)估方法認(rèn)為場(chǎng)景 A 的感知誤差比場(chǎng)景 B 的感知誤差更大，而另一個(gè)評(píng)估方法認(rèn)為相反）。

這些場(chǎng)景對(duì)由 10 個(gè)隨機(jī)選擇的人類(lèi)駕駛員進(jìn)行比較和評(píng)分，以決定從人類(lèi)的角度來(lái)看一個(gè)場(chǎng)景對(duì)里哪個(gè)場(chǎng)景更糟糕。結(jié)果表明，相比其他三個(gè)基準(zhǔn)評(píng)估方法人類(lèi)駕駛員更傾向于和 TIP 保持一致的結(jié)果，如下表所示。

應(yīng)用到神經(jīng)規(guī)劃器

除了具有明確定義效用函數(shù)的決策規(guī)劃過(guò)程，研究者提出的方法也可以應(yīng)用到一些端到端訓(xùn)練的神經(jīng)規(guī)劃器上，比如說(shuō)類(lèi)似（Bansal et al., 2019; Zeng et al., 2019; Philion et al., 2020）這樣的帶有車(chē)輛行為損失或者分布函數(shù)的規(guī)劃器。作為示范，研究者采用了（Philion et al., 2020）里帶有規(guī)劃行為概率輸出的神經(jīng)規(guī)劃器，并把輸出行為的概率分布函數(shù)作為效用函數(shù)帶入 TIP 中。

研究者使用 CBGS 檢測(cè)器（Zhu et al., 2019）在 nuScenes 數(shù)據(jù)集的 3D 檢測(cè)任務(wù)上驗(yàn)證集上獲得了如下的結(jié)果。

左圖是每個(gè)測(cè)試場(chǎng)景里 PKL-TIP 結(jié)果的分布圖。可以看到不少數(shù)量的點(diǎn)都在豎軸附近。其中一個(gè)點(diǎn)對(duì)應(yīng)的場(chǎng)景顯示在右側(cè)的四幅圖里：檢測(cè)真值，CBGS 檢測(cè)器結(jié)果，檢測(cè)結(jié)果與真值之差，神經(jīng)規(guī)劃器輸出（每種顏色代表某個(gè)時(shí)間點(diǎn)上規(guī)劃的車(chē)輛位置概率，其中每個(gè)時(shí)間點(diǎn)上概率最大的若干位置被置為 100% 飽和度方便可視化）。

在該場(chǎng)景里，兩種輸入下（考慮車(chē)輛運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)的約束后）最優(yōu)的選擇都是傾向于停留在原地。因此 PKL 直接計(jì)算原始結(jié)果里所有位置的分布偏差會(huì)認(rèn)為行為差異很大，而 TIP 只考慮車(chē)輛實(shí)際會(huì)執(zhí)行的行為，因此認(rèn)為這個(gè)具體情況下感知噪聲的影響不大。

TIP 還能用來(lái)直接評(píng)估每個(gè)場(chǎng)景里具體物體漏檢和位置上出現(xiàn)誤檢的影響，如下兩圖所示。

本圖展示了車(chē)輛漏檢嚴(yán)重程度的可視化結(jié)果。每個(gè)環(huán)境車(chē)輛都被單獨(dú)從真值結(jié)果里移除然后計(jì)算場(chǎng)景的 TIP 并把結(jié)果分?jǐn)?shù)作為不透明度繪制到該車(chē)輛上（所有環(huán)境車(chē)輛都為紅色）?？梢钥闯龃蟛糠直?TIP 認(rèn)為發(fā)生漏檢后果嚴(yán)重的環(huán)境車(chē)輛都是那些在自動(dòng)駕駛車(chē)輛（AV）行進(jìn)路徑上可能與之發(fā)生交互的車(chē)輛（而不是簡(jiǎn)單的距離最近的車(chē)輛）。

本圖展示了車(chē)輛誤檢嚴(yán)重程度的可視化結(jié)果。任給自動(dòng)駕駛車(chē)輛（AV）附近的一個(gè)位置，一輛被誤檢的車(chē)被添加到真值結(jié)果里然后計(jì)算場(chǎng)景的 TIP，并把結(jié)果分?jǐn)?shù)作為不透明度繪制到該位置上（用紅色標(biāo)記）。可以看出大部分被 TIP 認(rèn)為發(fā)生誤檢后果嚴(yán)重的位置都是那些在自動(dòng)駕駛車(chē)輛行進(jìn)路徑上可能與之發(fā)生交互的地方。

總結(jié)

本文提出了一個(gè)系統(tǒng)性框架，從自動(dòng)駕駛決策規(guī)劃的視角來(lái)評(píng)估感知結(jié)果里的噪聲對(duì)自動(dòng)駕駛影響的嚴(yán)重程度。該方法通過(guò)利用基于效用的規(guī)劃器的特性，有效地識(shí)別了在期望效用最大化的背景下可能導(dǎo)致決策規(guī)劃過(guò)程發(fā)生重大改變的感知噪聲。在人工合成數(shù)據(jù)和真實(shí)數(shù)據(jù)上進(jìn)行的大量實(shí)驗(yàn)表明，該方法能夠有效發(fā)現(xiàn)傳統(tǒng)的感知評(píng)估指標(biāo)以及只關(guān)注自動(dòng)駕駛最終行為的方法無(wú)法區(qū)分的感知錯(cuò)誤。

依托上述這種前沿、高效的感知評(píng)測(cè)方法，充分考慮微小感知噪聲對(duì)規(guī)劃結(jié)果的影響，并采用系統(tǒng)化的方法對(duì)感知能力進(jìn)行評(píng)估和優(yōu)化，輕舟智航提供的自動(dòng)駕駛通用方案感知能力正在得到飛速提升。

關(guān)于輕舟智航

基于高效的數(shù)據(jù)利用、超融合感知和獨(dú)創(chuàng)時(shí)空聯(lián)合規(guī)劃等核心技術(shù)，輕舟智航在 2022 年 11 月發(fā)布了「輕舟乘風(fēng)」高階輔助駕駛解決方案，目前已構(gòu)建起「高速 + 城區(qū)」NOA 的完整產(chǎn)品矩陣，并順利完成 2000 萬(wàn)級(jí)人口城市復(fù)雜路況挑戰(zhàn)。

今年 3 月，輕舟智航首發(fā)基于單征程 5 芯片的城市 NOA 版方案，通過(guò)對(duì)超融合感知大模型和多任務(wù)模型在架構(gòu)和性能方面的極致優(yōu)化，輕舟智航實(shí)現(xiàn)了更高的算力使用率，以更少的模型數(shù)量完成更多任務(wù)，最大限度地降低了算力需求，從而用單顆征程 5 芯片也能良好完成復(fù)雜場(chǎng)景下的感知和決策規(guī)劃，突破城市 NOA 性價(jià)比的天花板。

而在 4 月的上海國(guó)際汽車(chē)工業(yè)展覽會(huì)上，輕舟智航還發(fā)布了基于環(huán)視相機(jī)的 6V1R 視覺(jué)方案的高速 NOA 方案，并實(shí)現(xiàn)落地體驗(yàn)。該方案可實(shí)現(xiàn)行泊一體，通過(guò)復(fù)用傳統(tǒng)的泊車(chē)傳感器，提高硬件使用效率，進(jìn)一步降低了高速 NOA 的硬件成本。

這證明了輕舟智航行業(yè)領(lǐng)先的工程化能力，而這也得益于其背后的經(jīng)驗(yàn)豐富的技術(shù)團(tuán)隊(duì)以及體系化的工程治理團(tuán)隊(duì)；車(chē)規(guī)量產(chǎn)級(jí)、靈活配置的硬件方案；完善的自動(dòng)駕駛系統(tǒng)功能安全開(kāi)發(fā)流程，不斷有效加速輕舟產(chǎn)品在多車(chē)型、多場(chǎng)景中的落地。

行業(yè)的發(fā)展往往與技術(shù)的進(jìn)步息息相關(guān)，當(dāng)城市 NOA 處在量產(chǎn)落地的「前夜」，類(lèi)似「感知模塊測(cè)評(píng)」這樣的前沿議題將成為決定自動(dòng)駕駛方案性能和安全性的關(guān)鍵因素，也更加值得進(jìn)一步的探索。

參考文獻(xiàn)

Kant, I. Critik der reinen Vernunft. Johann Friedrich Hartknoch, 1781.

Osborne, M. and Rubinstein, A. A Course in Game Theory. MIT Press, 1994.

Philion, J., Kar, A., and Fidler, S. Learning to evaluate perception models using planner-centric metrics. In CVPR, 2020.

Deng, B., Qi, C. R., Najibi, M., Funkhouser, T., Zhou, Y., and Anguelov, D. Revisiting 3D object detection from an egocentric perspective. In NeurIPS, 2021.

Caesar, H., Bankiti, V., Lang, A., Vora, S., Liong, V. E., Xu, Q., Krishnan, A., Pan, Y., Baldan, G., and Beijbom, O. nuScenes: A multimodal dataset for autonomous driving. In CVPR, 2020.

Zhu, B., Jiang, Z., Zhou, X., Li, Z., and Yu, G. Class-balanced grouping and sampling for point cloud 3d object detection. arXiv preprint arXiv:, 2019.

Bansal, M., Krizhevsky, A., and Ogale, A. ChauffeurNet: Learning to drive by imitating the best and synthesizing the worst. In Robotics: Science and Systems (RSS), 2019.

Zeng, W., Luo, W., Suo, S., Sadat, A., Yang, B., Casas, S., and Urtasun, R. End-to-end interpretable neural motion planner. In CVPR, 2019.

?THE END

轉(zhuǎn)載請(qǐng)聯(lián)系本公眾號(hào)獲得授權(quán)

投稿或?qū)で髨?bào)道：content@

關(guān)鍵詞：