隨著自動(dòng)駕駛技術(shù)在不同場(chǎng)景下的持續(xù)落地，目標(biāo)檢測(cè)作為其中的一項(xiàng)核心模塊，對(duì)檢測(cè)算法的精度和穩(wěn)定性要求越來(lái)越高。近日，在國(guó)際機(jī)器人技術(shù)與自動(dòng)化會(huì)議(ICRA 2021)舉辦的第四屆nuScenes三維目標(biāo)檢測(cè)挑戰(zhàn)賽中，來(lái)自百度研究院的機(jī)器人與自動(dòng)駕駛實(shí)驗(yàn)室(RAL)團(tuán)隊(duì)在三維物體檢測(cè)任務(wù)的多項(xiàng)評(píng)價(jià)指標(biāo)中榮獲第一，并將關(guān)鍵指標(biāo)nuScenes Detection Score (NDS)從上一屆的71.4%提升至74.9%，刷新了三維目標(biāo)檢測(cè)比賽成績(jī)。

榜單地址：https://www.nuscenes.org/object-detection?externalData=all&mapData=all&modalities=Any

　　第四屆nuScenes目標(biāo)檢測(cè)挑戰(zhàn)賽吸引了來(lái)自全球各地的多支參賽隊(duì)伍，不僅有百度、華為、滴滴等知名企業(yè)，還涵蓋了德克薩斯大學(xué)奧斯汀分校、上海交通大學(xué)、中國(guó)科技大學(xué)、哈爾濱工程大學(xué)等國(guó)內(nèi)外重點(diǎn)高校。

　　本屆挑戰(zhàn)賽使用的nuScenes[1]數(shù)據(jù)集是自動(dòng)駕駛目標(biāo)檢測(cè)領(lǐng)域中最流行的公開(kāi)數(shù)據(jù)集之一，集成了多種傳感器(如相機(jī)，LiDAR, Radar等)，提供了包含二維、三維物體標(biāo)注、點(diǎn)云分割、高精地圖等豐富的標(biāo)注信息。數(shù)據(jù)集整體共包含1000個(gè)場(chǎng)景、140萬(wàn)幀圖像、39萬(wàn)幀激光雷達(dá)點(diǎn)云數(shù)據(jù)、23個(gè)物體類(lèi)別、140萬(wàn)個(gè)三維標(biāo)注框，數(shù)據(jù)規(guī)模和難度遠(yuǎn)超之前的自動(dòng)駕駛數(shù)據(jù)集KITTI。

　　百度研究院的機(jī)器人與自動(dòng)駕駛實(shí)驗(yàn)室(RAL)團(tuán)隊(duì)在比賽中提出了一種多模態(tài)和多任務(wù)的信息融合框架FusionPainting[3] ,并且結(jié)合多模型融合等技術(shù)，推出了CenterPoint-Fusion的技術(shù)方案，將評(píng)價(jià)的關(guān)鍵指標(biāo)NDS從上一屆冠軍的71.4%提升至74.9%，全類(lèi)平均正確率(mean Average Precision)從上一屆冠軍的67.1%提升至72.4%。憑借本次挑戰(zhàn)賽中多個(gè)評(píng)測(cè)指標(biāo)第一的優(yōu)異成績(jī)，百度在自動(dòng)駕駛領(lǐng)域的技術(shù)實(shí)力再次彰顯。

　　CenterPoint-Fusion算法優(yōu)勢(shì)何在？

　　激光雷達(dá)(LiDAR)可以直接以三維點(diǎn)云的形式提供周?chē)鷪?chǎng)景的深度信息，因此廣泛的應(yīng)用于自動(dòng)駕駛的感知模塊中。但是相比于圖像數(shù)據(jù)，激光點(diǎn)云具有密度稀疏，紋理信息不豐富的缺點(diǎn),因此在檢測(cè)任務(wù)中對(duì)于物體的類(lèi)別分辨往往不準(zhǔn)確。

　　利用相機(jī)和Lidar之間的標(biāo)定參數(shù)，PointPainting[2]將圖像的語(yǔ)義信息附加到點(diǎn)云上，再利用融合的點(diǎn)云信息進(jìn)行物體檢測(cè)，能有效的提升檢測(cè)的精度。但是由于圖像分割器的特征圖尺寸大小的限制，分割結(jié)果在物體的邊界上有模糊效應(yīng)，再反投影到3D點(diǎn)云上時(shí)會(huì)造成物體邊界的點(diǎn)云類(lèi)別信息不準(zhǔn)確，從而影響最終檢測(cè)的效果。

　　相比于二維圖像分割有物體邊界模糊的缺點(diǎn)，直接在三維點(diǎn)云上進(jìn)行分割卻能得到清晰的物體邊界。為了有效的解決這種邊界模糊的問(wèn)題，百度提出了融合二維圖像分割與三維點(diǎn)云分割結(jié)果的FusionPainting框架[3]。對(duì)于每一個(gè)三維點(diǎn)，既通過(guò)二維圖像分割獲得語(yǔ)義信息，又通過(guò)三維點(diǎn)云分割獲得語(yǔ)義信息，最終通過(guò)一個(gè)自適應(yīng)的注意力模塊來(lái)對(duì)兩種信息進(jìn)行有效的融合。融合后的點(diǎn)云可以作為任何三維物體檢測(cè)器的輸入，從而最終得到三維物體檢測(cè)結(jié)果。

　　在此框架的基礎(chǔ)上，百度進(jìn)一步添加了多模型融合、半監(jiān)督學(xué)習(xí)、測(cè)試階段數(shù)據(jù)增強(qiáng)等技術(shù)，充分發(fā)揮多模態(tài)和多模型的作用，進(jìn)一步提升了目標(biāo)檢測(cè)的效果。

　　本次在nuScenes三維目標(biāo)檢測(cè)挑戰(zhàn)賽中奪冠的百度研究院機(jī)器人與自動(dòng)駕駛實(shí)驗(yàn)室，在自動(dòng)駕駛感知和機(jī)器人領(lǐng)域有著豐富的技術(shù)積累和成果輸出，研究成果發(fā)表在CVPR、ICCV、ECCV、NeurIPS、AAAI、ICRA 與IROS等頂級(jí)國(guó)際學(xué)術(shù)會(huì)議和《Science Robotics》，《IEEE T-PAMI》、《IEEE T-IP》、《IEEE T-ITS》、《SAGE IJRR》等頂級(jí)期刊上。

　　百度布局自動(dòng)駕駛以來(lái)，不僅在自動(dòng)駕駛技術(shù)和智能駕駛領(lǐng)域市場(chǎng)占據(jù)了先發(fā)優(yōu)勢(shì)，并通過(guò)持續(xù)深耕，在技術(shù)創(chuàng)新和應(yīng)用落地上也取得了令人矚目的成就。在自動(dòng)駕駛這場(chǎng)改變?nèi)祟?lèi)軌跡的長(zhǎng)跑中，百度還將繼續(xù)技術(shù)創(chuàng)新，做這條道路上堅(jiān)定的領(lǐng)跑者。

　　參考文獻(xiàn)：

　　Caesar, Holger and Bankiti, Varun and Lang, Alex H and Vora, Sourabh and Liong, Venice Erin and Xu, Qiang and Krishnan, Anush and Pan, Yu and Baldan, Giancarlo and Beijbom, Oscar. nuscenes: A multimodal dataset for autonomous driving. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 11621-11631.

　　Vora, Sourabh and Lang, Alex H and Helou, Bassam and Beijbom, Oscar. Pointpainting: Sequential fusion for 3d object detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 4604-4612.

　　Shaoqing Xu , Dingfu Zhou, Jin Fang, Junbo Yin, Bin Zhou and Liangjun Zhang. FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection. Accepted by IEEE International Conference on Intelligent Transportation Systems (ITSC), 2021.

特別提醒：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀(guān)點(diǎn)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。本站不承擔(dān)此類(lèi)作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。