此次Waymo公布的數(shù)據(jù)集包含了3000段平均時長為20秒的駕駛記錄,整個數(shù)據(jù)集包含六十萬幀數(shù)據(jù),約2500萬3D邊界框、2200萬2D邊界框,以及多樣化的自動駕駛場景。數(shù)據(jù)公開之后,Waymo無人車傳感器的特點也將一覽無余。
Waymo公開自動駕駛數(shù)據(jù)集
但Waymo公開數(shù)據(jù)集的做法在自動駕駛行業(yè)內(nèi)并首例。2018年3月8日,百度Apollo自動駕駛開放平臺正式加入加州大學(xué)伯克利DeepDrive深度學(xué)習(xí)自動駕駛產(chǎn)業(yè)聯(lián)盟,正式開放ApolloScape大規(guī)模自動駕駛數(shù)據(jù)集,這一舉措將學(xué)術(shù)與企業(yè)緊密相連,也為無人車行業(yè)如虎添翼。
自動駕駛感知技術(shù)眾多且難度大,其主要目的是實現(xiàn)場景的語義理解。以檢測技術(shù)為例,其目的是在圖像或者點云中找到涵蓋物體的二維或者三維矩形框。現(xiàn)有的包括Waymo發(fā)布的數(shù)據(jù)集主要針對的就是這類檢測技術(shù)。作為較為領(lǐng)先開放的數(shù)據(jù)集,ApolloScape是行業(yè)內(nèi)環(huán)境最復(fù)雜、標(biāo)注最精準(zhǔn)的三維自動駕駛公開數(shù)據(jù)集。更重要的是,ApolloScape為開發(fā)更多的自動駕駛感知技術(shù)提供了不同的數(shù)據(jù)集,這些數(shù)據(jù)集可服務(wù)于,除了上述的物體檢測技術(shù),還包括物體及實例級別的分割技術(shù),三維姿態(tài)估計,物體軌跡跟蹤技術(shù),相機(jī)自主定位技術(shù),深度圖像估計技術(shù)等等。目前ApolloScape已經(jīng)發(fā)布了五個公開數(shù)據(jù)集包括場景解析,細(xì)粒度車道線,定位,三維車輛擬合和稠密軌跡。
ApolloScape中的場景解析(scene parsing)數(shù)據(jù)集包括了14.7萬幀的具備逐像素語義標(biāo)注的圖像,相對于包括Waymo在內(nèi)的僅具備矩形框標(biāo)注的數(shù)據(jù)集,像素級標(biāo)注提供了更為細(xì)致的而且不受物體間的遮擋影響的場景信息,旨在推動更為精準(zhǔn)的視頻場景語義理解技術(shù)。除了二維視頻圖像,其每幀相關(guān)的三維點云也被逐點標(biāo)注了語義信息。另外,圖像的逐像素標(biāo)注的時間工作量超過了矩形框標(biāo)注的工作量十倍以上。
道路線是一項基礎(chǔ)的路面元素, ApolloScape車道線數(shù)據(jù)集提供了28類不同的道路線分類的逐像素級別和以及三維逐點級別的數(shù)據(jù)集,這是目前所有公開數(shù)據(jù)集都不具備的標(biāo)注信息。
無人車需要精準(zhǔn)的定位系統(tǒng)用以獲取一系列信息,例如自身的位置,前方的情況,以及行駛區(qū)。其中定位精度一般需要控制在10厘米以內(nèi)以避免出現(xiàn)碰撞和車道偏離的情況。ApolloScape自定位 (self-localization)數(shù)據(jù)集提供了近30萬張帶有高精GPU/IMU信息的覆蓋近28公里的圖像。
此外,如何利用圖像快速感知周圍車輛的三維位姿對于自動駕駛也至關(guān)重要。為了推進(jìn)此問題的研究, ApolloScapeCar3D數(shù)據(jù)集應(yīng)運(yùn)而生。此數(shù)據(jù)集采集于中國的不同的城市,包含5,277多幅真實駕駛場景、6萬多車輛的三維標(biāo)注數(shù)據(jù)。除了車輛的三維位姿之外,百度還同時開放了真實三維車模型,66個三維/二維車輛關(guān)鍵點數(shù)據(jù)。接下來,我們或進(jìn)一步開放部件級別的、稠密的三維車輛標(biāo)注。
ApolloScape的物體軌跡跟蹤數(shù)據(jù)集提供了圖像和點云上的物體運(yùn)動軌跡,其涵蓋了不同的光照條件以及大量的車/人/騎行混雜的交通流,旨在推動物體跟蹤以及運(yùn)動行為預(yù)測技術(shù)。軌跡數(shù)據(jù)全長到2.5個小時,這個比現(xiàn)有的最大的軌跡數(shù)據(jù)集(NGSIM)大了三倍。
自2018年3月的發(fā)布以來,ApolloScape數(shù)據(jù)集已經(jīng)被全球范圍內(nèi)下載上萬次。由于其重要性,計算機(jī)視覺領(lǐng)域內(nèi)頂級的雜志IEEE TPAMI收錄了關(guān)于這個數(shù)據(jù)集的科技文章,這也是目前我們所知的唯一一篇發(fā)表在TPAMI上的關(guān)于自動駕駛數(shù)據(jù)集的文章?；谶@些數(shù)據(jù)集,百度在世界級的頂會(例如CVPR和ECCV)和頂級平臺上(例如Kaggle)上主持了多項競賽。這些競賽吸引了來自全球范圍內(nèi)上千個參賽隊伍,其中包括英偉達(dá),斯坦福大學(xué),曠世,優(yōu)圖等著名的公司和大學(xué)。
除上述數(shù)據(jù)集外,之后,更多類型、更多屬性的數(shù)據(jù)將持續(xù)加入ApolloScape,百度將最大程度地還原真實世界的場景,打造最大的自動駕駛開放平臺以促進(jìn)行業(yè)發(fā)展。
充分利用ApolloScape這個高精度數(shù)據(jù)集,百度同時開發(fā)了一種增強(qiáng)現(xiàn)實的自動駕駛仿真系統(tǒng),為自動駕駛車輛提供更為可靠且廉價的仿真模擬方法,可大規(guī)模用于訓(xùn)練和測試評估自動駕駛系統(tǒng)的感知、決策和路徑規(guī)劃算法。該系統(tǒng)相較于現(xiàn)有仿真系統(tǒng),在真實感、擴(kuò)展性等方面都實現(xiàn)了突破性的技術(shù)進(jìn)展,并發(fā)表于《科學(xué)》雜志《機(jī)器人學(xué)》子刊?！犊茖W(xué)》雜志是全球最權(quán)威的學(xué)術(shù)期刊之一,代表了人類自然科學(xué)研究的最高水平?！犊茖W(xué)·機(jī)器人學(xué)》雜志是其五個子刊之一,平均每期刊出不多于4篇的研究類文章,刊載難度很大。同時,該系統(tǒng)被超過70家國內(nèi)外主流媒體報道。
在自動駕駛的開發(fā)測試中,優(yōu)質(zhì)的真實數(shù)據(jù)是必不可少的“原料”,少有團(tuán)隊有能力開發(fā)并維持一個適用的自動駕駛平臺,定期校準(zhǔn)并收集新數(shù)據(jù),然而百度擔(dān)起了行業(yè)發(fā)展的重任,最終搭建起了可供學(xué)界和業(yè)界參考學(xué)習(xí)的開放數(shù)據(jù)集,這一點在行業(yè)發(fā)展的過程中顯得尤為可貴,為之后國內(nèi)外無人車研究的學(xué)者和企業(yè)提供了巨大幫助。
一個新興行業(yè)的健康發(fā)展從來不是一家獨(dú)大,而是以開放的心態(tài)分享各自的技術(shù)突破,接受來自各界的交流合作?？萍紵o國界,百度早就掀起了數(shù)據(jù)開放、共享的浪潮,掀起了世界范圍內(nèi)的協(xié)同合作。百度Apollo一直在為自動駕駛行業(yè)快速發(fā)展作出努力,百度Apollo開放平臺秉承開放理念,將繼續(xù)以寬廣的胸懷向業(yè)內(nèi)分享自身的成果、提出發(fā)展戰(zhàn)略,不僅是數(shù)據(jù)公開,百度今后也在構(gòu)建可持續(xù)發(fā)展的行業(yè)生態(tài)道路上大步向前。
