青云QingCloud對象存儲在無人駕駛高精度地圖的場景實踐

時間:2020-04-23

來源:百家號

0

導語:2020年4月16日,2020年軟件定義存儲線上峰會第二天,青云QingCloud資深解決方案架構師張忠華,分享了對象存儲在無人駕駛所需的高精度地圖上的場景實踐,介紹了QingStor對象存儲的種種優勢以及許多針對該場景的特性,在面對特殊的數據處理需求時,QingStor對象存儲在架構上的許多創新也令人印象深刻。

   2020年4月16日,2020年軟件定義存儲線上峰會第二天,青云QingCloud資深解決方案架構師張忠華,分享了對象存儲在無人駕駛所需的高精度地圖上的場景實踐,介紹了QingStor對象存儲的種種優勢以及許多針對該場景的特性,在面對特殊的數據處理需求時,QingStor對象存儲在架構上的許多創新也令人印象深刻。

  無人駕駛為什么如此依賴高精度地圖

  許多人都知道無人駕駛,也沒幾個人不知道地圖,但高精度地圖并不是誰都知道的,簡單說,高精度地圖不是給人看的,而是給自動駕駛的汽車來用的,它和我們日常使用的二地圖差異非常大,它包含的信息也也更復雜。

  無人駕駛主要分為四個階段,感知、定位、決策和控制。感知階段中,車輛依靠車載傳感器獲取道路與環境信息,然而,在實際情況中,由于天氣、環境存在非常大的不確定性,僅僅依靠傳感器是無法實現自動駕駛的。每種傳感器都有各自的感知缺陷和限制,激光傳感器,高分辨率攝像機都會受到干擾,還都會有檢測盲區。

  高精度地圖就是為了解決這些問題,在無人駕駛第二階段定位和第三階段車輛的行使決策階段,都高度依賴高精度地圖來做出決策,高精度地圖對于無人駕駛來說是非常的重要。L3 級以上駕駛級別,高精度地圖是標準配置,沒有高精度地圖,車輛寸步難行。

  這就是高精度地圖和自動駕駛的關系,那么高精度地圖到底包含哪些具體的信息呢?

  原來,高精度地圖必須包含兩類數據:

  第一類,道路本身的數據,比如車道線位置、類型、寬度、坡度和曲率道路信息;

  第二類,環境信息,比如交通標志,信號燈,限行信息,路邊地標等基礎設施信息。

  由此可見,高精度地圖包含的信息是非常復雜和多樣的。

  由于地圖采集設備的精度不同,產生的數據大小也會不同,但可以看出,高精度地圖數據的體量極為龐大,一輛標準的數據采集車大概有4到5個傳感器,每臺數據采集車每天可采集百公里左右路程,大約會產生一個TB的數據。

  對于高精度地圖而言,采集和制圖,只是完成了無人駕駛地圖制作過程的10%的工作量,后期地圖長期的更新,可能需要占90%的工作量,地圖的更新一般都會采用車隊學習網絡(Fleet Learning Network),類似于P2P,每輛車最終都是地圖數據貢獻者,也是資源的享用者,特斯拉用的就是這種地圖的更新模式。

  在無人駕駛汽車正式量產后,上路行使時需要全天候不停讀取地圖數據,更大的壓力來自于實時地圖數據的更新。在后期地圖更新中,數據采集車帶來的大量數據并發壓力是非常大的。

  高精度地圖和QingStor 對象存儲

  高精度地圖的制作流程可以分為四個步驟:經過采集和預處理后,數據會寫入到對象存儲中,之后由對象存儲將數據輸出到AI超級訓練一體機,比如英偉達DGX-1,由訓練一體機做復雜的數據處理,超級訓練一體機性能非常強大,但面對采集到的海量數據,處理能力也會捉襟見肘,在它完成處理之前,采集到的數據仍需要存儲在對象存儲中,訓練完成后,數據需要寫回到對象存儲做長期留存。

  在這一場景中,對象存儲貫穿了整個高精度地圖的全部制作過程,負責海量地圖數據的轉儲以及后期地圖長期存儲,目前QingStor對象存儲在這一個場景中整體數據規模已經有10個PB,預估在三年后,總體規模會達到40PB。

  在這樣的場景中,QingStor對象存儲有一個具體的數據流架構圖,圖中可見,當數據由數據采集車完成以后,會通過程序接口將數據寫入到對象存儲中,再由AI訓練一體機DGX-1處理對象存儲中的數據,處理完成的數據再入對象存儲。

  該場景部署了單一全局統一命名空間的對象存儲集群,從架構上看,它并不復雜,唯一需要特別關注的點是使用對象存儲場景中,業務部門需要有一定的接口開發和對接的能力。在實際應用場景,高精度地圖對對象存儲也帶來了不少挑戰。

  高精度地圖帶來的挑戰以及對象存儲的應對之道

  首先一大挑戰是對性能和空間需求不確定性的挑戰,在地圖的前期制作過程中,采集車的數量是相對固定的,數據生成量也相對固定,從業務形態上來看,并發壓力也相對固定。然而,后期地圖更新則可能會導致較大并發,并發訪問壓力和數據寫入壓力變化比較大。

  面對這一情況,QingStor對象存儲采用了分層設計架構,主要核心的存儲平臺分為接入子系統和索引子系統以及負責具體數據存儲的存儲子系統,這樣就可以單獨根據并發壓力和存儲空間需求進行單獨擴展,而且不同角色的服務器節點還可以使用不同的配置,從而物盡其用,不浪費資源。

  第二個挑戰在于數據安全和服務可靠性。由于自動駕駛過程中對地圖依賴度比較高,對于數據訪問可靠性的要求極高,但是分布式存儲在海量存儲場景下,在有節點故障或者擴容時都需要對數據進行重構和平衡,對數據進行重構和平衡的出發點是好的,它可以讓節點的負載更加均衡,但在超大規模的數據場景下,在局部的新增和刪除可能都會對集群產生影響,如何避免對于數據訪問可靠性的影響呢?

  QingStor對象存儲將龐大的存儲集群分成若干個存儲服務器小組來縮小故障域,不同的存儲組之間毫無關聯,他們只接收來自接入層的服務調度。

  當有節點故障時,只會對同組的三個節點有影響,不會影響到別的存儲組,從而避免對整個集群的影響。當需要擴容時,優先寫入新擴容的節點,只將數據寫入優先級權重比較大的存儲組中,舊存儲組的數據不做任何變動。這樣就規避了對于超大規模集群的影響。

  第三個挑戰在于數據類型的多樣性。地圖采集的數據類型非常豐富,常規存儲都會對數據進行固定分片,分片一定在程度上是會影響存儲效率的。QingStor對象存儲不做分片,用戶可以設定在一定范圍內的數據都不做任何處理,直接生成副本,讓用戶按照需求設置,從而保證不同類型和大小文件的存儲效率。

  第四個挑戰來自于數據交互平臺的多樣性,地圖的制作過程中會涉及多個地圖制作平臺和軟件,涉及到多種開發語言接口,QingStor對象存儲的SDK支持大多數語言,除了支持S3之外,還支持許多青云QingCloud自有的API接口。

  由于此類場景會涉及數據遷移和導入導出,所以,也需要對象存儲支持多種數據遷移工具,QingStor對象存儲支持業界主流的云廠商對象存儲,可以提供工具在這些平臺之間自定義數據源和數據目標。

  QingStor對象存儲帶來的收益和價值

  QingStor對象存儲在高精度地圖場景中表現出的價值主要有四點:

  第一,較高的ROI回報,分層架構的設計,可以支持用戶根據業務需求進行擴容,可以減少資源浪費問題。

  第二點,QingStor對象存儲技術架構非常成熟,經過了大規模公有云平臺驗證,用戶不需要考慮太多的存儲平臺層的設計,只需專注在業務上。

  第三點,較高的性價比,目前QingStor對象存儲應用較為普遍,除了今天說的用在無人駕駛領域,在大數據分析平臺上也能作為大數據平臺的數據存儲,可以作為數據源和數據存儲目標,用一套平臺實現多種用途,降低整體的TCO。

  第四點,極低的運維成本,QingStor對象存儲作為一款穩定的商業級產品,擁有完善的服務技術支持團隊,如果出現一些問題,技術團隊會在第一時間做除響應,對用戶來說,大規模數據集場景中只需要很少的運維人員,用戶反映說,在運維上的投入非常少,不需要運維人員具備非常深厚的知識。

  QingStor對象存儲有大規模服務的經驗,在產品上有許多非常有針對性的特性和服務,在生態上,與業界很多廠商做了一些聯合解決方案。

  QingStor企業級分布式存儲家族除了有對象存儲,還有文件存儲和塊存儲,作為一個獨立的存儲產品線,可以脫離公有云,進行私有化部署。如今的QingStor企業級分布式存儲廣泛地服務于銀行、保險、能源、制造、醫療和傳媒等行業。QingStor用基于x86的軟件定義存儲可以幫助傳統企業降低TCO,同時加速傳統企業的數字化轉型升級。

低速無人駕駛產業綜合服務平臺版權與免責聲明:

凡本網注明[來源:低速無人駕駛產業綜合服務平臺]的所有文字、圖片、音視和視頻文件,版權均為低速無人駕駛產業綜合服務平臺獨家所有。如需轉載請與0755-85260609聯系。任何媒體、網站或個人轉載使用時須注明來源“低速無人駕駛產業綜合服務平臺”,違反者本網將追究其法律責任。

本網轉載并注明其他來源的稿件,均來自互聯網或業內投稿人士,版權屬于原版權人。轉載請保留稿件來源及作者,禁止擅自篡改,違者自負版權法律責任。

如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系,否則視為放棄相關權利。

關注低速無人駕駛產業聯盟公眾號獲取更多資訊

最新新聞