隨著計(jì)算、存儲(chǔ)以及網(wǎng)絡(luò)等技術(shù)的不斷發(fā)展，數(shù)據(jù)存儲(chǔ)方式開始不斷變化。對(duì)于需要大量數(shù)據(jù)的業(yè)務(wù)應(yīng)用來(lái)說(shuō)，服務(wù)器內(nèi)置存儲(chǔ)空間，或者說(shuō)內(nèi)置磁盤已不足以滿足存儲(chǔ)需要。
因此，在內(nèi)置存儲(chǔ)之外，服務(wù)器需要采用外置存儲(chǔ)的方式來(lái)擴(kuò)展存儲(chǔ)空間，比如集中式存儲(chǔ)和軟件定義存儲(chǔ)。前者即指通過(guò)一個(gè)或數(shù)個(gè)固定的盤陣控制器，連接幾個(gè)磁盤柜的方式，由盤陣控制器作為數(shù)據(jù)訪問(wèn)入口，為應(yīng)用服務(wù)器提供數(shù)據(jù)訪問(wèn)；后者是將所有存儲(chǔ)相關(guān)的訪問(wèn)和控制工作都以軟件的方式，部署在多臺(tái)普通服務(wù)器上，應(yīng)用可以通過(guò)網(wǎng)絡(luò)訪問(wèn)這些外部服務(wù)器上的數(shù)據(jù)。
相對(duì)于前者，軟件定義存儲(chǔ)由于更好的橫向擴(kuò)展能力、軟硬件解耦、更高可靠性和可用性，被越來(lái)越多行業(yè)和應(yīng)用所接受。目前，國(guó)內(nèi)從事軟件定義存儲(chǔ)的廠商不少，其中就包括了焱融科技。焱融科技成立于2016年，專注于軟件定義存儲(chǔ)技術(shù)的研發(fā)，數(shù)年的時(shí)間便創(chuàng)下不菲的成績(jī)，如2020年，焱融科技不僅獲取了國(guó)內(nèi)軟件定義存儲(chǔ)首個(gè)海外客戶，還實(shí)現(xiàn)了客戶接近400%，年銷售額300%以上的增長(zhǎng)。
那么，焱融科技是如何做到這樣高速發(fā)展的？其中YRCloudFile功不可沒。
焱融科技產(chǎn)品總監(jiān) 黎俊鴻
01分布式存儲(chǔ)產(chǎn)品——YRCloudFile
YRCloudFile是焱融科技推出的一款非結(jié)構(gòu)化數(shù)據(jù)統(tǒng)一存儲(chǔ)平臺(tái)，它可以在公有云、私有云環(huán)境下為客戶提供高性能、高擴(kuò)展以及云原生的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)；推出后不久，便一舉斬獲了IO500世界存儲(chǔ)性能挑戰(zhàn)的第六名。
焱融科技產(chǎn)品總監(jiān)黎俊鴻表示，YRCloudFile是經(jīng)過(guò)持續(xù)的企業(yè)/用戶訪談、技術(shù)交流、全面測(cè)試以及版本迭代推出的分布式存儲(chǔ)產(chǎn)品，其核心特色是產(chǎn)品的高性能特性，借助這一特性，YRCloudFile可以為人工智能、自動(dòng)駕駛領(lǐng)域中的訓(xùn)練環(huán)節(jié)，以及高計(jì)算環(huán)境中的數(shù)據(jù)加載運(yùn)算階段提供高速、穩(wěn)定的數(shù)據(jù)訪問(wèn)能力。
圖：YRCloudFile產(chǎn)品構(gòu)架圖
黎俊鴻告訴記者，YRCloudFile有3大主要特點(diǎn)：
海量小文件下的高性能，采用元數(shù)據(jù)節(jié)點(diǎn)集群化、多級(jí)智能緩存、智能預(yù)讀等多種技術(shù)，深度優(yōu)化海量文件讀寫性能、目錄訪問(wèn)熱點(diǎn)等問(wèn)題；
云原生容器存儲(chǔ)，提供了標(biāo)準(zhǔn)CSI接口，支持PV配額、Resize、QoS，分別從容量、IO性能上去對(duì)存儲(chǔ)資源做了隔離與規(guī)劃，通過(guò)PV Insight幫助管理員查看存儲(chǔ)卷內(nèi)部數(shù)據(jù)分布和冷熱情況；
支持公有云/混合云，YRCloudFile可以在阿里云、騰訊云、AWS等公有云上實(shí)現(xiàn)一鍵部署，在公有云上提供高性能的文件存儲(chǔ)服務(wù)，并通過(guò)冷熱數(shù)據(jù)分層功能使數(shù)據(jù)在不同層級(jí)之間流動(dòng)，從而降低存儲(chǔ)的總體擁有成本。
由于性能優(yōu)異，YRCloudFile目前已被百余家客戶應(yīng)用于生態(tài)環(huán)境中，包括中國(guó)移動(dòng)、科大訊飛、圖森未來(lái)、新石器、MORE VFX、樹根互聯(lián)、中國(guó)銀行等行業(yè)頭部企業(yè)，涉及人工智能、自動(dòng)駕駛、影視渲染、IoT、金融等多個(gè)應(yīng)用場(chǎng)景。
02自動(dòng)駕駛訓(xùn)練環(huán)節(jié)，YRCloudFile提供高性能服務(wù)
在自動(dòng)駕駛這一領(lǐng)域，焱融科技已和圖森未來(lái)、新石器等廠商達(dá)成了合作，為其提供數(shù)據(jù)存儲(chǔ)服務(wù)。
黎俊鴻告訴記者，自動(dòng)駕駛屬于人工智能中的垂直細(xì)分領(lǐng)域，包含了采集、標(biāo)注、計(jì)算等環(huán)節(jié)，只有通過(guò)這些環(huán)節(jié)形成一個(gè)模型，才能確保自動(dòng)駕駛的落地。然而，隨著越來(lái)越多的雷達(dá)、攝像頭等傳感器被部署在車上，各個(gè)環(huán)節(jié)的工作量與日俱增，尤其是一些高性能自動(dòng)駕駛汽車對(duì)數(shù)據(jù)的存儲(chǔ)需求更是巨大，一天生成的數(shù)據(jù)量便可達(dá)8TB左右。
圖：基于YRCloudFile高性能分布式文件存儲(chǔ)的自動(dòng)駕駛開發(fā)周期結(jié)構(gòu)圖
因此，如何高效，穩(wěn)定地保證自動(dòng)駕駛過(guò)程中收集到的大量數(shù)據(jù)能快速形成自動(dòng)駕駛的計(jì)算模型成了自動(dòng)駕駛企業(yè)CTO們關(guān)注的重要問(wèn)題。焱融科技推出的YRCloudFile分布式存儲(chǔ)產(chǎn)品便可解決訓(xùn)練過(guò)程中數(shù)據(jù)訪問(wèn)效率的問(wèn)題。
據(jù)黎俊鴻介紹，當(dāng)前，自動(dòng)駕駛領(lǐng)域的訓(xùn)練過(guò)程中，面臨著數(shù)據(jù)訪問(wèn)性能的瓶頸問(wèn)題。“自動(dòng)駕駛汽車中的傳感器會(huì)收集行駛中的數(shù)據(jù)，待數(shù)據(jù)收集完后，會(huì)以各種形式存放到數(shù)據(jù)中心，服務(wù)器在獲取數(shù)據(jù)時(shí)，由于存儲(chǔ)系統(tǒng)提供的訪問(wèn)速度跟不上GPU處理數(shù)據(jù)的速度，導(dǎo)致GPU出現(xiàn)閑置現(xiàn)象，進(jìn)而影響整個(gè)自動(dòng)化訓(xùn)練的進(jìn)程和效率，造成GPU資源浪費(fèi)，而YRCloudFile的定位便是解決自動(dòng)化駕駛訓(xùn)練過(guò)程中的數(shù)據(jù)存放和使用的問(wèn)題”。
黎俊鴻認(rèn)為，YRCloudFile的主要作用在于充分發(fā)揮GPU的計(jì)算能力，在短時(shí)間內(nèi)為GPU提供足夠的數(shù)據(jù)，讓GPU進(jìn)行充分計(jì)算，“比如，使用焱融科技YRCloudFile的存儲(chǔ)平臺(tái)，每秒可以為GPU提供獲取5GB到10GB的數(shù)據(jù)，極大地提高了GPU訪問(wèn)數(shù)據(jù)的效率。在自動(dòng)駕駛領(lǐng)域中，自動(dòng)駕駛功能的最終形成一定是經(jīng)過(guò)大量的訓(xùn)練。YRCloudFile的作用便是在大量的訓(xùn)練中，減少每個(gè)輪次的訓(xùn)練時(shí)間，使得自動(dòng)駕駛模型上市的時(shí)間可以提前，這就是YRCloudFile能為自動(dòng)駕駛企業(yè)帶來(lái)的核心價(jià)值。”黎俊鴻表示。
03數(shù)據(jù)存儲(chǔ)的未來(lái)方向
YRCloudFile的分布式存儲(chǔ)技術(shù)目前已被大量企業(yè)認(rèn)可，包括政府、金融、教育、醫(yī)療等多個(gè)機(jī)構(gòu)。據(jù)黎俊鴻介紹，與傳統(tǒng)式存儲(chǔ)方法相比，分布式存儲(chǔ)技術(shù)最核心的優(yōu)勢(shì)便是解決了當(dāng)前數(shù)據(jù)存儲(chǔ)中的兩大挑戰(zhàn)問(wèn)題。
即通過(guò)分布式存儲(chǔ)軟件，將云平臺(tái)中的并發(fā)存儲(chǔ)訪問(wèn)分散至分布式集群的各個(gè)節(jié)點(diǎn)，滿足云平臺(tái)上客戶端的存儲(chǔ)訪問(wèn)性能需求；分布式軟件可水平擴(kuò)展，使單集群容量實(shí)現(xiàn)按需擴(kuò)容，解決傳統(tǒng)存儲(chǔ)單套設(shè)備容量上限問(wèn)題。這兩個(gè)優(yōu)勢(shì)，使得分布式存儲(chǔ)技術(shù)在云環(huán)境及數(shù)據(jù)規(guī)模大的場(chǎng)景下，得到大量應(yīng)用和發(fā)展。
對(duì)于分布式存儲(chǔ)技術(shù)，黎俊鴻表示看好，并表示其有可能是未來(lái)存儲(chǔ)技術(shù)的主流發(fā)展方向。據(jù)他介紹，未來(lái)存儲(chǔ)技術(shù)的方向會(huì)朝著性能適配性和場(chǎng)景優(yōu)化性進(jìn)行突破。
“首先未來(lái)存儲(chǔ)技術(shù)一定會(huì)適配更多新型部件，包括品牌、網(wǎng)絡(luò)、架構(gòu)等，這意味著產(chǎn)品需要適配更加卓越的數(shù)據(jù)處理能力，因此如何發(fā)揮新型部件性能，是上層存儲(chǔ)技術(shù)供應(yīng)商必須要做出改進(jìn)的。其次，從發(fā)展的角度，未來(lái)存儲(chǔ)技術(shù)只有針對(duì)某些垂直場(chǎng)景進(jìn)行優(yōu)化，才能更好地布局該場(chǎng)景。比如目前的自動(dòng)駕駛、人工智能、視頻渲染等領(lǐng)域，只有從存儲(chǔ)的角度去理解、瞄準(zhǔn)該領(lǐng)域的特點(diǎn)進(jìn)行優(yōu)化，才能更好發(fā)展。”
現(xiàn)階段，焱融科技正處于快速發(fā)展時(shí)期，未來(lái)，為了不斷適應(yīng)各行業(yè)對(duì)于數(shù)據(jù)存儲(chǔ)的需要，焱融科技會(huì)持續(xù)進(jìn)行產(chǎn)品迭代，擴(kuò)展容器應(yīng)用、混合云存儲(chǔ)、統(tǒng)一非結(jié)構(gòu)化數(shù)據(jù)管理、Data Lakes等場(chǎng)景應(yīng)用，加速對(duì)優(yōu)勢(shì)場(chǎng)景覆蓋。同時(shí)，進(jìn)一步加強(qiáng)國(guó)際化，加強(qiáng)軟件訂閱模式的推廣以及保持3倍的銷售額增長(zhǎng)。
