北京2021年8月5日 /美通社/ -- 瀝青被太陽照過后會變硬,而沒有變硬的部分,可以用一些特殊的溶劑,把它給溶解掉。觀察到這一現象的法國人約瑟夫·涅普斯開始思考,“我能不能用同樣的方法來試試看,能不能把現實世界當中的景色給放進版畫里?”他想到后,就去做了。
涅普斯不會想到,他在1826年用瀝青曬干“鼓搗”出來的人類歷史上第一張照片,會在無意間開啟了人類通往影像世界的大門。
經歷近兩個世紀蝶變,影像技術與數字技術不斷融合,數字影像占據了行業主導。特別是隨著大數據和深度學習等新技術加持,影像大數據產業發展不斷提速,IDC研究表明,未來行業80%的行業數據將以照片、音頻、視頻等非結構化影像數據方式呈現。海量影像數據的“存”和“用”就像賽車兩個驅動輪,影響著各個行業在數字賽道上飛馳的速度。作為新存儲首倡者和引領者,浪潮存儲憑借五年五次霸榜的極致“造車”技術,持續為行業影像大數據處理提速。
行業影像數據大爆發 如何才能“接得住、存得快”
隨著行業數字化轉型不斷深入,企業數據資產從關鍵業務產生的結構化數據為主逐漸演變為非結構化影像數據為主,同時企業IT業務重心從數據管理變為數據運營。如何提升數據存儲性能,快速從巨量影像數據中獲取數據價值,成為企業提升競爭力的關鍵。
以金融行業為例,在Bank4.0趨勢下隨著銀行網點向營銷型、體驗型智慧網點轉變,各大銀行正全面推進無紙化辦公,票據、單證、電子驗印、影像審批等業務處理過程漸趨電子化,帶來了影像數據實時存儲和處理的需求井噴式增長。
浪潮存儲方案架構師Howar表示,“金融影像大數據就像螞蟻軍團,特點是‘個頭小’、‘數量多’,海量金融影像并發處理是典型的性能密集型場景”。Howar給算了筆賬,票據影像經過壓縮后,每個影像大小約在在幾十K至幾百K之間,多見的是100K左右的影像,但影像規模極為龐大,依據銀行規模與業務上線時間不同,單套存儲系統需要處理的影像規模達到數千萬至數億份。同時隨著金融監管要求日趨嚴格,大量錄音、錄像、圖片也需要實時保存并高效訪問。
不僅金融如此,在通信、能源、交通、媒資、科研、醫療等諸多行業,也同樣面臨影像大數據處理的挑戰,這個行業用戶的共性需求可以稱之為“性能現象級”。其中在通信行業,隨著14億人將衣食住行搬上網絡,移動互聯網2020年數據流量高達1656億GB;在互聯網行業,快手每天產生1.2億個內容標簽與用戶畫像實時匹配,內容精準推送背后是海量數據關聯碰撞的結果;在交通領域,網紅城市成都有超6000路交通視頻流實時匯入,每天需要處理1億張圖片、10次搜索。這些實時數據如同長江大河源源不斷、晝夜不息地注入后端數據基礎設施,如何“接得住、存得快、用得快”成為數據存儲面對的挑戰。
一道“性能”考題 引出三種范式
雖然大部分行業都面臨大數據處理挑戰,但不同行業、不同業務、不同數據生命周期的性能需求存在三種范式:以媒資4K/8K、腦成像研究等應用場景為代表,數據處理屬于“帶寬密集型”范式;以金融影像應用場景為代表,影像數據以海量小數據為主,屬于“IO密集型”范式。最后是混合型,在智慧交通、能源勘探等場景,在前期數據采集階段,海量數據流實時匯入給存儲帶寬提出了挑戰,到了后期人工智能分析階段,企業需要處理十億級乃至百億級小文件,需要極致IO能力來支撐。
Howar告訴我們,浪潮分布式存儲能夠以一套存儲滿足上述三種性能范式需求。浪潮存儲開發了業界首個“塊、文件、對象、大數據多合一”極簡架構和iTurbo智能加速引擎,此存儲系統能夠統籌管理數千個節點,實現性能線性擴展。
在帶寬密集型應用中,浪潮存儲通過聚合帶寬技術,能夠支撐數據流高速吞吐,確保海量影像洪流“接得住、存得快”。同時,浪潮存儲還能進行場景化定制,比如在石油勘探場景,浪潮存儲通過對去躁、振幅補償等多項作業的優化配置,提升了石油勘探批量作業的處理能力,增強了易用性,確保系統高速穩定運行。
在IO密集型場景,面對億級影像小文件并發處理的挑戰,傳統集中式NAS存儲有些力不從心。NAS文件系統架構采用樹形目錄結構,遍歷影像文件需要極大的資源消耗,當影像文件達到上億級別時,就會出現性能嚴重下降的問題。對此,浪潮分布式存儲一套存儲支持文件、對象等多種數據類型的優勢就顯示出來了:當用戶影像業務規模較小時,可以采用文件存儲方式,這種方式比較常見,占到中國分布式存儲約50%的市場份額,企業大部分運維人員都能輕松上手;隨著業務成長,一旦影像規模達到億級,可以采用對象方式進行扁平化管理。在對象存儲模式下,每個桶和對象都有一個全局唯一的ID,根據ID可快速實現對象的查找和數據的訪問,性能大幅提升。
浪潮存儲的極簡架構做得比較人性化,用戶可以根據業務需求,在多種數據服務之間進行資源切換,Howar表示。這項功能就好比浪潮存儲是一個工廠,用戶今天想開轎車就按轎車尺寸裝,過段時間想開SUV就把轎車拆了進行改裝,雖然在物理世界這個實現起來很有挑戰,但在數字世界還是被浪潮存儲實現了。
不僅如此,浪潮存儲還針對性能開發了iTurbo智能加速引擎,通過智能IO均衡、智能資源調度、智能元數據管理等創新技術,與自研NVMe SSD閃存盤進行系統級別聯調優化,讓百萬級IO均衡落盤且路徑更短,將存儲系統性能發揮到極致,有效地提升了從海量影像中“大海撈針”的效率。
五年五次飆榜 浪潮存儲將性能優勢轉化為市場競爭力
基于對行業“性能現象級”的洞察和存儲技術持續打磨,浪潮存儲實現五年五次性能飆榜。早在2017年浪潮存儲以超150萬IOPS創下了8控存儲的業界最高成績,時隔3年浪潮存儲以5倍的性能再獲16控、8控、單位成本性能三項冠軍。今年浪潮存儲在分布式存儲領域再次突破,實現五年五次霸榜,成為全球唯一一家在分布式存儲和集中式全閃存儲兩大賽道領跑的存儲廠商。
性能賽道的強大競爭優勢,促使浪潮存儲市場競爭力獲得提升,當前浪潮存儲已經進階全球前五,成為全球增長最為強勁的存儲廠商。在影像大數據處理領域,浪潮存儲已經在中國天眼天文大數據、清華大學頂級腦成像研究、中石油三維勘探、中國人壽內容管理等數百個行業新應用中規?;渴?。未來伴隨云、大數據、人工智能等新技術發展智算中心將迎來高速發展,浪潮存儲將持續賦能行業用戶,釋放數據價值加速數字化轉型。