訂閱
糾錯
加入自媒體

西部數(shù)據(jù)副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼:創(chuàng)新存儲架構(gòu) 突破IPFS算力瓶頸 西部數(shù)據(jù)的這些技術(shù)探索

2021-04-19 16:03
來源: 粵訊

隨著疫情的平穩(wěn),2021年CITE也于上周五在中國創(chuàng)新之都深圳的國家會展中心,拉開了序幕。在歷經(jīng)了罕見的全球化疫情侵?jǐn)_后,數(shù)據(jù)的價(jià)值進(jìn)一步被放大,在大數(shù)據(jù)的強(qiáng)大算力支持下,智慧醫(yī)療,AI配送,在線教育,云監(jiān)管等一系列,基于數(shù)據(jù)存儲的業(yè)務(wù)在疫情之下實(shí)現(xiàn)了爆發(fā)性的增長,也讓越來越多的從業(yè)者意識到數(shù)據(jù)的真正意義。

在此背景下,來自全球的各大數(shù)據(jù)存儲大廠集結(jié)深圳CITE,共同出席了深圳國際大數(shù)據(jù)與存儲峰會,并分享了它們對于大數(shù)據(jù)和存儲產(chǎn)業(yè)的行業(yè)發(fā)展和產(chǎn)業(yè)動態(tài)。作為數(shù)據(jù)基礎(chǔ)架構(gòu)提供商的西部數(shù)據(jù),此次也攜眾多合作伙伴共同出席此次峰會,同時(shí),西部數(shù)據(jù)副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼先生,發(fā)表了《創(chuàng)新存儲架構(gòu) 突破IPFS算力瓶頸》的主題演講,引發(fā)行業(yè)熱議。

image.png

<西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

01 迭代存儲架構(gòu) 高效存儲數(shù)據(jù)撬動數(shù)字經(jīng)濟(jì)新動能

劉鋼先生一上臺,便以一組數(shù)據(jù)作為引子,與在場的觀眾分享了當(dāng)下和未來大數(shù)據(jù)存儲的發(fā)展趨勢。

通過數(shù)據(jù)表格,可以發(fā)現(xiàn)幾個有趣的現(xiàn)象,在HDD方面,“在2024年的時(shí)候,以HDD為代表的大數(shù)據(jù)預(yù)計(jì)將增長到1.62ZB,那從現(xiàn)在開始到2024年,年化增長率在30%左右”,“而在SSD為代表的快數(shù)據(jù)方面,2024年快數(shù)據(jù)存儲預(yù)計(jì)將達(dá)到333EB,年化增長率幾乎接近50%”,這表明在絕對增長上,無論是大數(shù)據(jù)還是快數(shù)據(jù),都有著相當(dāng)?shù)幕盍蜐摿Α?/p>

image.png

<西部數(shù)據(jù)公司副總裁兼中國區(qū)業(yè)務(wù)總經(jīng)理劉鋼>

而每年產(chǎn)生如此多堪比石油、黃金的數(shù)據(jù),又有多少被安全高效的存儲了呢?答案是大概1.5%,“因?yàn)樵?024年產(chǎn)生的數(shù)據(jù)有143個ZB,大數(shù)據(jù)只存入了1.62個ZB,快數(shù)據(jù)333個EB(0.333ZB),所以加在一起也小于當(dāng)年產(chǎn)生的數(shù)據(jù)的1.5%!

那么剩余的超過98%的數(shù)據(jù)為何無法被安全高效存儲呢?原因在于存儲架構(gòu)的老舊和存儲技術(shù)的落后,劉鋼先生表示,我們需要創(chuàng)新存儲架構(gòu),為更多海量的數(shù)據(jù)進(jìn)行存儲、挖掘和分析,唯有如此,才能更好的利用數(shù)據(jù),撬動數(shù)據(jù)經(jīng)濟(jì)的新動能。

02 去中心化的IPFS架構(gòu)降低存儲成本 創(chuàng)新存儲架構(gòu)

面對新興的存儲需求,存儲架構(gòu)的迭代和創(chuàng)新也面臨的諸多的挑戰(zhàn),劉鋼先生總結(jié)到,“創(chuàng)新存儲架構(gòu)的挑戰(zhàn)總結(jié)來說就是用戶既需要大容量、也需要快速訪問、又需要低成本、還需要低功耗。那么有沒有一個存儲設(shè)備或者一種存儲介質(zhì)能夠同時(shí)滿足這四個方面的需求?”

實(shí)際上,幾乎很難從存儲設(shè)備或存儲介質(zhì)方面,找到能夠滿足這四個方面需求的完美解決方案?僧(dāng)你從部分的存儲設(shè)備和介質(zhì)中剝離開來,回到整體或系統(tǒng)化的進(jìn)行存儲架構(gòu)的創(chuàng)新時(shí),就會發(fā)現(xiàn)這個棘手的問題,有了解決的可能。

其中,以去中心化為特點(diǎn)的IPFS存儲架構(gòu),相較于傳統(tǒng)的中心化思路的云存儲服務(wù)商,能夠顯著的節(jié)省它們的服務(wù)提供成本,進(jìn)而降低整體系統(tǒng)的存儲成本。

03大數(shù)據(jù)存儲解決方案:企業(yè)級高密度的HDD

接下來,劉鋼從傳統(tǒng)大數(shù)據(jù)存儲和新興的快數(shù)據(jù)存儲兩個方面,為在場的行業(yè)同仁分享了西部數(shù)據(jù)進(jìn)行的一些技術(shù)探索。

在分享技術(shù)探索之前,劉鋼也引入了一個新的概念和理解,他表示,“數(shù)據(jù)是有價(jià)值的,同時(shí)數(shù)據(jù)也是有分層的,我們把它簡單分成五層,有極熱數(shù)據(jù)、熱數(shù)據(jù)、溫?cái)?shù)據(jù)、冷數(shù)據(jù)和極冷數(shù)據(jù)!

根據(jù)數(shù)據(jù)分層不同,數(shù)據(jù)延遲,應(yīng)用場景和成本制造也有著明顯的區(qū)別,就以大數(shù)據(jù)存儲而言,基于其少量寫入、大量讀取、大量數(shù)據(jù)的應(yīng)用特性,西部數(shù)據(jù)將其歸為極冷數(shù)據(jù)和冷數(shù)據(jù)類別,并為其提供了業(yè)界單碟最高2.2TB,總?cè)萘窟_(dá)20TB的Ultrastar DC HC650,這是一款定位于極冷數(shù)據(jù)的SMR HDD,更低的TCO&Watt/TB,更小的體積,能夠極大的節(jié)省大數(shù)據(jù)存儲的采購和運(yùn)維成本。

當(dāng)然,對于HDD有著一定性能需求的數(shù)據(jù)中心,西部數(shù)據(jù)也提供了性能更強(qiáng),存儲容量依舊夸張的Ultrastar DC HC550,這款HDD,采用的是CMR架構(gòu),并通過三級磁臂設(shè)計(jì),進(jìn)一步提高硬盤性能,同時(shí)在容量方面,也達(dá)到了18TB,能夠滿足以IPFS為代表的眾多服務(wù)商的存儲需求。

無論是18TB還是20TB,西部數(shù)據(jù)提供的更大容量單盤HDD,能夠顯著的提升單位功耗,降低服務(wù)器基準(zhǔn)成本以及服務(wù)器總體擁有成本,也被包括DropBox在內(nèi)的云服務(wù)商率先進(jìn)行了驗(yàn)證和適用。

image.png

<峰會現(xiàn)場西部數(shù)據(jù)展臺>

04 快數(shù)據(jù)存儲解決方案:閃存優(yōu)勢+縱向集成

至于在以SSD為核心,追求高性能計(jì)算的密集型工作負(fù)載,或是主流的讀寫均衡混合型的工作負(fù)載,西部數(shù)據(jù)依舊有一系列針對性解決方案。

無論是密集型或是均衡混合型,其背后都需要高性能SSD進(jìn)行硬件支撐。而西部數(shù)據(jù)在SSD領(lǐng)域擁有著多年的研發(fā)經(jīng)驗(yàn)和深厚的技術(shù)積累。

首先是關(guān)于SSD中NAND閃存產(chǎn)量方面,SSD的成本核心在于NAND閃存,而西部數(shù)據(jù)作為全球領(lǐng)先的NAND原廠,和合作伙伴鎧俠一同占據(jù)全球三分之一的原廠份額,同時(shí)西部數(shù)據(jù)擁有穩(wěn)固的NAND產(chǎn)業(yè)領(lǐng)導(dǎo)力,以及固定的NAND技術(shù)投資承諾,使得它能夠在NAND閃存的制造和產(chǎn)能方面有著絕對話語權(quán)。

其次在閃存技術(shù)方面,劉鋼先生表示,“我們剛剛發(fā)布了第6代3D閃存技術(shù),162層的3D閃存技術(shù),會進(jìn)一步地縮小芯片的尺寸,降低成本、提高性能。它的程序性能可以提高兩倍以上,輸入輸出的IOPS提高約66%”,隨著第六代3D閃存的問世,西部數(shù)據(jù)將繼續(xù)保持在NAND領(lǐng)域的領(lǐng)導(dǎo)地位。

最后,更為關(guān)鍵的是縱向集成優(yōu)勢,SSD作為一個高度集成化的產(chǎn)物,不僅需要各個組件的高質(zhì)高性能,更需要有優(yōu)秀和可靠校正和優(yōu)化,進(jìn)而發(fā)揮所有組件的潛能。而西部數(shù)據(jù)集成了完全自主的NAND顆粒,SSD主控器以及固件于一體,能夠輕松完成產(chǎn)品的校正和優(yōu)化,進(jìn)一步提升SSD產(chǎn)品的性能和穩(wěn)定性。

因而,無論是針對讀寫均衡的混合工作負(fù)載還是密集型工作負(fù)載,西部數(shù)據(jù)都有能力匹配和提供相應(yīng)的SSD,以滿足客戶需求。

05 IPFS存儲創(chuàng)新解決方案以及合作伙伴的解讀

如果將上述的存儲技術(shù)和存儲架構(gòu)應(yīng)用到IPFS領(lǐng)域,又能產(chǎn)生哪些新應(yīng)用呢?劉鋼分享到,“目前IPFS服務(wù)商的存儲痛點(diǎn),主要有數(shù)據(jù)吞吐量低、空間利用率低、難擴(kuò)容、總體擁有成本高、運(yùn)維低效以及故障懲罰高等,但是通過西部數(shù)據(jù)提供的一系列存儲新架構(gòu)和存儲新產(chǎn)品,能夠針對性解決上述諸多問題!

劉鋼再次分享和推薦了,和西部數(shù)據(jù)共同建展的諸多IPFS合作伙伴,并通過它們的案例為在場從業(yè)者,提供了相應(yīng)的IPFS的存儲解決思路。

首先是西部數(shù)據(jù)、星辰天合、浪潮聯(lián)合推出的IPFS解決方案,通過部署西部數(shù)據(jù)Ultrastar DC HC550 18TB硬盤,顯著提高了的存儲容量,同時(shí)降低集群的節(jié)點(diǎn)數(shù)量,節(jié)省能耗、機(jī)柜空間等相應(yīng)成本;

其次則是西部數(shù)據(jù)與杉巖數(shù)據(jù)攜手賦能IPFS存儲,西部數(shù)據(jù)與杉巖數(shù)據(jù)聯(lián)合推出了融合了杉巖 MOS海量對象存儲系,Ultrastar DC SN840/640、Ultrastar DC HC550和JBOD存儲平臺的 IPFS解決方案。通過構(gòu)建高性能、大容量、低成本、簡運(yùn)維的存儲方案,極大的降低IPFS業(yè)務(wù)的總體擁有成本,全面提升經(jīng)濟(jì)效益。

image.png

< 西部數(shù)據(jù)Ultrastar DC SN840 NVMe SSD和西部數(shù)據(jù)Ultrastar DC HC550 18TB HDD>

最后,西部數(shù)據(jù)還攜手長城超云打造了IPFS“新范式”,以及牽手靈動公司,提供西部數(shù)據(jù)的存儲解決方案,進(jìn)一步提升用戶效應(yīng)。

“所以總結(jié)來講,針對Web3.0或者IPFS的基礎(chǔ)設(shè)施架構(gòu),針對它的存儲集群,我們有高密度的磁盤擴(kuò)展柜、大容量的18T硬盤,還有Ultrastar DC SN640 NVMe SSD來作為緩存。

針對它的計(jì)算集群,我們有Ultrastar DC SN640 NVMe SSD,還有Ultrastar DC SN840 NVMe SSD寫密集型的SSD!

劉鋼在整個主題演講的末尾做了總結(jié),西部數(shù)據(jù)能為廣大的用戶群體提供的各種不同需求的存儲解決方案。同時(shí),西部數(shù)據(jù)也能夠就IPFS的計(jì)算和存儲優(yōu)化,進(jìn)行更多的技術(shù)合作,共同推動未來數(shù)據(jù)存儲架構(gòu)的激活和發(fā)展。

聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標(biāo)題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號