侵權(quán)投訴
訂閱
糾錯(cuò)
加入自媒體

突破存儲(chǔ)與算力極限,破譯生命科學(xué)領(lǐng)域密碼

2020-10-15 15:26
來源: 粵訊

基因技術(shù)的發(fā)展正在使人類在消病延年的路上不斷向前。例如通過檢測(cè)腫瘤基因特征片段提早預(yù)防癌癥,對(duì)孕婦進(jìn)行無(wú)創(chuàng)傷的產(chǎn)前先天遺傳缺陷檢測(cè)等,因此基因檢測(cè)技術(shù)被比作破解生命密碼的終極鑰匙。

基因測(cè)序最主要的下游應(yīng)用是臨床檢測(cè)和科研服務(wù),是精準(zhǔn)醫(yī)療的重要落腳點(diǎn)。針對(duì)發(fā)病原因復(fù)雜的疾病,基因測(cè)序可以實(shí)現(xiàn)對(duì)個(gè)人的基因組分析,提供個(gè)性化診斷,在精準(zhǔn)度和信息密度上遠(yuǎn)超其他診斷方式。隨著基因測(cè)序技術(shù)發(fā)展至第三代,市場(chǎng)規(guī)模不斷擴(kuò)大,進(jìn)入高速發(fā)展期。

突破存儲(chǔ)與算力極限,破譯生命科學(xué)領(lǐng)域密碼

為提升基因測(cè)序任務(wù)的速度,向更多客戶提供更高效的服務(wù),提供該項(xiàng)服務(wù)的企業(yè)需要部署多套基因測(cè)序平臺(tái)和高性能計(jì)算平臺(tái),來支撐海量下機(jī)數(shù)據(jù)的分析和存儲(chǔ)。這就面臨一個(gè)亟待解決的現(xiàn)實(shí)問題,在基因測(cè)序成本降低、測(cè)序樣本數(shù)量快速增大的前提下,基因測(cè)序行業(yè)特定需求對(duì)存儲(chǔ)系統(tǒng)和算力都提出了挑戰(zhàn):

數(shù)據(jù)容量巨大

基因測(cè)序過程中產(chǎn)生的PB級(jí)海量文件數(shù)據(jù),對(duì)業(yè)務(wù)的分析非常重要,需要長(zhǎng)時(shí)間保留。存儲(chǔ)過程涉及到擴(kuò)容、數(shù)據(jù)安全等問題。

性能瓶頸

基因測(cè)序往往采用多機(jī)集群計(jì)算,高通量并發(fā)訪問對(duì)存儲(chǔ)的帶寬和IO都有極高的要求,如果無(wú)法滿足,就會(huì)大大降低測(cè)序的效率,延長(zhǎng)測(cè)序時(shí)間。

多樣性計(jì)算框架與服務(wù)挑戰(zhàn)

測(cè)序數(shù)據(jù)產(chǎn)出量很大,需要結(jié)合高性能計(jì)算技術(shù)來進(jìn)行后續(xù)的測(cè)序數(shù)據(jù)處理。通常的高性能計(jì)算平臺(tái)來處理測(cè)序數(shù)據(jù)時(shí),都面臨規(guī)模和效率問題。

為滿足客戶差異化需求,提供基因測(cè)序的企業(yè)一般會(huì)選擇建立多個(gè)實(shí)驗(yàn)室和實(shí)驗(yàn)基地,并運(yùn)行多種測(cè)序平臺(tái)。這類多客戶端并發(fā)高通量測(cè)序?qū)A繑?shù)據(jù)的高性能存儲(chǔ)、高性能計(jì)算以及數(shù)據(jù)的全天候在線提出了嚴(yán)苛要求。極道智能數(shù)據(jù)系統(tǒng)中的分布式存儲(chǔ)系統(tǒng)和ABC融合計(jì)算系統(tǒng)兩大組件,在基因測(cè)序行業(yè)多個(gè)客戶業(yè)務(wù)中保持著長(zhǎng)期穩(wěn)定運(yùn)行。

突破存儲(chǔ)與算力極限,破譯生命科學(xué)領(lǐng)域密碼

破解生命科學(xué)密碼的“超存”問題

針對(duì)基因測(cè)序特定的數(shù)據(jù)特征,面向大容量、高帶寬應(yīng)用的極道ALAMO文件存儲(chǔ)系統(tǒng)采用分布式架構(gòu),性能與容量隨物理節(jié)點(diǎn)擴(kuò)展可實(shí)現(xiàn)線性增長(zhǎng),輕松擴(kuò)展至上百節(jié)點(diǎn),達(dá)到PB甚至EB級(jí)容量,適合測(cè)序過程中的高通量和高性能計(jì)算的文件應(yīng)用。同時(shí),ALAMO提供的高帶寬數(shù)據(jù)并行處理能力,實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)與調(diào)用的快速讀入、寫出和傳輸。

用戶反饋:“極道ALAMO文件存儲(chǔ)系統(tǒng)輕松滿足多個(gè)客戶端的并發(fā)訪問需求,在長(zhǎng)期的使用過程中,即使在承載大量測(cè)序客戶端并發(fā)訪問時(shí),ALAMO的帶寬和讀寫性能也有極致的表現(xiàn),沒有絲毫衰減!

突破存儲(chǔ)與算力極限,破譯生命科學(xué)領(lǐng)域密碼

在保證數(shù)據(jù)安全可靠性方面,極道存儲(chǔ)系統(tǒng)中的每個(gè)文件都可跨多個(gè)硬盤組,通過編碼保護(hù)。為了降低核心元數(shù)據(jù)丟失的可能性,極道在存儲(chǔ)池不同的位置存儲(chǔ)三份關(guān)鍵元數(shù)據(jù)互為備份。實(shí)踐證明,極道ALAMO在客戶數(shù)據(jù)中心連續(xù)在線的60+月中,實(shí)現(xiàn)了零數(shù)據(jù)丟失。

融合計(jì)算系統(tǒng)為基因測(cè)序加速

在基因測(cè)序計(jì)算中,多樣性計(jì)算框架和服務(wù)無(wú)法同時(shí)被調(diào)度進(jìn)行并行計(jì)算,作業(yè)超長(zhǎng)延時(shí)難以匹端業(yè)務(wù)需求。為打破計(jì)算瓶頸,企業(yè)需要建立具有良好可擴(kuò)展性的計(jì)算平臺(tái),滿足業(yè)務(wù)對(duì)時(shí)間的嚴(yán)苛要求,同時(shí)減低部署和管理難度。

利用極道ABC融合計(jì)算系統(tǒng),從根本上能夠解決多樣性計(jì)算框架融合問題。該系統(tǒng)由一個(gè)主集群和多個(gè)從集群組成一個(gè)調(diào)度空間,分布式的計(jì)算環(huán)境讓多調(diào)度器之間相互協(xié)作,突破了集群規(guī)模瓶頸。

ABC融合計(jì)算系統(tǒng)支持高強(qiáng)度計(jì)算分析的多種計(jì)算框架,可以按需動(dòng)態(tài)構(gòu)建計(jì)算框架,智能調(diào)度各種類型的數(shù)據(jù)計(jì)算、處理和分析任務(wù)。內(nèi)嵌的執(zhí)行引擎根據(jù)用戶定義的數(shù)據(jù)依賴關(guān)系將分析工具連接組織生成數(shù)據(jù)流,使各節(jié)點(diǎn)之間根據(jù)依賴關(guān)系完成多路并行計(jì)算或順序計(jì)算。將基因測(cè)序平臺(tái)分析軟件搭載在極道數(shù)據(jù)操作系統(tǒng)上,可使業(yè)務(wù)與計(jì)算資源完美結(jié)合,有效縮短計(jì)算和調(diào)度時(shí)間,最大程度提升業(yè)務(wù)分析效率。

ABC融合計(jì)算系統(tǒng)統(tǒng)一的資源池、融合多計(jì)算框架和可視化構(gòu)建數(shù)據(jù)流等特性,不但保證了算力,而且還可以利用調(diào)優(yōu)來不斷釋放系統(tǒng)的計(jì)算潛力。幫助基因測(cè)序行業(yè)客戶實(shí)現(xiàn)計(jì)算資源的按需調(diào)度,自動(dòng)化構(gòu)建工作流程,使復(fù)雜工作更加簡(jiǎn)單化、智能化,這正是極道智能數(shù)據(jù)系統(tǒng)的價(jià)值所在。

突破存儲(chǔ)與算力極限,破譯生命科學(xué)領(lǐng)域密碼

值得一提的是,極道ALAMO分布式存儲(chǔ)系統(tǒng)和ABC融合計(jì)算平臺(tái),通過極道獨(dú)有的存儲(chǔ)和計(jì)算的一體化協(xié)同設(shè)計(jì),計(jì)算系統(tǒng)可以動(dòng)態(tài)感知應(yīng)用IO類型,根據(jù)數(shù)據(jù)流動(dòng)態(tài)調(diào)節(jié)每一個(gè)節(jié)點(diǎn)所需的計(jì)算框架、分配計(jì)算資源,讓每一階段計(jì)算都極速高效。存儲(chǔ)也可以預(yù)判任務(wù)的IO模型,以做出策略選擇和定向優(yōu)化,提供盡可能高的存儲(chǔ)效率和并行能力,為基因測(cè)序平臺(tái)提供了高效、穩(wěn)定、可靠的支撐。

極道智能數(shù)據(jù)系統(tǒng)的高靈活和可擴(kuò)展性滿足了基因測(cè)序行業(yè)客戶不斷增長(zhǎng)的業(yè)務(wù)需求,并且做到了計(jì)算資源和數(shù)據(jù)資源的完全透明無(wú)縫擴(kuò)展,從而解決客戶的數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析和歸檔備份等問題,讓客戶更多的關(guān)注業(yè)務(wù)能力,發(fā)揮數(shù)據(jù)的價(jià)值,更好地通過基因測(cè)序服務(wù)社會(huì),以技術(shù)驅(qū)動(dòng)“精準(zhǔn)醫(yī)療”的發(fā)展。

聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請(qǐng)聯(lián)系我們。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

    文章糾錯(cuò)
    x
    *文字標(biāo)題:
    *糾錯(cuò)內(nèi)容:
    聯(lián)系郵箱:
    *驗(yàn) 證 碼:

    粵公網(wǎng)安備 44030502002758號(hào)