以融合之勢,突破困局 | 極道Achelous統(tǒng)一計算系統(tǒng),助力企業(yè)數(shù)據“加速跑”
對大數(shù)據的分析處、處理,是將數(shù)據從低價值密度體中煉到高價值密度體的過程,被現(xiàn)代商業(yè)譽為“煉金術”。這也是數(shù)據資源轉化為數(shù)據資產的過程,然而由于數(shù)據規(guī)模龐大、數(shù)據類型眾多,使得數(shù)據價值的實現(xiàn)仍然存在很高的技術門檻,企業(yè)用戶也日益被大數(shù)據生態(tài)的復雜性所困。
企業(yè)“海量數(shù)據”之困
企業(yè)在擁有了海量非結構化數(shù)據之后,要將這些數(shù)據同實際業(yè)務、商業(yè)目的和運營目標相結合,對多樣性數(shù)據進行融合分析處理成為必然,這使得數(shù)據分析和加工部門需投入大量的人力物力進行數(shù)據分析、處理、加工和學習,以得到有價值的結果輸出。
雖然數(shù)據分析本身是與行業(yè)和業(yè)務相關,但非結構化數(shù)據的分析計算模式是共通的。隨著技術發(fā)展,傳統(tǒng)批量計算、高性能計算、大數(shù)據分析、人工智能(分布式機器學習/深度學習)等數(shù)據并行處理、分析方法相繼誕生,以滿足各行業(yè)數(shù)據分析需求。
在實際應用中,企業(yè)各部門將以不同的計算模式,來構建所需的系統(tǒng)和計算集群,但這種割裂的計算集群卻造成了重復建設和資源浪費。而隨著業(yè)務的推進,同一批數(shù)據在不同處理階段所需的分析方法不同,計算分析基礎架構還需要掌握復雜的技術棧,以及數(shù)據分析前期的服務部署能力。
另外,由于計算模式多樣化帶來的資源壁壘,企業(yè)還需要投入巨大的成本;數(shù)據計算系統(tǒng)建立后,數(shù)據分析人員如果沒有能力設計高度并行和健壯的數(shù)據分析流程,需要經過漫長等待才能夠獲得結果。
降低海量非結構化數(shù)據使用門檻 助力企業(yè)數(shù)據“加速跑”
為了幫助企業(yè)用戶解決數(shù)據分析門檻高、效率低的問題,極道潛心打造了Achelous統(tǒng)一計算系統(tǒng)。這是一款融合多種計算于同一套物理集群、支持EB級海量數(shù)據分析、處理、訓練的系統(tǒng),并且Achelous有能力跟不同特征的存儲系統(tǒng)配合,做到計算與存儲應用感知,輕松構建復雜數(shù)據流的智能融合計算平臺,降低企業(yè)IT建設投入
Achelous統(tǒng)一計算系統(tǒng)以統(tǒng)一的數(shù)據處理引擎更高效地挖掘數(shù)據價值,以智能化的方式驅動整個數(shù)據處理閉環(huán),計算效率與資源利用的大幅提升,為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級打下堅實基礎。
降低構建業(yè)務數(shù)據分析流程難度
Achelous 是極道提供的調度復雜工作流或數(shù)據流的調度器和執(zhí)行引擎。為了降低業(yè)務專家利用現(xiàn)有的算法和模型進行并行編程的難度,Achelous統(tǒng)一計算系統(tǒng)提供執(zhí)行引擎以及多種表達方式,進行數(shù)據流業(yè)務的組合編程。
業(yè)務專家只需描述所要分析業(yè)務的分析階段,以及數(shù)據依賴關系,系統(tǒng)將自動構建負載的批量處理有向圖,并生成機器代碼調度執(zhí)行。例如,應用領域專用語言(BSL、WDL)編寫工作流(Pipeline),業(yè)務專家可以動態(tài)構建自己的大數(shù)據或者人工智能應用,按照數(shù)據依賴進行計算。實現(xiàn)完整的數(shù)據采集、數(shù)據清洗、數(shù)據挖掘和機器學習建模等業(yè)務流程,極大地簡化了業(yè)務專家的數(shù)據處理流程,并大幅提高工作效率。
自動構建跨應用計算框架工作流
基于Achelous統(tǒng)一計算系統(tǒng),用戶面對設計復雜跨框架的數(shù)據流,需要高并發(fā)或高通量計算時,只需要制定計算框架和預計分配的資源,計算框架會在計算過程中自動構建,計算完成后,計算框架會自動銷毀,資源重新釋放并共享給其他計算和數(shù)據處理應用。創(chuàng)建集群的過程對用戶完全透明,無需人工干預和配置,高效完成。
另外,極道提供的可視化界面,方便用戶以拖拽的方式生成數(shù)據流和工作流,這一設計可以免去WDL或BSL程序編寫,幫助研究人員擺脫IT技術的束縛,將更多精力投入業(yè)務研發(fā)。
用事實見證數(shù)據流構建能力
在某腫瘤檢測機構,通過部署極道Achelous統(tǒng)一計算系統(tǒng),其計算資源擴充近2倍,樣本交付能力提升了6倍,滿足其對海量生物數(shù)據處理、分析和建模的多樣化需求,助力打通腫瘤臨床檢測全流程。
在BioFlow計算引擎的協(xié)助下,該機構一個作業(yè)的特殊階段,被輕松分解為數(shù)千路并行,每天有超過幾萬個任務運行在高度并行的計算集群里。
在零專業(yè)IT人員情況下,該機構運行維護著一個復雜的數(shù)十節(jié)點HPC/Spark混雜計算集群,以及一個大規(guī)模分布式存儲系統(tǒng)。
利用強大的BioFlow WDL/BSL語言引擎和BioFlow執(zhí)行引擎, 幾名生物信息分析工程師在短短的4個月內,用近千個工具開發(fā)出了數(shù)百個復雜的分析流程。
高效的執(zhí)行引擎簡化了分析流程開發(fā),讓業(yè)務流程變得更敏捷、更靈活、更可控和自動化。
在未來數(shù)字經濟浪潮中,降低計算成本、縮短任務周期、提高分析效率,是企業(yè)大數(shù)據點石成金的基礎。極道作為數(shù)據系統(tǒng)領域的生力軍,始終以用戶需求為導向,以技術創(chuàng)新為驅動,實現(xiàn)提高計算并行程度和提高資源利用率這一目標,進一步降低用戶的整體擁有成本,助力企業(yè)釋放更多數(shù)據價值。
關于極道:
極道,專注于數(shù)據“存”、“管”、“算”的創(chuàng)新數(shù)據系統(tǒng)公司,由國內頂尖的存儲和數(shù)據分析專家團隊建立,是一家以分布式系統(tǒng)為核心幫助客戶提升IT資源效率,提供高效智能的數(shù)據處理基礎平臺的數(shù)據系統(tǒng)公司。
極道的核心產品涵蓋了分布式并行文件存儲、強關聯(lián)大規(guī)模實時數(shù)據管理系統(tǒng),以及集群的調度系統(tǒng)和執(zhí)行引擎,以滿足企業(yè)對數(shù)據處理、分析和建模的多樣化需求。極道注重自主知識產權和產品的可控性,核心軟件系統(tǒng)均為自主研發(fā),已擁有多項專利和軟件著作權。

請輸入評論內容...
請輸入評論/評論長度6~500個字
圖片新聞
技術文庫