作者：Hitachi Vantara首席產(chǎn)品官Radhika Krishnan

Hitachi Vantara首席產(chǎn)品官Radhika Krishnan

數(shù)據(jù)時代，每一家現(xiàn)代化企業(yè)均是數(shù)據(jù)型企業(yè)。他們不再需要更多數(shù)據(jù)，而是需要更高質(zhì)量的數(shù)據(jù)，以及更智能的數(shù)據(jù)管理。

在一個萬物皆可被度量的時代，數(shù)據(jù)積累的速度超過大多數(shù)企業(yè)能夠跟上的速度，使得企業(yè)疲于應(yīng)對海量數(shù)據(jù)帶來的壓力。這些數(shù)據(jù)填滿了大量的存儲，需要企業(yè)花費昂貴的資源進(jìn)行維護(hù)。事實上，現(xiàn)在的企業(yè)環(huán)境平均容納八個以上的數(shù)據(jù)湖。

這些截然不同的數(shù)據(jù)源和數(shù)據(jù)湖往往造成額外的混亂和阻撓，而非增加價值。在這種情況下，為提升數(shù)據(jù)質(zhì)量，企業(yè)IT主管不僅需要對數(shù)據(jù)進(jìn)行概要分析、編目和存儲，還必須遵守一系列管理數(shù)據(jù)使用的法規(guī)。這意味著數(shù)據(jù)管理成為了一個人工的、緩慢的，且容易出錯的過程。

· 考慮到某一部門的信息可能為其他部門帶來價值，數(shù)據(jù)孤島卻妨礙部門之間共享有用的信息。

· 企業(yè)缺少對決策至關(guān)重要的數(shù)據(jù)文化和協(xié)作文化。

· 當(dāng)多項計劃重疊或并行開始時，企業(yè)往往會獲得重復(fù)數(shù)據(jù)和來源不明的數(shù)據(jù)。如果企業(yè)無法確定數(shù)據(jù)質(zhì)量，那么存儲數(shù)據(jù)時便只能收獲“無用輸入、無用輸出 （GIGO）”的效果，難以為任何類型的分析或洞察帶來價值。這將阻礙業(yè)務(wù)進(jìn)程，因為數(shù)據(jù)質(zhì)量是影響企業(yè)業(yè)務(wù)成果的基本因素。換言之，阻礙企業(yè)業(yè)務(wù)進(jìn)程的是其擁有的信息來源的不確定性。

上述低效的數(shù)據(jù)管理將導(dǎo)致數(shù)據(jù)浪費，且無法變現(xiàn)。同時，即使企業(yè)繼續(xù)花費大量資金來嘗試管理這些數(shù)據(jù)，也將面臨極高的合規(guī)風(fēng)險。Hitachi Vantara認(rèn)為，部署DataOps是企業(yè)有效管理數(shù)據(jù)的明智手段。

DataOps是大勢所趨

在過去幾年間，DataOps（數(shù)據(jù)運營）已逐步進(jìn)入主流視野，以至于許多企業(yè)正在采用或認(rèn)真考慮采用敏捷的數(shù)據(jù)管理原則。

DataOps帶來的預(yù)期業(yè)務(wù)收益

DataOps是一種方法論，而不是一套工具或產(chǎn)品。這一概念從精益化生產(chǎn) （Lean Manufacturing）、敏捷開發(fā) （Agile） 和開發(fā)運營 （DevOps） 的實踐中汲取養(yǎng)分，幫助企業(yè)克服內(nèi)部“官僚主義”造成的障礙和復(fù)雜性，并在不影響數(shù)據(jù)質(zhì)量和數(shù)據(jù)治理的前提下，快速、敏捷地提供分析。

DataOps有助于激發(fā)企業(yè)業(yè)務(wù)的創(chuàng)新活力，縮短數(shù)據(jù)分析周期，并提高收益。更具體地說，它能為企業(yè)帶來以下優(yōu)勢：

· 形成對企業(yè)數(shù)據(jù)普遍的商業(yè)理解，包括結(jié)合數(shù)據(jù)目錄以及與業(yè)務(wù)利益相關(guān)者的合作，來管理和維護(hù)數(shù)據(jù)。

· 自動化數(shù)據(jù)質(zhì)量、數(shù)據(jù)治理及合規(guī)性任務(wù)，來確保數(shù)據(jù)已準(zhǔn)備好被企業(yè)所使用。

· 在組織層面上強(qiáng)調(diào)敏捷和自動化的數(shù)據(jù)管理，其中人員、流程和技術(shù)等專注于管理面向業(yè)務(wù)成果和目標(biāo)的數(shù)據(jù)，同時確保較低的治理風(fēng)險和可控的成本。

· 到目前為止，DataOps最大的價值主張便是幫助企業(yè)打破數(shù)據(jù)孤島，使企業(yè)業(yè)務(wù)運行得更快，推動企業(yè)加速向市場交付新產(chǎn)品。能做到這一點的原因在于，有用的信息不再被鎖定在單一部門，可以在整個企業(yè)內(nèi)共享。

人工智能、機(jī)器學(xué)習(xí)和自動化

元數(shù)據(jù)是踐行任何良好的DataOps方法的基礎(chǔ)。若企業(yè)在攝取數(shù)據(jù)時使用人工智能 （AI） 和機(jī)器學(xué)習(xí) （ML） 算法自動創(chuàng)建元數(shù)據(jù)，便可以顯著地減少人工投入，進(jìn)而加快團(tuán)隊對數(shù)據(jù)管道的開發(fā)和采用，以及有效分析的產(chǎn)出。

通過自動化元數(shù)據(jù)的端到端管理，企業(yè)便可以如期推動良好的DataOps實踐。為實現(xiàn)這一點，企業(yè)需要借助數(shù)據(jù)集成技術(shù)來載入數(shù)據(jù)，以及通過有效的機(jī)制來對數(shù)據(jù)進(jìn)行編目，并且需要對其應(yīng)用規(guī)則，以建立數(shù)據(jù)血緣關(guān)系 （data lineage）。

而將數(shù)據(jù)從一種工具轉(zhuǎn)移至另一種工具這樣零敲碎打的做法，可能會阻礙上述操作。這就是我們建議引入AI和ML技術(shù)的原因，它們可以幫助企業(yè)更好地理解數(shù)據(jù)，并根據(jù)需要在語義上豐富數(shù)據(jù)。此外，AI和ML的集成可以幫助企業(yè)識別任何數(shù)據(jù)質(zhì)量問題，同時支持向數(shù)據(jù)中添加治理規(guī)則。

數(shù)據(jù)轉(zhuǎn)型

事先界定成果，并有清晰的目標(biāo)是成功進(jìn)行數(shù)據(jù)轉(zhuǎn)型的關(guān)鍵。企業(yè)需要厘清數(shù)據(jù)的來源，選擇最佳方式存儲和管理數(shù)據(jù)，并確保自己可以利用數(shù)據(jù)快速地為終端客戶創(chuàng)造價值。

同時，文化因素也會影響企業(yè)采用DataOps。DataOps的成功實踐，取決于企業(yè)內(nèi)部是否能夠形成諸如一勞永逸地結(jié)束孤島，鼓勵數(shù)據(jù)團(tuán)隊和IT團(tuán)隊之間展開更多合作，端到端的設(shè)計思維以及將數(shù)據(jù)視為共享資產(chǎn)等文化。

DataOps文化

本文探討的這些挑戰(zhàn)并非微不足道。當(dāng)企業(yè)審查自身的數(shù)據(jù)狀況時，需要認(rèn)真考慮將數(shù)據(jù)真正視為可以提高業(yè)務(wù)成果的資產(chǎn)。如此一來，DataOps方法論和實踐將幫助企業(yè)極大地優(yōu)化數(shù)據(jù)治理并促進(jìn)業(yè)務(wù)發(fā)展。