三、Hive數(shù)據(jù)抽樣

當(dāng)數(shù)據(jù)規(guī)模不斷膨脹時,我們需要找到一個數(shù)據(jù)的子集來加快數(shù)據(jù)分析效率。因此我們就需要通過篩選和分析數(shù)據(jù)集為了進(jìn)行模式 & 趨勢識別。目前來說有三種方式來進(jìn)行抽樣:隨機(jī)抽樣,桶表抽樣,和塊抽樣。

3．1 隨機(jī)抽樣

關(guān)鍵詞:rand()函數(shù)。

使用rand()函數(shù)進(jìn)行隨機(jī)抽樣,limit關(guān)鍵字限制抽樣返回的數(shù)據(jù),其中rand函數(shù)前的distribute和sort關(guān)鍵字可以保證數(shù)據(jù)在mapper和reducer階段是隨機(jī)分布的。

案例如下:

select * from table_name
where col=xxx
distribute by rand() sort by rand()
limit num;

使用order 關(guān)鍵詞:

案例如下:

select * from table_name
where col=xxx
order by rand()
limit num;

經(jīng)測試對比,千萬級數(shù)據(jù)中進(jìn)行隨機(jī)抽樣 order by方式耗時更長,大約多30秒左右。

3．2 塊抽樣

關(guān)鍵詞:tablesample()函數(shù)。

tablesample(n percent) 根據(jù)hive表數(shù)據(jù)的大小按比例抽取數(shù)據(jù),并保存到新的hive表中。如:抽取原h(huán)ive表中10%的數(shù)據(jù)

注意:測試過程中發(fā)現(xiàn),select語句不能帶where條件且不支持子查詢,可通過新建中間表或使用隨機(jī)抽樣解決。

select * from xxx tablesample(10 percent) 數(shù)字與percent之間要有空格
tablesample(nM) 指定抽樣數(shù)據(jù)的大小,單位為M。select * from xxx tablesample(20M) 數(shù)字與M之間不要有空格
tablesample(n rows) 指定抽樣數(shù)據(jù)的行數(shù),其中n代表每個map任務(wù)均取n行數(shù)據(jù),map數(shù)量可通過hive表的簡單查詢語句確認(rèn)(關(guān)鍵詞:number of mappers: x)select * from xxx tablesample(100 rows) 數(shù)字與rows之間要有空格
3．3 桶表抽樣

關(guān)鍵詞:tablesample (bucket x out of y [on colname])。

其中x是要抽樣的桶編號,桶編號從1開始,colname表示抽樣的列,y表示桶的數(shù)量。

hive中分桶其實(shí)就是根據(jù)某一個字段Hash取模,放入指定數(shù)據(jù)的桶中,比如將表table_1按照ID分成100個桶,其算法是hash(id) % 100,這樣,hash(id) % 100 = 0的數(shù)據(jù)被放到第一個桶中,hash(id) % 100 = 1的記錄被放到第二個桶中。創(chuàng)建分桶表的關(guān)鍵語句為:CLUSTER BY語句。

例如:將表隨機(jī)分成10組,抽取其中的第一個桶的數(shù)據(jù):

select * from table_01
tablesample(bucket 1 out of 10 on rand())

四、Hive計(jì)算引擎

目前Hive支持MapReduce、Tez和Spark 三種計(jì)算引擎。

4．1 MR計(jì)算引擎

MR運(yùn)行的完整過程:

Map在讀取數(shù)據(jù)時,先將數(shù)據(jù)拆分成若干數(shù)據(jù),并讀取到Map方法中被處理。數(shù)據(jù)在輸出的時候,被分成若干分區(qū)并寫入內(nèi)存緩存(buffer)中,內(nèi)存緩存被數(shù)據(jù)填充到一定程度會溢出到磁盤并排序,當(dāng)Map執(zhí)行完后會將一個機(jī)器上輸出的臨時文件進(jìn)行歸并存入到HDFS中。

當(dāng)Reduce啟動時,會啟動一個線程去讀取Map輸出的數(shù)據(jù),并寫入到啟動Reduce機(jī)器的內(nèi)存中,在數(shù)據(jù)溢出到磁盤時會對數(shù)據(jù)進(jìn)行再次排序。當(dāng)讀取數(shù)據(jù)完成后會將臨時文件進(jìn)行合并,作為Reduce函數(shù)的數(shù)據(jù)源。

4．2 Tez計(jì)算引擎

Apache Tez是進(jìn)行大規(guī)模數(shù)據(jù)處理且支持DAG作業(yè)的計(jì)算框架,它直接源于MapReduce框架,除了能夠支持MapReduce特性,還支持新的作業(yè)形式,并允許不同類型的作業(yè)能夠在一個集群中運(yùn)行。

Tez將原有的Map和Reduce兩個操作簡化為一個概念——Vertex,并將原有的計(jì)算處理節(jié)點(diǎn)拆分成多個組成部分:Vertex Input、Vertex Output、Sorting、Shuffling和Merging。計(jì)算節(jié)點(diǎn)之間的數(shù)據(jù)通信被統(tǒng)稱為Edge,這些分解后的元操作可以任意靈活組合,產(chǎn)生新的操作,這些操作經(jīng)過一些控制程序組裝后,可形成一個大的DAG作業(yè)。

通過允許Apache Hive運(yùn)行復(fù)雜的DAG任務(wù),Tez可以用來處理數(shù)據(jù),之前需要多個MR jobs,現(xiàn)在一個Tez任務(wù)中。

Tez和MapReduce作業(yè)的比較:

Tez繞過了MapReduce很多不必要的中間的數(shù)據(jù)存儲和讀取的過程,直接在一個作業(yè)中表達(dá)了MapReduce需要多個作業(yè)共同協(xié)作才能完成的事情。

Tez和MapReduce一樣都運(yùn)行使用YARN作為資源調(diào)度和管理。但與MapReduce on YARN不同,Tez on YARN并不是將作業(yè)提交到ResourceManager,而是提交到AMPoolServer的服務(wù)上,AMPoolServer存放著若干已經(jīng)預(yù)先啟動ApplicationMaster的服務(wù)。

當(dāng)用戶提交一個作業(yè)上來后,AMPoolServer從中選擇一個ApplicationMaster用于管理用戶提交上來的作業(yè),這樣既可以節(jié)省ResourceManager創(chuàng)建ApplicationMaster的時間,而又能夠重用每個ApplicationMaster的資源,節(jié)省了資源釋放和創(chuàng)建時間。

Tez相比于MapReduce有幾點(diǎn)重大改進(jìn):

當(dāng)查詢需要有多個reduce邏輯時,Hive的MapReduce引擎會將計(jì)劃分解,每個Redcue提交一個MR作業(yè)。這個鏈中的所有MR作業(yè)都需要逐個調(diào)度,每個作業(yè)都必須從HDFS中重新讀取上一個作業(yè)的輸出并重新洗牌。而在Tez中,幾個reduce接收器可以直接連接,數(shù)據(jù)可以流水線傳輸,而不需要臨時HDFS文件,這種模式稱為MRR(Map-reduce-reduce*)。

Tez還允許一次發(fā)送整個查詢計(jì)劃,實(shí)現(xiàn)應(yīng)用程序動態(tài)規(guī)劃,從而使框架能夠更智能地分配資源,并通過各個階段流水線傳輸數(shù)據(jù)。對于更復(fù)雜的查詢來說,這是一個巨大的改進(jìn),因?yàn)樗�消除了IO/sync障礙和各個階段之間的調(diào)度開銷。

在MapReduce計(jì)算引擎中,無論數(shù)據(jù)大小,在洗牌階段都以相同的方式執(zhí)行,將數(shù)據(jù)序列化到磁盤,再由下游的程序去拉取,并反序列化。Tez可以允許小數(shù)據(jù)集完全在內(nèi)存中處理,而MapReduce中沒有這樣的優(yōu)化。倉庫查詢經(jīng)常需要在處理完大量的數(shù)據(jù)后對小型數(shù)據(jù)集進(jìn)行排序或聚合,Tez的優(yōu)化也能極大地提升效率。

4．3 Spark計(jì)算引擎

Apache Spark是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速、通用支持DAG(有向無環(huán)圖)作業(yè)的計(jì)算引擎,類似于Hadoop MapReduce的通用并行框架,可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。

Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎,基于內(nèi)存計(jì)算,提高了在大數(shù)據(jù)環(huán)境下數(shù)據(jù)處理的實(shí)時性,同時保證了高容錯性和高可伸縮性,允許用戶將Spark部署在大量硬件之上,形成集群。

Spark運(yùn)行流程

Spark運(yùn)行流程

Spark具有以下幾個特性。

1．高效性

Spark會將作業(yè)構(gòu)成一個DAG,優(yōu)化了大型作業(yè)一些重復(fù)且浪費(fèi)資源的操作,對查詢進(jìn)行了優(yōu)化,重新編寫了物理執(zhí)行引擎,如可以實(shí)現(xiàn)MRR模式。

2．易用性

Spark不同于MapReducer只提供兩種簡單的編程接口,它提供了多種編程接口去操作數(shù)據(jù),這些操作接口如果使用MapReduce去實(shí)現(xiàn),需要更多的代碼。Spark的操作接口可以分為兩類:transformation(轉(zhuǎn)換)和action(執(zhí)行)。Transformation包含map、flatmap、distinct、reduceByKey和join等轉(zhuǎn)換操作;Action包含reduce、collect、count和first等操作。

3．通用性

Spark針對實(shí)時計(jì)算、批處理、交互式查詢,提供了統(tǒng)一的解決方案。但在批處理方面相比于MapReduce處理同樣的數(shù)據(jù),Spark所要求的硬件設(shè)施更高,MapReduce在相同的設(shè)備下所能處理的數(shù)據(jù)量會比Spark多。所以在實(shí)際工作中,Spark在批處理方面只能算是MapReduce的一種補(bǔ)充。

4．兼容性

Spark和MapReduce一樣有豐富的產(chǎn)品生態(tài)做支撐。例如Spark可以使用YARN作為資源管理器,Spark也可以處理Hbase和HDFS上的數(shù)據(jù)。