訂閱
糾錯
加入自媒體

大數(shù)據(jù)背景下的統(tǒng)計學新需求

大數(shù)據(jù)時代的迅猛發(fā)展,在全球范圍內(nèi)掀起了前所未有的浪潮。這股浪潮不僅是對統(tǒng)計學產(chǎn)生了沖擊,甚至連政府的統(tǒng)計需求也受到了不小的影響。

對政府統(tǒng)計而言,大數(shù)據(jù)采用多種數(shù)據(jù)收集方式、整合多種數(shù)據(jù)來源,并采用現(xiàn)代信息技術和架構(gòu)高速處理及挖掘數(shù)據(jù),具有高度應用價值和決策支持功能。一方面,統(tǒng)計調(diào)查主體的多元化發(fā)展趨勢和電子商務等領域的迅速發(fā)展,給統(tǒng)計數(shù)據(jù)的生產(chǎn)方式帶來了很大的挑戰(zhàn),不斷沖擊著政府統(tǒng)計管理體系與統(tǒng)計理念。另一方面,計算機技術、網(wǎng)絡技術和空間信息技術的巨大進步,為提高統(tǒng)計生產(chǎn)力提供了廣闊空間。海量的電子化、非結(jié)構(gòu)化數(shù)據(jù),極大地豐富了統(tǒng)計數(shù)據(jù)的來源。

種類繁多的“大數(shù)據(jù)”,正日益成為官方統(tǒng)計部門研究應用的方向。在這樣的背景下,探索大數(shù)據(jù)在政府統(tǒng)計中的應用,把握這一促進政府統(tǒng)計改革發(fā)展的機遇,對政府統(tǒng)計有著劃時代的意義。盡管近代統(tǒng)計學已經(jīng)發(fā)展了上百年,但是大數(shù)據(jù)時代的到來依然暴露出了統(tǒng)計學已有方法的缺陷,從抽樣調(diào)查和設計、數(shù)據(jù)管理和存儲到統(tǒng)計分析和計算,海量數(shù)據(jù)分析的需求都部分地顛覆了傳統(tǒng)的統(tǒng)計方法,這對統(tǒng)計學和統(tǒng)計學家是嚴峻的挑戰(zhàn)。

來自喬治·華盛頓大學的胡善慶教授依托豐富的政府實踐經(jīng)歷,提出了支持現(xiàn)代治理的統(tǒng)計學2.0的概念。相對于統(tǒng)計學2.0,胡善慶教授稱近代統(tǒng)計學是1.0時代,其特點是,統(tǒng)計數(shù)據(jù)來自普查或隨機抽樣,而非隨機收集的數(shù)據(jù)是無研究價值的。在20世紀這個統(tǒng)計學的黃金時代,統(tǒng)計學是作為一門應用科學而存在的,統(tǒng)計學作為國際語言在政府、社會、經(jīng)濟和科學中幫助解決了許多實際問題。

以美國為例,美國政府廣泛采用隨機抽樣調(diào)查的方式,各行各業(yè)統(tǒng)計應用普遍化,小樣本亦可產(chǎn)生大量數(shù)據(jù),計算機商業(yè)化帶來了計算方法的創(chuàng)新,統(tǒng)計軟件支持數(shù)據(jù)收集與分析,數(shù)據(jù)文化深入到美國社會的各個層面。但是在21世紀統(tǒng)計學面臨很大挑戰(zhàn),過去是有問題才收集數(shù)據(jù),然后建立合適的統(tǒng)計模型來揭示觀測到的數(shù)據(jù),大數(shù)據(jù)時代則不同,需要從泥沙俱下的大數(shù)據(jù)中提煉出有價值的知識和信息,而這些有價值的知識和信息顯然是非預期的。

中國目前的很多追蹤調(diào)查項目都存在耗時過長的問題,中國的城鎮(zhèn)化、智慧城市建設、政府簡政放權、推進監(jiān)管、國家統(tǒng)計局四大工程項目等都面臨諸多統(tǒng)計上的挑戰(zhàn)和需求,海量縱向數(shù)據(jù)的應用,多種數(shù)據(jù)來源的整合,快速以及簡便的呈現(xiàn)結(jié)果,嚴格保護數(shù)據(jù)和系統(tǒng)安全,提高精度和可靠性等都是對統(tǒng)計的新要求。無論美國還是中國,使用20世紀的統(tǒng)計方法都不能解決21世紀的治理需求。如果我們可以用同樣的效率和成本收集數(shù)據(jù),實時分析總體,還需要隨機抽樣嗎?過去80年的數(shù)理統(tǒng)計何去何從?

大數(shù)據(jù)時代的重要意義在于大部分數(shù)據(jù)已經(jīng)數(shù)字化,易于批量存儲和處理,并且數(shù)據(jù)來源多樣化、快速化,舊數(shù)據(jù)也可以有新用途。統(tǒng)計學2.0時代包含一個動態(tài)的框架,要求有能力提供實時的結(jié)果和動態(tài)的分析報告,動態(tài)的框架可以提供更科學、更高精度、更能跟蹤、更快速的隨機抽樣。

基于此,胡善慶教授展望了2020年人口信息管理制度的整個框架,提出了統(tǒng)計學創(chuàng)新的一些獨到觀點,比如,大數(shù)據(jù)需要統(tǒng)計設計、數(shù)據(jù)清洗和信息數(shù)據(jù)提煉才可能有價值或達到信息挖掘的最佳效果,統(tǒng)計學專長于分辨數(shù)據(jù)質(zhì)量和抽取最優(yōu)化信息,國際隊伍建設需要專業(yè)人才、完善的教育系統(tǒng)、悠長歷史、優(yōu)良信譽和扎實嚴謹?shù)乃季S、理論和應用基礎等。動態(tài)框架不但保留了框架原本的目的,即為普查以及隨機抽樣提供結(jié)構(gòu)基礎,還有其他方面巨大的應用潛力,這完全取決于統(tǒng)計學界的想象力和創(chuàng)新精神。統(tǒng)計學家應該欣然歡迎大數(shù)據(jù)時代的到來,并把它看作是統(tǒng)計學本身的一個大變革,帶動統(tǒng)計學在運用數(shù)據(jù)研究社會和人類知識的實踐中達到一個新的高度。

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    文章糾錯
    x
    *文字標題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號