大數(shù)據(jù)背景下的統(tǒng)計學(xué)新需求
大數(shù)據(jù)時代的迅猛發(fā)展,在全球范圍內(nèi)掀起了前所未有的浪潮。這股浪潮不僅是對統(tǒng)計學(xué)產(chǎn)生了沖擊,甚至連政府的統(tǒng)計需求也受到了不小的影響。
對政府統(tǒng)計而言,大數(shù)據(jù)采用多種數(shù)據(jù)收集方式、整合多種數(shù)據(jù)來源,并采用現(xiàn)代信息技術(shù)和架構(gòu)高速處理及挖掘數(shù)據(jù),具有高度應(yīng)用價值和決策支持功能。一方面,統(tǒng)計調(diào)查主體的多元化發(fā)展趨勢和電子商務(wù)等領(lǐng)域的迅速發(fā)展,給統(tǒng)計數(shù)據(jù)的生產(chǎn)方式帶來了很大的挑戰(zhàn),不斷沖擊著政府統(tǒng)計管理體系與統(tǒng)計理念。另一方面,計算機技術(shù)、網(wǎng)絡(luò)技術(shù)和空間信息技術(shù)的巨大進步,為提高統(tǒng)計生產(chǎn)力提供了廣闊空間。海量的電子化、非結(jié)構(gòu)化數(shù)據(jù),極大地豐富了統(tǒng)計數(shù)據(jù)的來源。
種類繁多的“大數(shù)據(jù)”,正日益成為官方統(tǒng)計部門研究應(yīng)用的方向。在這樣的背景下,探索大數(shù)據(jù)在政府統(tǒng)計中的應(yīng)用,把握這一促進政府統(tǒng)計改革發(fā)展的機遇,對政府統(tǒng)計有著劃時代的意義。盡管近代統(tǒng)計學(xué)已經(jīng)發(fā)展了上百年,但是大數(shù)據(jù)時代的到來依然暴露出了統(tǒng)計學(xué)已有方法的缺陷,從抽樣調(diào)查和設(shè)計、數(shù)據(jù)管理和存儲到統(tǒng)計分析和計算,海量數(shù)據(jù)分析的需求都部分地顛覆了傳統(tǒng)的統(tǒng)計方法,這對統(tǒng)計學(xué)和統(tǒng)計學(xué)家是嚴峻的挑戰(zhàn)。
來自喬治·華盛頓大學(xué)的胡善慶教授依托豐富的政府實踐經(jīng)歷,提出了支持現(xiàn)代治理的統(tǒng)計學(xué)2.0的概念。相對于統(tǒng)計學(xué)2.0,胡善慶教授稱近代統(tǒng)計學(xué)是1.0時代,其特點是,統(tǒng)計數(shù)據(jù)來自普查或隨機抽樣,而非隨機收集的數(shù)據(jù)是無研究價值的。在20世紀這個統(tǒng)計學(xué)的黃金時代,統(tǒng)計學(xué)是作為一門應(yīng)用科學(xué)而存在的,統(tǒng)計學(xué)作為國際語言在政府、社會、經(jīng)濟和科學(xué)中幫助解決了許多實際問題。
以美國為例,美國政府廣泛采用隨機抽樣調(diào)查的方式,各行各業(yè)統(tǒng)計應(yīng)用普遍化,小樣本亦可產(chǎn)生大量數(shù)據(jù),計算機商業(yè)化帶來了計算方法的創(chuàng)新,統(tǒng)計軟件支持數(shù)據(jù)收集與分析,數(shù)據(jù)文化深入到美國社會的各個層面。但是在21世紀統(tǒng)計學(xué)面臨很大挑戰(zhàn),過去是有問題才收集數(shù)據(jù),然后建立合適的統(tǒng)計模型來揭示觀測到的數(shù)據(jù),大數(shù)據(jù)時代則不同,需要從泥沙俱下的大數(shù)據(jù)中提煉出有價值的知識和信息,而這些有價值的知識和信息顯然是非預(yù)期的。
中國目前的很多追蹤調(diào)查項目都存在耗時過長的問題,中國的城鎮(zhèn)化、智慧城市建設(shè)、政府簡政放權(quán)、推進監(jiān)管、國家統(tǒng)計局四大工程項目等都面臨諸多統(tǒng)計上的挑戰(zhàn)和需求,海量縱向數(shù)據(jù)的應(yīng)用,多種數(shù)據(jù)來源的整合,快速以及簡便的呈現(xiàn)結(jié)果,嚴格保護數(shù)據(jù)和系統(tǒng)安全,提高精度和可靠性等都是對統(tǒng)計的新要求。無論美國還是中國,使用20世紀的統(tǒng)計方法都不能解決21世紀的治理需求。如果我們可以用同樣的效率和成本收集數(shù)據(jù),實時分析總體,還需要隨機抽樣嗎?過去80年的數(shù)理統(tǒng)計何去何從?
大數(shù)據(jù)時代的重要意義在于大部分數(shù)據(jù)已經(jīng)數(shù)字化,易于批量存儲和處理,并且數(shù)據(jù)來源多樣化、快速化,舊數(shù)據(jù)也可以有新用途。統(tǒng)計學(xué)2.0時代包含一個動態(tài)的框架,要求有能力提供實時的結(jié)果和動態(tài)的分析報告,動態(tài)的框架可以提供更科學(xué)、更高精度、更能跟蹤、更快速的隨機抽樣。
基于此,胡善慶教授展望了2020年人口信息管理制度的整個框架,提出了統(tǒng)計學(xué)創(chuàng)新的一些獨到觀點,比如,大數(shù)據(jù)需要統(tǒng)計設(shè)計、數(shù)據(jù)清洗和信息數(shù)據(jù)提煉才可能有價值或達到信息挖掘的最佳效果,統(tǒng)計學(xué)專長于分辨數(shù)據(jù)質(zhì)量和抽取最優(yōu)化信息,國際隊伍建設(shè)需要專業(yè)人才、完善的教育系統(tǒng)、悠長歷史、優(yōu)良信譽和扎實嚴謹?shù)乃季S、理論和應(yīng)用基礎(chǔ)等。動態(tài)框架不但保留了框架原本的目的,即為普查以及隨機抽樣提供結(jié)構(gòu)基礎(chǔ),還有其他方面巨大的應(yīng)用潛力,這完全取決于統(tǒng)計學(xué)界的想象力和創(chuàng)新精神。統(tǒng)計學(xué)家應(yīng)該欣然歡迎大數(shù)據(jù)時代的到來,并把它看作是統(tǒng)計學(xué)本身的一個大變革,帶動統(tǒng)計學(xué)在運用數(shù)據(jù)研究社會和人類知識的實踐中達到一個新的高度。

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機器人東風(fēng)翻身?