大數(shù)據(jù)技術(shù)國內(nèi)外研究現(xiàn)狀
2 國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢美國政府將大數(shù)據(jù)視為強化美國競爭力的關(guān)鍵因素之一,把大數(shù)據(jù)研究和生產(chǎn)計劃提高到國家戰(zhàn)略層面。2012年3月,美國奧巴馬政府宣布投資2億美元啟動 “大數(shù)據(jù)研究和發(fā)展計劃”,
2 國內(nèi)外研究現(xiàn)狀及發(fā)展趨勢
美國政府將大數(shù)據(jù)視為強化美國競爭力的關(guān)鍵因素之一,把大數(shù)據(jù)研究和生產(chǎn)計劃提高到國家戰(zhàn)略層面。2012年3月,美國奧巴馬政府宣布投資2億美元啟動 “大數(shù)據(jù)研究和發(fā)展計劃”,這是繼1993年美國宣布“信息高速公路”計劃后的又一次重大科技發(fā)展部署。以美國科學(xué)與技術(shù)政策辦公室(OSTP )為首,國土安全部、美國國家科學(xué)基金會、國防部、美國國家安全局、能源部等已經(jīng)開始了與民間企業(yè)或大學(xué)開展多項 大數(shù)據(jù)相關(guān)的各種研究開發(fā)。美國政府為之撥出超過2億美元的研究開發(fā)預(yù)算。據(jù)悉,美國國防部已經(jīng)在積極部署大數(shù)據(jù)行動,利用海量數(shù)據(jù)挖掘高價值情報,提高快速響應(yīng)能力,實現(xiàn)決策自動化。而美國中央情報局通過利用大數(shù)據(jù)技術(shù),將分析搜集的數(shù)據(jù)時間由63天縮減到27分鐘。
繼美國率先開啟大數(shù)據(jù)國家戰(zhàn)略先河之后,歐盟、日本等國家也進行了跟進。
歐盟委員會全新的開放數(shù)據(jù)平臺(以下簡稱為ODP )Beta 版已經(jīng)向公眾開放,和美國政府的數(shù)據(jù)開放平臺類似,致力于推動開放、透明的政府,促進創(chuàng)新。
2010年4月歐盟委員會發(fā)起歐洲數(shù)字化議程, 致力于利用數(shù)字技術(shù)刺激歐洲經(jīng)濟增長,幫助公眾和企業(yè)最大化利用數(shù)字技術(shù)。ODP 是歐洲數(shù)字化議程 的一部分,截至2013年1月 12日,ODP 已經(jīng)開放5815個數(shù)據(jù)集,其中的5638個數(shù)據(jù)庫來自歐盟統(tǒng)計局Eurostat ,數(shù)據(jù)包括地理、大氣、國際貿(mào)易、農(nóng)業(yè)等各類信息。ODP 提供的不僅是數(shù)據(jù),還建立了數(shù)據(jù)的統(tǒng)一語法規(guī)則,保證數(shù)據(jù)發(fā)布機構(gòu)、公眾、應(yīng)用開發(fā)者都能夠利用這些數(shù)據(jù),任何人都可以在這里下載數(shù)據(jù),利用這些數(shù)據(jù)開發(fā)新的應(yīng)用。
2013年6月,安倍內(nèi)閣正式公布了新IT 戰(zhàn)略——“創(chuàng)建最尖端IT 國家宣言”?!靶浴比骊U述了2013~2020年期間以發(fā)展開放公共數(shù)據(jù)和大數(shù)據(jù)為核心的日本新IT 國家戰(zhàn)略,提出要把日本建設(shè)成為一個具有“世界最高水準的廣泛運用信息產(chǎn)業(yè)技術(shù)的社會”。 中國政府在美國提出《大數(shù)據(jù)研究和發(fā)展計劃》的2012年也批復(fù)了“十二五國家政務(wù)信息化建設(shè)工程規(guī)劃”,總投資額估計在幾百 億,專門有人口、法人、空間、宏觀經(jīng)濟和文化等五大資源庫的五大建設(shè)工程。我國的開放、共享和智能的大數(shù)據(jù)的時代已經(jīng)來臨! 2012年8月份國務(wù)院制定了促進信息消費擴大內(nèi)需的文件,推動商業(yè)企業(yè)加快信息基礎(chǔ)設(shè)施演進升級,增強信息產(chǎn)品供給能力,形成行業(yè)聯(lián)盟,制定行業(yè)標準,構(gòu)建大數(shù)據(jù)產(chǎn)業(yè)鏈,促進創(chuàng)新鏈與產(chǎn)業(yè)鏈有效嫁接。
同時,構(gòu)建大數(shù)據(jù)研究平臺,整合創(chuàng)新資源,實施“專項計劃”,突破關(guān)鍵技術(shù)。大力推進國家發(fā)改委和中科院基礎(chǔ)研究大數(shù)據(jù)服務(wù)平臺應(yīng)用示范項目,廣東率先啟動大數(shù)據(jù)戰(zhàn)略推動政府轉(zhuǎn)型,北京正積極探索政府公布大數(shù)據(jù)供社會開發(fā),上海也啟動大數(shù)據(jù)研發(fā)三年行動計劃。
當前,在政府部門數(shù)據(jù)對外開放,由企業(yè)系統(tǒng)分析大數(shù)據(jù)進行投資經(jīng)營方面,上海無疑是先行一步。2014年5月15日,上海市自今年起推動各級政府部門將數(shù)據(jù)對外開放,并鼓勵社會對其進行加工和運用。根據(jù)上海市經(jīng)信委印發(fā)的《2014年度上海市政府數(shù)據(jù)資源向社會開放工作計劃》,目前已確定190項數(shù)據(jù)內(nèi)容作為2014年重點開放領(lǐng)域,涵蓋28個市 級部門,涉及公共安全、公共服務(wù)、交通服務(wù)、教育科技、產(chǎn)業(yè)發(fā)展、金融服務(wù)、能源環(huán)境、健康衛(wèi)生、文化娛樂等11個領(lǐng)域。
2014年2月27日中央網(wǎng)絡(luò)安全和信息化領(lǐng)導(dǎo)小組宣告成立,組長習(xí)近平指出,沒有網(wǎng)絡(luò)安全就沒有國家安全,沒有信息化就沒有現(xiàn)代化。建設(shè)網(wǎng)絡(luò)強國,要有自己的技術(shù),有過硬的技術(shù);要有豐富全面的信息服務(wù),繁榮發(fā)展的網(wǎng)絡(luò)文化;要有良好的信息基礎(chǔ)設(shè)施,形成實力雄厚的信息經(jīng)濟;要有高素質(zhì)的網(wǎng)絡(luò)安全和信息化人才隊伍;要積極開展雙邊、多邊的互聯(lián)網(wǎng)國際交流合作。從話的另一方面也說明目前我們沒有自己的過硬技術(shù),網(wǎng)絡(luò)文化還有點問題,基礎(chǔ)設(shè)施還是太差,人才隊伍素質(zhì)跟不上需求,也沒有可靠的盟友,信息經(jīng)濟實力太弱。
今天的國家將大數(shù)據(jù)視為國家戰(zhàn)略,并且在實施上, 也已經(jīng)進入到企業(yè)戰(zhàn)略層面,這種認識已經(jīng)遠遠超出當年的信息化戰(zhàn)略。
4 主要標準化組織
目前國際上有4大標準化組織針對大數(shù)據(jù)進行專門研究。
,ISO/IEC JTC1 SC32于2012年成立了下一代分析技術(shù)與大數(shù)據(jù)研究組,2014年6月啟動了4項為大數(shù)據(jù)提供標準化支持的新工作項目。該組織重點研究對象包括元數(shù)據(jù)、大數(shù)據(jù)存儲和檢索、大數(shù)據(jù)所支持的復(fù)雜數(shù)據(jù)類型等。ISO/IEC JTC1 SC2正在進行大數(shù)據(jù)標準研究調(diào)研,其于2013年11月成立了大數(shù)據(jù)標準化研究組,2014年將提交大數(shù)據(jù)相關(guān)技術(shù)與標準調(diào)研報告以及JTC1在大數(shù)據(jù)標準研發(fā)中的需求。
ITU-T 則重點研究基于大數(shù)據(jù)的云計算相關(guān)技術(shù),ITU 于2013年11月發(fā)布了《大數(shù)據(jù)今天巨大,明天平?!返募夹g(shù)觀察報告,分析了大數(shù)據(jù)面臨的挑戰(zhàn)和ITU-T 開展的標準化工作,目前該組織已啟動“基于大數(shù)據(jù)的云計算需求和能力”新工作項目。
NIST 于2013年建立了大數(shù)據(jù)公共工作組(NBD-PWG),其重點研究對象包括術(shù)語和定義、用例和需求、安全和隱私、參考體系結(jié)構(gòu)和技術(shù)路線等,目前已有這些方面的草案。
對于大數(shù)據(jù)標準研制在中國的發(fā)展情況,中國電子技術(shù)標準化研究院(以下簡稱電標院) 發(fā)布的《大數(shù)據(jù)標準化白皮書》(以下簡稱白皮書) 指出,全國信息技術(shù)標準化技術(shù)委員會(TC28)持續(xù)開展數(shù)據(jù)標準化工作,在元數(shù)據(jù)、數(shù)據(jù)庫、數(shù)據(jù)建模、數(shù)據(jù)交換與管理等領(lǐng)域推動相關(guān)標準的研制與應(yīng)用,為提升跨行業(yè)領(lǐng)域數(shù)據(jù)管理能力提供標準化支持。具體而言,全國信標委于2012年成立了非結(jié)構(gòu)化數(shù)據(jù)管理標準工作組,對口ISO/IEC JTC1 SC32 WG4。全國信標委云計算標準工作組目前正在開展大數(shù)據(jù)存儲和分析應(yīng)用的研究工作,旨在研究大數(shù)據(jù)存儲和分析技術(shù)的應(yīng)用分析、技術(shù)框架和標準研究等。全國信標委SOA 分技術(shù)委員會負責(zé)面向服務(wù)的體系結(jié)構(gòu)(SOA)、Web 服務(wù)和中間件的專業(yè)標準化的技術(shù)歸口工作,并協(xié)助全國信息技術(shù)標準化技術(shù)委員會承擔(dān)國際標準化組織相應(yīng)分技術(shù)委員會的國內(nèi)歸口工作。
另外,全國信息安全標準化委員會(TC260)是在信息安全技術(shù)專業(yè)領(lǐng)域內(nèi),從事信息安全標準化工作的技術(shù)工作組織。委員會負責(zé)組織開展國內(nèi)信息安全有關(guān)的標準化技術(shù)工作,技術(shù)委員會主要工作范圍包括:安全技術(shù)、安全機制、安全服務(wù)、安全管理、安全評估等領(lǐng)域的標準化技術(shù)工作。全國信安標委目前正開展大數(shù)據(jù)安全技術(shù)、產(chǎn)業(yè)和標準研究,為大數(shù)據(jù)的安全保障提供支撐。