一、大數(shù)據(jù)市場規(guī)模與特征分析
大數(shù)據(jù)產(chǎn)業(yè)是指對互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、運營商等渠道產(chǎn)生的大量數(shù)據(jù)資源進行快速獲取、收集存儲、價值提煉、智能處理和分發(fā),從而用于企業(yè)決策支持等方面的信息服務(wù)業(yè)。
大數(shù)據(jù)全生命周期可劃分為“數(shù)據(jù)產(chǎn)生—數(shù)據(jù)采集—數(shù)據(jù)傳輸—數(shù)據(jù)存儲—數(shù)據(jù)處理—數(shù)據(jù)分析—數(shù)據(jù)發(fā)布、展示和應(yīng)用—產(chǎn)生新數(shù)據(jù)”等。因此,大數(shù)據(jù)產(chǎn)業(yè)鏈主要包括數(shù)據(jù)源層、數(shù)據(jù)儲存平臺層、數(shù)據(jù)分析和挖掘?qū)右约按髷?shù)據(jù)應(yīng)用層。大數(shù)據(jù)應(yīng)用層主要分布在互聯(lián)網(wǎng)、電信、金融、零售和政府等行業(yè),和企業(yè)用戶的業(yè)務(wù)更加結(jié)合得緊密,通過大數(shù)據(jù)分析實現(xiàn)商業(yè)智能(BI)、決策支持和用戶需求挖掘等應(yīng)用價值。由于中國互聯(lián)網(wǎng)業(yè)務(wù)規(guī)模和移動終端數(shù)量的快速增長,業(yè)務(wù)數(shù)據(jù)和交互信息的爆炸式增長,中國大數(shù)據(jù)應(yīng)用進入發(fā)展元年,應(yīng)用市場規(guī)模增長提速。據(jù)ICTresearch的研究顯示,2012年,中國大數(shù)據(jù)應(yīng)用市場規(guī)模為4.5億,同比增長40.6%。
二、當(dāng)前大數(shù)據(jù)相關(guān)政策分析
大數(shù)據(jù)是一個具有國家戰(zhàn)略意義的新興產(chǎn)業(yè),正受到政府的高度關(guān)注。2012年5月,國務(wù)院頒發(fā)了《“十二五”國家戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展規(guī)劃》,提出了高端軟件和新興信息服務(wù)產(chǎn)業(yè)發(fā)展目標(biāo);加強以網(wǎng)絡(luò)化操作系統(tǒng)、海量數(shù)據(jù)處理軟件等為代表的基礎(chǔ)軟件、云計算軟件、工業(yè)軟件、智能終端軟件、信息安全軟件等關(guān)鍵軟件的開發(fā),推動大型信息資源庫建設(shè),積極培育云計算服務(wù)、電子商務(wù)服務(wù)等新興服務(wù)業(yè)態(tài),促進信息系統(tǒng)集成服務(wù)向產(chǎn)業(yè)鏈前后端延伸,推進網(wǎng)絡(luò)信息服務(wù)體系變革轉(zhuǎn)型和信息服務(wù)的普及,利用信息技術(shù)發(fā)展數(shù)字內(nèi)容產(chǎn)業(yè),提升文化創(chuàng)意產(chǎn)業(yè),促進信息化與工業(yè)化的深度融合。在關(guān)鍵開發(fā)技術(shù)方面,開展移動智能終端軟件、網(wǎng)絡(luò)化計算平臺與支撐軟件、智能海量數(shù)據(jù)處理相關(guān)軟件研發(fā)和產(chǎn)業(yè)化。
2012年2月,工信部發(fā)布《物聯(lián)網(wǎng)”十二五”發(fā)展規(guī)劃》,把“加強處理技術(shù)研究”作為核心技術(shù)攻關(guān)之一,提出:重點支持適用于物聯(lián)網(wǎng)的海量信息存儲和處理,以及數(shù)據(jù)挖掘、圖像視頻智能分析等技術(shù)的研究,支持數(shù)據(jù)庫、系統(tǒng)軟件、中間件等技術(shù)的開發(fā),推動軟硬件操作界面基礎(chǔ)軟件的研究。將“信息處理技術(shù)”列為四項關(guān)鍵技術(shù)創(chuàng)新工程之一,包括海量數(shù)據(jù)存儲、數(shù)據(jù)挖掘、圖像視頻智能分析。另外三項關(guān)鍵技術(shù)創(chuàng)新工程,包括信息感知技術(shù)、信息傳輸技術(shù)、信息安全技術(shù),也是大數(shù)據(jù)產(chǎn)業(yè)的重要組成部分,與大數(shù)據(jù)產(chǎn)業(yè)發(fā)展密切相關(guān)。
2013年,國務(wù)院發(fā)布《關(guān)于推進物聯(lián)網(wǎng)有序健康發(fā)展的指導(dǎo)意見》,提出加快傳感器網(wǎng)絡(luò)、智能終端、大數(shù)據(jù)處理、智能分析、服務(wù)集成等關(guān)鍵技術(shù)研發(fā)創(chuàng)新,推進物聯(lián)網(wǎng)與新一代移動通信、云計算、下一代互聯(lián)例、衛(wèi)星通信等技術(shù)的融合發(fā)展。重視信息資源的智能分析和綜合利用,避免重數(shù)據(jù)采集、輕數(shù)據(jù)處理和綜合應(yīng)用。
自2012年,國家已陸續(xù)出臺相關(guān)的產(chǎn)業(yè)規(guī)劃利政策,從不同側(cè)面推動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展。然而,專門針對大數(shù)據(jù)發(fā)展尤其是基于互聯(lián)網(wǎng)應(yīng)用的社交大數(shù)據(jù)的政策規(guī)劃還沒有。為充分利用大數(shù)據(jù)的價值,中國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展需上升到國家戰(zhàn)略層面,從政策制定、資源投入、人才培養(yǎng)等方面給予支持。企業(yè)與相關(guān)的新興產(chǎn)業(yè)和行業(yè)結(jié)合,通過相關(guān)產(chǎn)業(yè)的政策帶動大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展;另一方面是在國家政策的引導(dǎo)下,成立聯(lián)盟、建立專業(yè)組織,引導(dǎo)大數(shù)據(jù)政策提出和產(chǎn)業(yè)環(huán)境的建立。
三、當(dāng)前主要技術(shù)發(fā)展趨勢分析
在目前大數(shù)據(jù)發(fā)展背景下,數(shù)據(jù)存儲技術(shù)、處理技術(shù)、分析技術(shù)等在不斷創(chuàng)新和完善,開放的技術(shù)平臺和系統(tǒng)的發(fā)展主要呈現(xiàn)以下幾方面的趨勢:
(l)大數(shù)據(jù)的去冗降噪技術(shù)
大數(shù)據(jù)一般都來自多個不同的源頭,而且往往以動態(tài)數(shù)據(jù)流的形式產(chǎn)生。因此,大數(shù)據(jù)中常常包含有不同形態(tài)的噪聲數(shù)據(jù)。另外,數(shù)據(jù)采樣算法缺陷與設(shè)備故障也可能會導(dǎo)致大數(shù)據(jù)的噪聲。大數(shù)據(jù)的冗余則通常來自兩個方面:一方面,大數(shù)據(jù)的多源性導(dǎo)致了不同源頭的數(shù)據(jù)中存在有相同的數(shù)據(jù),從而造成數(shù)據(jù)的絕對冗余;另一方面,就具體的應(yīng)用需求而言,大數(shù)據(jù)可能會提供超量特別是超精度的數(shù)據(jù),這又形成數(shù)據(jù)的相對冗余。降低噪聲、消除冗余是提高數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)存儲成本的基礎(chǔ)。
(2)大數(shù)據(jù)的新型表示方法
目前,表示數(shù)據(jù)的方法不一定能直觀地展現(xiàn)出大數(shù)據(jù)本身的意義。要想有效利用數(shù)據(jù)并挖掘其中的信息或知識,必須找到最合適的數(shù)據(jù)表示方法。數(shù)據(jù)表示方法和最初的數(shù)據(jù)產(chǎn)生者有著密切關(guān)系。如果原始數(shù)據(jù)有必要的標(biāo)識,就會大大減輕事后數(shù)據(jù)識別和分類的困難。但標(biāo)識數(shù)據(jù)會給用戶增添麻煩,往往得不到用戶認可。研究既有效又簡易的數(shù)據(jù)表示方法是處理網(wǎng)絡(luò)大數(shù)據(jù)必須解決的技術(shù)難題之一。
(3)高效率低成本的大數(shù)據(jù)
大數(shù)據(jù)的存儲力式小僅影響其后的數(shù)據(jù)分析處理效率也影響數(shù)據(jù)存儲的成本。岡此,需要研究多源多模態(tài)數(shù)據(jù)高質(zhì)量獲取與整合的理論和技術(shù)、流式數(shù)據(jù)的高速索引創(chuàng)建與存儲、錯誤自動檢測與修復(fù)的理論和技術(shù)、低質(zhì)量數(shù)據(jù)上的近似計算的理論和算法等,實現(xiàn)高效率低成本的數(shù)據(jù)存儲方式。
(4)非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理
目前,非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)在整個人數(shù)據(jù)中占有相當(dāng)大的比重,而關(guān)系數(shù)據(jù)庫系統(tǒng)的出發(fā)點是追求高度的數(shù)據(jù)一致性和容錯性,傳統(tǒng)的關(guān)系數(shù)據(jù)庫技術(shù)無法勝任這些數(shù)據(jù)的處理。系統(tǒng)的高擴展性是大數(shù)據(jù)分析最重要的需求,必須尋找高擴展性的數(shù)據(jù)分析技術(shù)。以MapReduce和Hadoop為代表的非關(guān)系數(shù)據(jù)分析技術(shù),以其適合非結(jié)構(gòu)數(shù)據(jù)處理、大規(guī)模并行處理、簡單易用等突出優(yōu)勢,在互聯(lián)網(wǎng)信息搜索和其他大數(shù)據(jù)分析領(lǐng)域取得了重大進展,已成為大數(shù)據(jù)分析的主流技術(shù)。然而MapReduce相Hadoop在應(yīng)用性能等方面還存在不少問題,還需要研究開發(fā)更有效、更實用的大數(shù)據(jù)分析和管理技術(shù)來適應(yīng)大數(shù)據(jù)分析方面的技術(shù)需求。
(5)適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境
不同行業(yè)需要不同的大數(shù)據(jù)分析工具和開發(fā)環(huán)境,而當(dāng)前跨領(lǐng)域跨行業(yè)的數(shù)據(jù)共享仍存在大量壁壘,海量數(shù)據(jù)的收集,特別是相關(guān)領(lǐng)域的數(shù)據(jù)收集和共享仍然存在很大挑戰(zhàn)。通過在分析工具和開發(fā)環(huán)境上創(chuàng)新,實現(xiàn)跨領(lǐng)域的數(shù)據(jù)分析,從而提升不同行業(yè)和領(lǐng)域數(shù)據(jù)挖掘的價值。
四、2013-2017年度大數(shù)據(jù)市場規(guī)模預(yù)測分析
未來5年,中國將迎來大數(shù)據(jù)的快速發(fā)展,ICTresearch研究顯示,2013年,中國大數(shù)據(jù)市場規(guī)模將達到7.8億元,同比增長73.3%; 2017年,中國大數(shù)據(jù)市場規(guī)模有望達到184.3億元。
五、業(yè)務(wù)發(fā)展建議
1、差異化對待處于不同應(yīng)用階段的客戶需求
可以看到,企業(yè)中即擁有規(guī)?;臄?shù)據(jù)獲取來源又具備主流和核心技術(shù)能力進行大數(shù)據(jù)分析挖掘的廠商并不多。大部分廠商仍然處在擁有大量數(shù)據(jù)而沒有有效利用的階段,這就為大數(shù)據(jù)整合和分析方面具有優(yōu)勢的廠商提供了廣闊的市場機會。
根據(jù)研究企業(yè)的調(diào)查結(jié)果看,可以分為三類:
第一類企業(yè):企業(yè)技術(shù)實力比較強,信息化建設(shè)和技術(shù)投入較高,已經(jīng)認識到大數(shù)據(jù)的應(yīng)用價值,再大數(shù)據(jù)方面有了一定的研究基礎(chǔ),例如沃爾瑪、華為和富士康等。針對這類企業(yè)的機會就在于對大數(shù)據(jù)的外圍產(chǎn)品和應(yīng)用方面建立聯(lián)系和溝通,從大數(shù)據(jù)企業(yè)具有優(yōu)勢的產(chǎn)品和服務(wù)方面刺客戶產(chǎn)生影響,能夠進一步幫助客戶彌補自身技術(shù)方面的不足,尤其是服務(wù)方面,企業(yè)自身的應(yīng)用服務(wù)能力和運維水平限制將成為大數(shù)據(jù)企業(yè)客戶開拓方面的重要機會。
第二類企業(yè):企業(yè)基于業(yè)務(wù)的發(fā)展建立了比較完善的信息系統(tǒng),企業(yè)內(nèi)部的生產(chǎn)、銷售和外部運營數(shù)據(jù)比較豐富完善,有大數(shù)據(jù)應(yīng)用意識,但還沒有對數(shù)據(jù)進行深入的挖掘利用,主要有聯(lián)想、蘇寧、家樂福、蒙牛、王府井百貨等。針對這類企業(yè),大數(shù)據(jù)企業(yè)的機會空間比較大,可以結(jié)合目前已有信息系統(tǒng)的對接,收集和整理企業(yè)現(xiàn)有數(shù)據(jù),利用大數(shù)據(jù)企業(yè)核心的大數(shù)據(jù)分析利用技術(shù),對經(jīng)營相關(guān)的結(jié)構(gòu)化數(shù)據(jù)和營銷相關(guān)的非結(jié)構(gòu)化數(shù)據(jù)進行整合分析,從經(jīng)營改善提升的角度為企業(yè)提供整體的大數(shù)據(jù)解決方案,既可以實現(xiàn)大數(shù)據(jù)業(yè)務(wù)的整合又可以帶動大數(shù)據(jù)企業(yè)相關(guān)產(chǎn)品的小時機會,從整體上幫助企業(yè)把握大數(shù)據(jù)時代的發(fā)展機遇,成為企業(yè)信息建設(shè)和發(fā)展決策勝的關(guān)鍵環(huán)節(jié)。
第三類企業(yè):企業(yè)目前的經(jīng)營雖然有一定規(guī)模,但是信息化建設(shè)還不完善,技術(shù)實力不強,主要依靠專業(yè)的IT產(chǎn)生提供服務(wù),基本沒有建立大數(shù)據(jù)的應(yīng)用意識,主要有百聯(lián)、華潤萬家~愛國者、俏江南等企業(yè)。針對這類企業(yè),可以先從其信息化建設(shè)現(xiàn)狀入手,提高企業(yè)對信息化的重視程度,為企業(yè)提供有關(guān)云平臺、大數(shù)據(jù)方面建設(shè)的產(chǎn)品和解決方案,逐步完善客戶在數(shù)據(jù)采集、管理、分析和利用方面的意識,引導(dǎo)客戶的大數(shù)據(jù)業(yè)務(wù)需求。從前期介入持續(xù)跟進后幫助企業(yè)建立起數(shù)據(jù)中心——云平行應(yīng)用——大數(shù)據(jù)應(yīng)用等一系列的應(yīng)用模式。
總的來看,第二類企業(yè)是大數(shù)據(jù)企業(yè)目前需要重點關(guān)注的客戶目標(biāo),這類目標(biāo)有意識、有能力、有需求,是比較好開拓,能夠快速見到成效的客戶。但由于目前國外廠商在大數(shù)據(jù)方面的布局越來越完善,大數(shù)據(jù)企業(yè)需要更加突出自身在已有產(chǎn)品方面的競爭力,提出大數(shù)據(jù)創(chuàng)新的技術(shù)和應(yīng)用模式,才能在這類企業(yè)中建立獨特的競爭優(yōu)勢。
2、加快關(guān)鍵技術(shù)和新型數(shù)據(jù)處理技術(shù)研發(fā)
大數(shù)據(jù)的技術(shù)門檻較高,目前在大數(shù)據(jù)領(lǐng)域展開競爭的信息技術(shù)企業(yè)多是在數(shù)據(jù)存儲、分析等領(lǐng)域有著傳統(tǒng)優(yōu)勢的廠商。為實現(xiàn)產(chǎn)業(yè)升級,需要加強關(guān)鍵技術(shù)和新興技術(shù)的研發(fā)。以數(shù)據(jù)分析技術(shù)為核心,加強人工智能、商業(yè)智能、機器學(xué)習(xí)等領(lǐng)域的理論研究和技術(shù)研發(fā),全面提升非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)、非關(guān)系型數(shù)據(jù)庫管理技術(shù)、可視化技術(shù)等基礎(chǔ)技術(shù)研發(fā)水平,推動與云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等技木的融合,加強網(wǎng)頁搜索技術(shù)、知識計算(搜索)技術(shù)、知識庫技術(shù)等核心技術(shù)的研發(fā),開發(fā)出高質(zhì)量的單項技術(shù)產(chǎn)品,并與數(shù)據(jù)處理技術(shù)相結(jié)合,為實現(xiàn)商業(yè)智能服務(wù)提供技術(shù)體系支撐。
3、提升大數(shù)據(jù)分析產(chǎn)品和服務(wù)水平
推動以企業(yè)為核心的產(chǎn)學(xué)研用合作,利用本士語言優(yōu)勢,結(jié)合云計算技術(shù)與服務(wù),鼓勵軟硬件企業(yè)和服務(wù)企業(yè)應(yīng)用新型技術(shù),與信息內(nèi)容服務(wù)相結(jié)合,面向?qū)嶋H的大數(shù)據(jù)應(yīng)用提供具有行業(yè)特色的系統(tǒng)集成解決方案和數(shù)據(jù)分析服務(wù)?;陂_源、開放操作系統(tǒng)或應(yīng)用平臺,整合優(yōu)勢資源,以有基礎(chǔ)優(yōu)勢的數(shù)據(jù)處理軟件商牽頭,統(tǒng)合各方技術(shù)優(yōu)勢與數(shù)據(jù)優(yōu)勢,形成完整、可實用的數(shù)據(jù)分析產(chǎn)品,不斷提高服務(wù)內(nèi)容的精確度與匹配度,培育具有較高集成水平、較強市場能力的大數(shù)據(jù)解決方案提供商,為大數(shù)據(jù)在各行業(yè)領(lǐng)域的應(yīng)用提供成熟解決方案。
4、加速推進大數(shù)據(jù)示范領(lǐng)域的應(yīng)用水平
未來,大數(shù)據(jù)將在互聯(lián)網(wǎng)、醫(yī)療、政府、零售等行業(yè)得到廣泛應(yīng)用和發(fā)展。面向數(shù)據(jù)量大的行業(yè)應(yīng)用領(lǐng)域,積極引導(dǎo)行業(yè)廠商參與,大力發(fā)展商業(yè)決策、數(shù)據(jù)分析、擴展存儲等軟硬件一體化的行業(yè)應(yīng)用解決方案。同時,推動高科技領(lǐng)域的數(shù)據(jù)深加工服務(wù),大力開發(fā)深度加工的行業(yè)數(shù)據(jù)庫和細分領(lǐng)域的專題數(shù)據(jù)庫,為行業(yè)用戶提供基于數(shù)據(jù)內(nèi)容的增值服務(wù)。對于政府城市建設(shè)的需求,加快推動大數(shù)據(jù)在智慧城市、平安城市建設(shè)的應(yīng)用,不斷提升數(shù)字內(nèi)容加工處理軟件等服務(wù)發(fā)展水平,提升城市管理的水平和政府部門的服務(wù)質(zhì)量。