發(fā)布時(shí)間：2023-06-29 16:31:33
序言：寫作是分享個(gè)人見解和探索未知領(lǐng)域的橋梁，我們?yōu)槟x了8篇的大數(shù)據(jù)開發(fā)的過程樣本，期待這些樣本能夠?yàn)槟峁┴S富的參考和啟發(fā)，請(qǐng)盡情閱讀。
關(guān)鍵詞：大數(shù)據(jù)；信息資源管理；網(wǎng)絡(luò)信息資源
DOIDOI：10.11907/rjdk.161946
中圖分類號(hào)：TP319
文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2016）009013202
作者簡(jiǎn)介作者簡(jiǎn)介：楊洋（1995-），女，湖北武漢人，華中師范大學(xué)信息管理學(xué)院學(xué)生，研究方向?yàn)樾畔⒐芾砼c信息系統(tǒng)。
0引言
隨著互聯(lián)網(wǎng)時(shí)代的來臨，越來越多的數(shù)據(jù)都來源于網(wǎng)絡(luò)，網(wǎng)絡(luò)數(shù)據(jù)呈爆炸式增長(zhǎng)，如何對(duì)這些網(wǎng)絡(luò)信息資源進(jìn)行有效的采集、組織、分析和利用成為急需解決的問題。運(yùn)用先進(jìn)的技術(shù)和管理經(jīng)驗(yàn)來對(duì)網(wǎng)絡(luò)信息資源進(jìn)行開發(fā)是大數(shù)據(jù)時(shí)代急待解決的問題。
1大數(shù)據(jù)概述
2011年，位于美國的全球知名咨詢公司麥肯錫最早提出了“大數(shù)據(jù)時(shí)代”概念，隨即在全球掀起了軒然大波，似乎所有學(xué)科都被冠以大數(shù)據(jù)的頭銜。隨著網(wǎng)絡(luò)時(shí)代的發(fā)展，數(shù)據(jù)以驚人的速度增長(zhǎng)――每秒鐘有60張照片上傳到網(wǎng)絡(luò)；每分鐘有60個(gè)小時(shí)的視頻上傳到Y(jié)ouTube；每天，全球互聯(lián)網(wǎng)中產(chǎn)生的數(shù)據(jù)可以刻滿1.68億張DVD，發(fā)出的論壇帖子達(dá)到200萬個(gè)，相當(dāng)于美國《時(shí)代》雜志770年的文字量。
到目前為止，大數(shù)據(jù)還沒有一個(gè)完全準(zhǔn)確且被公認(rèn)的定義。麥肯錫全球研究所給出的定義是：大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合?，F(xiàn)在被廣泛認(rèn)可的是大數(shù)據(jù)的4V特征：海量的數(shù)據(jù)規(guī)模（Volume）、快速的數(shù)據(jù)流轉(zhuǎn)（Velocity）、多樣的數(shù)據(jù)類型（Variety）、價(jià)值密度低（Value）。
隨著科技時(shí)代的發(fā)展，大數(shù)據(jù)的處理要求與日俱增，特別是面對(duì)海量的網(wǎng)絡(luò)信息資源，亟需大數(shù)據(jù)技術(shù)的特殊處理，才能夠得到充分的組織利用，才會(huì)為社會(huì)創(chuàng)造更大的價(jià)值。
2大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)信息資源開發(fā)利用現(xiàn)狀
2.1網(wǎng)絡(luò)信息資源概念
廣義上講，信息資源是指一個(gè)貫穿于人類社會(huì)信息活動(dòng)中從事生產(chǎn)、分配、交換、流通、消費(fèi)全過程的多要素集合，包括信息勞動(dòng)的對(duì)象、信息勞動(dòng)設(shè)備、信息勞動(dòng)技術(shù)、信息勞動(dòng)者等[1]。而網(wǎng)絡(luò)信息資源作為知識(shí)經(jīng)濟(jì)時(shí)代的產(chǎn)物，即虛擬的信息資源，是指借助于網(wǎng)絡(luò)環(huán)境可以利用的各種信息資源總和。網(wǎng)絡(luò)信息資源可以指以數(shù)字化形式記錄的、通過計(jì)算機(jī)網(wǎng)絡(luò)通信方式進(jìn)行傳遞的信息內(nèi)容集合，也可以是為滿足人類需求，借助計(jì)算機(jī)等設(shè)備開發(fā)、生產(chǎn)和傳遞的、通過網(wǎng)絡(luò)獲取的信息集合。
2.2大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)信息資源開發(fā)利用機(jī)遇
過去，很多行業(yè)對(duì)網(wǎng)絡(luò)數(shù)據(jù)只是進(jìn)行傳統(tǒng)挖掘，比如點(diǎn)擊率、網(wǎng)絡(luò)流量以及其它僅局限于網(wǎng)絡(luò)數(shù)據(jù)的指標(biāo)。因?yàn)榧夹g(shù)、人才的缺乏，導(dǎo)致很多詳細(xì)的網(wǎng)絡(luò)行為數(shù)據(jù)沒有被充分挖掘。但是現(xiàn)在，在基于大數(shù)據(jù)的有關(guān)技術(shù)以及在全行業(yè)大數(shù)據(jù)的浪潮中，來自于網(wǎng)頁瀏覽器、移動(dòng)應(yīng)用終端、自助服務(wù)終端、社交媒體等地方的網(wǎng)絡(luò)數(shù)據(jù)被挖掘整理為有價(jià)值的網(wǎng)絡(luò)信息資源，為科研、商業(yè)、教育等領(lǐng)域提供源源不斷的可用情報(bào)，從而促進(jìn)各大行業(yè)蓬勃發(fā)展。在大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)信息資源中可挖掘的有用信息更加豐富。
早在大數(shù)據(jù)概念提出不久的2012年，美國就已經(jīng)將大數(shù)據(jù)研究和發(fā)展計(jì)劃提升為國家發(fā)展戰(zhàn)略。美國作為一個(gè)科技與經(jīng)濟(jì)強(qiáng)國，其對(duì)大數(shù)據(jù)的重視程度可見一斑。雖然我國互聯(lián)網(wǎng)起步較晚，但政府在實(shí)行大數(shù)據(jù)戰(zhàn)略時(shí)也給予了充分的經(jīng)濟(jì)與政策支持。2016年中國大數(shù)據(jù)產(chǎn)業(yè)峰會(huì)暨中國電子商務(wù)創(chuàng)新發(fā)展峰會(huì)的主題便是大數(shù)據(jù)開啟智能時(shí)代，國務(wù)院總理出席開幕式并發(fā)表致辭。信息處理技術(shù)作為四項(xiàng)關(guān)鍵技術(shù)創(chuàng)新工程之一，涵蓋了海量數(shù)據(jù)存儲(chǔ)、圖像視頻智能分析、數(shù)據(jù)挖掘等信息處理技術(shù)，是大數(shù)據(jù)技術(shù)的重要組成部分。
2.3大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)信息資源開發(fā)利用的挑戰(zhàn)
大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)信息資源開發(fā)利用有著良好的發(fā)展條件，機(jī)遇和挑戰(zhàn)并存。首先，我國現(xiàn)階段在數(shù)據(jù)挖掘、數(shù)據(jù)倉庫、搜索引擎、元數(shù)據(jù)等技術(shù)上與科技發(fā)達(dá)國家還存在著差距[2]，如何使用先進(jìn)的大數(shù)據(jù)技術(shù)來處理龐大的網(wǎng)絡(luò)數(shù)據(jù)，增強(qiáng)信息的采集、組織、分析和運(yùn)用能力成為亟待解決的難題；其次，如何有效管理龐雜的信息資源也是急需解決的問題[3]。在互聯(lián)網(wǎng)時(shí)代甚至是移動(dòng)互聯(lián)網(wǎng)時(shí)代，網(wǎng)民產(chǎn)生的海量數(shù)據(jù)雜亂無序，需要合理管理才能組織利用好這些數(shù)據(jù)，為生產(chǎn)生活創(chuàng)造價(jià)值。
大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)信息資源利用發(fā)展迅速，但人們的從眾心理會(huì)導(dǎo)致盲目投資，很多人往往在沒有徹底弄清大數(shù)據(jù)的發(fā)展形勢(shì)前就跟風(fēng)操作，這會(huì)加重網(wǎng)絡(luò)信息資源管理的負(fù)擔(dān)，不良的大數(shù)據(jù)產(chǎn)業(yè)還會(huì)帶來行業(yè)風(fēng)險(xiǎn)，信息的真實(shí)性和可靠性得不到保障。
3大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)信息資源開發(fā)利用策略
3.1提升大數(shù)據(jù)技術(shù)水平
我國的大數(shù)據(jù)技術(shù)水平與美國等科技發(fā)達(dá)國家還存在差異，要利用好網(wǎng)絡(luò)信息資源，進(jìn)行有效合理的開發(fā)，就一定要掌握核心技術(shù)。
大數(shù)據(jù)核心技術(shù)有：①Hadoop，是一個(gè)能對(duì)大量數(shù)據(jù)進(jìn)行分布式處理的軟件框架，Hadoop 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的；②Storm是自由的開源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm可以非?？煽康靥幚睚嫶蟮臄?shù)據(jù)流，用于處理Hadoop的批量數(shù)據(jù)；③RapidMiner是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，其數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)技術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過程的設(shè)計(jì)和評(píng)價(jià)。
3.2加強(qiáng)網(wǎng)絡(luò)信息資源的引導(dǎo)和管理
大數(shù)據(jù)時(shí)代的社會(huì)輿論環(huán)境非常復(fù)雜，互聯(lián)網(wǎng)時(shí)代，每個(gè)網(wǎng)民都是大數(shù)據(jù)的生產(chǎn)者和接受者[4]。首先，有關(guān)部門要疏通網(wǎng)絡(luò)輿論環(huán)境渠道，善于利用大數(shù)據(jù)技術(shù)分析解剖輿情問題，提取采集有價(jià)值的網(wǎng)絡(luò)信息，整理網(wǎng)民關(guān)注的焦點(diǎn)和熱點(diǎn)問題；其次，對(duì)于網(wǎng)絡(luò)信息資源反映的問題提出有效的解決方案，甚至可以預(yù)測(cè)問題、提出預(yù)警。對(duì)于網(wǎng)絡(luò)行為進(jìn)行數(shù)據(jù)挖掘，從而得到經(jīng)濟(jì)、政治、社會(huì)層面有價(jià)值的信息資源。比如在淘寶網(wǎng)上，通過用戶的購買數(shù)據(jù)和瀏覽數(shù)據(jù)得出用戶偏好，在后臺(tái)處理這類信息，形成商品推薦呈現(xiàn)給用戶，以此增加用戶購買行為概率，提高潛在經(jīng)濟(jì)效益。
大數(shù)據(jù)時(shí)代應(yīng)以先進(jìn)的管理方式來進(jìn)行網(wǎng)絡(luò)信息資源的開發(fā)利用。基于大數(shù)據(jù)的4V特征，一般的管理方式是難以駕馭大數(shù)據(jù)的，所以新型的先進(jìn)管理經(jīng)驗(yàn)應(yīng)運(yùn)而生。要利用數(shù)據(jù)挖掘和數(shù)據(jù)倉庫技術(shù)對(duì)大數(shù)據(jù)進(jìn)行管理。數(shù)據(jù)挖掘一般是指從大量的數(shù)據(jù)中自動(dòng)搜索隱藏于其中的有著特殊關(guān)系的信息過程。數(shù)據(jù)倉庫，是為企業(yè)所有級(jí)別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持目的而創(chuàng)建。這都需要專業(yè)的管理人員進(jìn)行操作與管理，對(duì)大數(shù)據(jù)時(shí)代下的網(wǎng)絡(luò)信息資源管理提出了更高的要求。
3.3制訂相應(yīng)的政策推動(dòng)網(wǎng)絡(luò)信息資源開發(fā)利用
在大數(shù)據(jù)時(shí)代，網(wǎng)絡(luò)信息資源的開發(fā)利用可以深入到上至國家下到個(gè)人的各個(gè)層面，數(shù)據(jù)的真實(shí)可靠性、個(gè)人的隱私也都會(huì)受到影響。國家不僅要在促進(jìn)大數(shù)據(jù)發(fā)展上制定相應(yīng)的政策，還應(yīng)該加強(qiáng)宏觀調(diào)控，制定政策和法規(guī)，用相應(yīng)的法律來進(jìn)行約束管理。
我國相關(guān)機(jī)構(gòu)要建立符合實(shí)際的技術(shù)、人才、財(cái)政等政策保障體系[5]，為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展?fàn)I造良好環(huán)境，生產(chǎn)并提供適合受眾的網(wǎng)絡(luò)信息資源與服務(wù)。在經(jīng)濟(jì)政治條件允許下，可以建立大數(shù)據(jù)創(chuàng)業(yè)園區(qū)，集聚大數(shù)據(jù)開發(fā)運(yùn)營企業(yè)，對(duì)相關(guān)企業(yè)提供便利條件或相關(guān)支持，從而促進(jìn)網(wǎng)絡(luò)信息資源的開發(fā)利用。
4結(jié)語
大數(shù)據(jù)時(shí)代的歷史潮流勢(shì)不可擋，大數(shù)據(jù)與互聯(lián)網(wǎng)相輔相成，共同發(fā)展。大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)信息資源開發(fā)利用成為連接兩者的橋梁。隨著科技發(fā)達(dá)國家對(duì)大數(shù)據(jù)的重視，國家之間的實(shí)力對(duì)比也逐漸成為信息力量的權(quán)衡，網(wǎng)絡(luò)信息資源在國家領(lǐng)域和日常生活中越來越占據(jù)主導(dǎo)地位。我國應(yīng)緊跟大數(shù)據(jù)時(shí)代的發(fā)展潮流，加緊對(duì)網(wǎng)絡(luò)信息資源進(jìn)行有效地開發(fā)和利用，以提升綜合國力和核心競(jìng)爭(zhēng)力。
參考文獻(xiàn)參考文獻(xiàn)：
[1]張欣.大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)信息內(nèi)容建設(shè)管理[J].新技術(shù)，2015（5）：119.
[2]嚴(yán)頌.大數(shù)據(jù)時(shí)代的網(wǎng)絡(luò)信息內(nèi)容建設(shè)管理[J].成都行政學(xué)院學(xué)報(bào)，2014（1）：1922.
[3]劉倩倩.大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)信息資源的開發(fā)與利用[J].企業(yè)技術(shù)開發(fā)，2015（5）：8384.
隨著經(jīng)濟(jì)全球化以及信息化的發(fā)展，計(jì)算技術(shù)已經(jīng)走入了人們的生活，并且逐漸成為人們生活中不可缺少的一部分，可以說，計(jì)算機(jī)技術(shù)在各個(gè)領(lǐng)域行業(yè)中都有著巨大的發(fā)展空間，尤其是在各種信息不斷的大數(shù)據(jù)時(shí)代計(jì)算機(jī)技術(shù)更體現(xiàn)出了它的優(yōu)勢(shì)，因此完善計(jì)算機(jī)軟件技術(shù)對(duì)各個(gè)領(lǐng)域行業(yè)有極大作用，同時(shí)也是提高企業(yè)運(yùn)營速度、加強(qiáng)經(jīng)濟(jì)收益的最根本保障，本文就對(duì)計(jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用問題進(jìn)行具體的分析。
【關(guān)鍵詞】計(jì)算機(jī)技術(shù) 軟件技術(shù) 大數(shù)據(jù)時(shí)代 應(yīng)用分析
1 引言
21世紀(jì)是科技的時(shí)代，計(jì)算機(jī)應(yīng)用技術(shù)改變了工作的傳統(tǒng)模式，在市場(chǎng)競(jìng)爭(zhēng)如此激烈的今天，企業(yè)要想在市場(chǎng)中取得發(fā)展就需要從計(jì)算機(jī)軟件技術(shù)方面入手，在節(jié)約人力物力的同時(shí)實(shí)現(xiàn)工作的整體效率，讓企業(yè)的運(yùn)營模式更加的專業(yè)化、科學(xué)化。隨著云時(shí)代的到來大數(shù)據(jù)也逐漸被人們所關(guān)注，大數(shù)據(jù)時(shí)代給計(jì)算機(jī)信息處理技術(shù)帶來了好消息，可以說，大數(shù)據(jù)是繼IT行業(yè)在云計(jì)算與物聯(lián)網(wǎng)之后的又一次技術(shù)變革，對(duì)人們的生活、工作以及學(xué)習(xí)的影響很大，在企業(yè)的運(yùn)營過程中數(shù)據(jù)是最為核心的資產(chǎn)，在大數(shù)據(jù)時(shí)代所有的企業(yè)都將面臨著來自多方面的挑戰(zhàn)，但這同時(shí)也是一種機(jī)遇與資源。就目前形勢(shì)來看，大數(shù)據(jù)時(shí)代的到來給了計(jì)算機(jī)處理技術(shù)帶來了機(jī)會(huì)，也對(duì)提高社會(huì)經(jīng)濟(jì)效益有很大作用，本文就對(duì)計(jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用進(jìn)行具體的分析與研究。
2 計(jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用
大數(shù)據(jù)時(shí)代最主要的應(yīng)用核心就是在大量的數(shù)據(jù)中找到規(guī)律，從而找出與用戶的需求相一致的特點(diǎn)來進(jìn)行設(shè)計(jì)、生產(chǎn)以及服務(wù)，大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理關(guān)鍵技術(shù)主要包括三個(gè)部分：
（1）虛擬化技術(shù)。該技術(shù)是根據(jù)虛擬的資源來進(jìn)行管理，同時(shí)也能對(duì)這些大數(shù)據(jù)資源進(jìn)行優(yōu)化配置，在提高信息處理效率的同時(shí)也能提高靈活程度。
（2）云存儲(chǔ)技術(shù)。云存儲(chǔ)是由多個(gè)存儲(chǔ)單元組成的，它是一種由多種功能聯(lián)合在一起的協(xié)同工作，大數(shù)據(jù)時(shí)代下出現(xiàn)的云存儲(chǔ)技術(shù)為更好的解決海量信息提供了方便，同時(shí)完成對(duì)大量信息數(shù)據(jù)的計(jì)算也是在大數(shù)據(jù)時(shí)代下數(shù)據(jù)處理必不可少的環(huán)節(jié)。
（3）信息安全技術(shù)。在大數(shù)據(jù)時(shí)代之下，各種數(shù)據(jù)信息是有一定關(guān)聯(lián)的，這種關(guān)系之間的影響對(duì)數(shù)據(jù)的安全有一定的威脅，需要調(diào)整整個(gè)的數(shù)據(jù)管理系統(tǒng)，從而提高數(shù)據(jù)集群的安全水平。在未來的發(fā)展中，如果想要保證大數(shù)據(jù)信息的安全性就需要不斷的推進(jìn)信息安全技術(shù)的發(fā)展。雖然大數(shù)據(jù)在我國的應(yīng)用時(shí)間很短但是效果卻是很大的，大數(shù)據(jù)已經(jīng)成為了一種發(fā)展趨勢(shì)并得到了人們的廣泛應(yīng)用與支持，在未來的發(fā)展過程中，我國的計(jì)算機(jī)軟件技術(shù)方面還會(huì)遇到更多的挑戰(zhàn)，因此就需要各行業(yè)根據(jù)自身的問題制定出最符合自我發(fā)展的方案，讓數(shù)據(jù)處理技術(shù)能夠得到改革與完善，計(jì)算機(jī)技術(shù)應(yīng)用于大數(shù)據(jù)時(shí)代下讓數(shù)據(jù)有更高的真實(shí)性、有效性。
在計(jì)算機(jī)軟件技術(shù)發(fā)展的過程中應(yīng)該主要從三個(gè)方面入手：
（1）信息通信方面。通過利用IBM SPSS預(yù)測(cè)分析軟件就可以從很大程度上降低客源的流失，還可以從中找到行業(yè)運(yùn)營過程中的問題，從而提供更快捷、更方便的發(fā)展平臺(tái)。例如通訊行業(yè)的發(fā)展就需要一些通信運(yùn)營商通過計(jì)算機(jī)軟件技術(shù)來對(duì)客戶的相關(guān)資料進(jìn)行整理，在這些信息中分析出目前的發(fā)展趨勢(shì)，然后將這些資料交給企業(yè)促進(jìn)其經(jīng)濟(jì)效益的提升。
（2）企業(yè)信息解決問題。利用企業(yè)運(yùn)營管理軟件能夠有效的解決客戶資料獲取、風(fēng)險(xiǎn)分析以及雇員流動(dòng)等問題，根據(jù)大數(shù)據(jù)時(shí)代的特征能夠?yàn)槠髽I(yè)提供更好、更新的方法，在數(shù)據(jù)開發(fā)的過程中主要分成五個(gè)部分：1.抽樣。所謂抽樣就是在產(chǎn)品生產(chǎn)的過程中選取比較有代表性的作為樣本，樣本容量的選擇可以進(jìn)行定位，但必須具有一定的代表性這樣更加方便于分析與操作。2.開發(fā)。通過開發(fā)、探索的方式來對(duì)數(shù)據(jù)進(jìn)行分析能夠加深人們對(duì)數(shù)據(jù)的進(jìn)一步認(rèn)識(shí)，在開發(fā)過程中可能會(huì)涉及到對(duì)數(shù)據(jù)的導(dǎo)入、合并、選擇等步驟。3.修改。人們可以通過創(chuàng)建與選擇來對(duì)數(shù)據(jù)集進(jìn)行修改，在修改的時(shí)候可能會(huì)涉及到變量的轉(zhuǎn)換、產(chǎn)品的編碼等等，然后再根據(jù)對(duì)應(yīng)的數(shù)據(jù)進(jìn)行分箱操作。4.模型。利用模型是為了讓預(yù)測(cè)的結(jié)果更加準(zhǔn)確、可靠，同時(shí)這一步驟在企業(yè)解決方案的制訂中占有重要地位，也可以推動(dòng)經(jīng)濟(jì)效益的提升。5.評(píng)定。評(píng)定技術(shù)是先與模型進(jìn)行對(duì)比然后由人員進(jìn)行仔細(xì)的分析，在數(shù)據(jù)挖掘的過程中相關(guān)技術(shù)人員應(yīng)該開發(fā)出新的方式，對(duì)數(shù)據(jù)進(jìn)行分析與整合才能確保信息的準(zhǔn)確性。在可視化的工具中用戶可以將數(shù)據(jù)找出來并以圖形的方式進(jìn)行表示，人員就可以對(duì)數(shù)據(jù)動(dòng)態(tài)有更加深刻直觀的了解，此外，SAS/EM還有一些特殊的工具，其中包括可以進(jìn)行流程圖的評(píng)分操作的工具以及用于考察執(zhí)行結(jié)果的工具等等。
3 結(jié)束語
綜上所述，計(jì)算技術(shù)在我國的發(fā)展迅速，我國在數(shù)據(jù)采集、分析以及存儲(chǔ)方面已經(jīng)取得了很大的成效，隨著這些技術(shù)的不斷推進(jìn)，使得我國相關(guān)部門與企業(yè)的整體效率得到明顯提高，企業(yè)的生產(chǎn)模式基本實(shí)現(xiàn)了自動(dòng)化的運(yùn)行方式，這是大數(shù)據(jù)時(shí)代帶來的優(yōu)點(diǎn)，大數(shù)據(jù)的改革與創(chuàng)新讓計(jì)算機(jī)處理大量信息變?yōu)榭赡?，這樣一來不僅信息處理的效率提高了，同時(shí)也能降低一定的成本，目前已經(jīng)有越多越多的專業(yè)人員投入到了計(jì)算機(jī)軟件技術(shù)開發(fā)的工作中來，相信在眾多專業(yè)人員的共同努力之下，未來我國計(jì)算機(jī)軟件技術(shù)將會(huì)得到更大的發(fā)展，買上新的歷史階段。
參考文獻(xiàn)
[1]吳子紅.計(jì)算機(jī)軟件技術(shù)在大數(shù)據(jù)時(shí)代的應(yīng)用[J].中小企業(yè)管理與科技，2014（09）.
[2]崔寧.計(jì)算機(jī)軟件技術(shù)在大型結(jié)構(gòu)實(shí)驗(yàn)及現(xiàn)場(chǎng)檢測(cè)數(shù)據(jù)處理中的應(yīng)用[J].產(chǎn)業(yè)與科技論壇，2013（21）.
[3]劉濤.計(jì)算機(jī)整編軟件技術(shù)在地下水監(jiān)測(cè)資料整編中應(yīng)用[J].地下水，2013（05）.
[4]劉孔瑜.淺析計(jì)算機(jī)軟件技術(shù)的發(fā)展與應(yīng)用[J].企業(yè)導(dǎo)報(bào)，2016（08）.
作者簡(jiǎn)介
向羽，男，湖北省潛江市人。現(xiàn)供職于湖北大學(xué)知行學(xué)院。研究方向?yàn)橛?jì)算機(jī)軟件工程。
傳統(tǒng)的軟件工程方法以數(shù)理邏輯為中心，采用系統(tǒng)化的、規(guī)范化的、可定量的過程化方法去開發(fā)、測(cè)試、維護(hù)軟件。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)與軟件密不可分，數(shù)據(jù)是計(jì)算的處理對(duì)象，軟件虛擬化，具有松耦合、分布廣、動(dòng)態(tài)變化等特點(diǎn)，要求能夠處理海量數(shù)據(jù)。傳統(tǒng)軟件工程方法已經(jīng)不能適應(yīng)大數(shù)據(jù)時(shí)代的需要，軟件工程教學(xué)應(yīng)當(dāng)針對(duì)大數(shù)據(jù)處理的需求，研究支持?jǐn)?shù)據(jù)處理的軟件技術(shù)，研究面向大數(shù)據(jù)的軟件工程教育教學(xué)方法。此外，我校在課程內(nèi)容建設(shè)、學(xué)生實(shí)踐實(shí)訓(xùn)、創(chuàng)新培養(yǎng)、教材建設(shè)等方面與青島軟件園駐園軟件企業(yè)進(jìn)行了充分溝通與融合，應(yīng)對(duì)大數(shù)據(jù)環(huán)境帶來的機(jī)遇，使學(xué)生在學(xué)校中就可以通過校企平臺(tái)解決學(xué)生專業(yè)實(shí)訓(xùn)、企業(yè)實(shí)習(xí)等問題、了解軟件企業(yè)部門的職能分工及聯(lián)系、掌握軟件企業(yè)的主流開發(fā)技術(shù)和產(chǎn)業(yè)技術(shù)應(yīng)用前沿。
2大數(shù)據(jù)驅(qū)動(dòng)下的教學(xué)模式探索
大數(shù)據(jù)在為軟件行業(yè)的發(fā)展帶來機(jī)遇的同時(shí)，也帶來了挑戰(zhàn)。從軟件工程教學(xué)的視角，我們分析大數(shù)據(jù)時(shí)代對(duì)于軟件工程教學(xué)的影響，提出運(yùn)用大數(shù)據(jù)服務(wù)軟件工程教育、提升學(xué)生素質(zhì)。
（1）理論與實(shí)踐并重。
軟件工程是一門兼顧理論與實(shí)踐的課程，為了實(shí)現(xiàn)培養(yǎng)應(yīng)用型人才的目標(biāo)，在實(shí)際教學(xué)活動(dòng)中，往往圍繞著能力培養(yǎng)開展教學(xué)，重視培養(yǎng)學(xué)生的工程實(shí)踐能力，卻忽視以知識(shí)為中心的教學(xué)模式。我們并非提倡以講授軟件開發(fā)過程中的理論知識(shí)為中心，而是要求不但注重學(xué)生實(shí)踐能力的培養(yǎng)，還要重視強(qiáng)化學(xué)生的理論基礎(chǔ)。重視軟件工程前導(dǎo)課程知識(shí)的銜接，例如數(shù)據(jù)結(jié)構(gòu)、算法設(shè)計(jì)與分析，還要將軟件行業(yè)發(fā)展的最新研究成果和熱點(diǎn)內(nèi)容，例如大數(shù)據(jù)下的軟件工程思維，及時(shí)地安排到課程教學(xué)中。通過將工程實(shí)踐的新技術(shù)與新方法融入到軟件工程的理論教學(xué)中，促使學(xué)生在掌握扎實(shí)的基礎(chǔ)理論知識(shí)的同時(shí)，引導(dǎo)學(xué)生自我構(gòu)建與現(xiàn)代軟件工程發(fā)展相適應(yīng)的知識(shí)框架。
（2）協(xié)同開發(fā)。
當(dāng)前軟件工程面臨的主要挑戰(zhàn)是合理分工，如何明確軟件企業(yè)內(nèi)部的職能分工、各技術(shù)崗位的職能范圍、權(quán)責(zé)和工作內(nèi)容。大數(shù)據(jù)環(huán)境下，軟件工程方法由邏輯驅(qū)動(dòng)轉(zhuǎn)變?yōu)橛蓴?shù)據(jù)驅(qū)動(dòng)。由于主要面向分布型應(yīng)用和程序，軟件開發(fā)從封閉走向開放，開發(fā)人員通過分享和交互進(jìn)行開發(fā)。在此過程中，應(yīng)重視協(xié)同開發(fā)。采用團(tuán)隊(duì)協(xié)同模式開發(fā)軟件項(xiàng)目過程中，根據(jù)學(xué)生的知識(shí)和能力進(jìn)行組隊(duì)，不僅要明確團(tuán)隊(duì)成員的職能范圍和工作內(nèi)容，還要明確需求分析、系統(tǒng)設(shè)計(jì)、代碼編寫、系統(tǒng)測(cè)試人員之間的權(quán)責(zé)。此外，在參與大型軟件的開發(fā)實(shí)訓(xùn)中，還有細(xì)分相同角色人員的具體分工。在協(xié)同開發(fā)教學(xué)過程中，我們要避免學(xué)生自由組隊(duì)造成的“馬太效應(yīng)”。根據(jù)教學(xué)實(shí)訓(xùn)發(fā)現(xiàn)，學(xué)生自由組隊(duì)，容易造成強(qiáng)強(qiáng)聯(lián)合。編程能力強(qiáng)的學(xué)生組隊(duì)，能夠較好的完成實(shí)訓(xùn)項(xiàng)目，但是弱弱組隊(duì)卻無法順利的完成實(shí)訓(xùn)任務(wù)。為了在協(xié)同開發(fā)中，培養(yǎng)學(xué)生的溝通表達(dá)能力、團(tuán)隊(duì)合作能力，我們?cè)诮處煹囊龑?dǎo)下，引進(jìn)團(tuán)隊(duì)制約機(jī)制。每個(gè)開發(fā)團(tuán)隊(duì)通過強(qiáng)弱聯(lián)合組隊(duì)，每個(gè)團(tuán)隊(duì)既是軟件開發(fā)者，同時(shí)也是軟件需求者。作為軟件開發(fā)者時(shí)，需要和軟件需求方討論需求分析、系統(tǒng)設(shè)計(jì)；作為軟件需求者時(shí)，需要提出自己的軟件應(yīng)用要求。開發(fā)者和需求者的雙重身份，保證團(tuán)隊(duì)之間只有經(jīng)過充分的溝通，才能完成軟件的開發(fā)。團(tuán)隊(duì)制約機(jī)制使得學(xué)生在較短的時(shí)間內(nèi)，能夠扮演多種開發(fā)角色，熟悉軟件企業(yè)的業(yè)務(wù)流程。
（3）合作創(chuàng)新。
大數(shù)據(jù)時(shí)代，面向服務(wù)的軟件工程、群體軟件工程得到了廣泛的應(yīng)用和發(fā)展。在開放環(huán)境下，面向分布式應(yīng)用和分布式的開發(fā)模式，需要充分利用網(wǎng)絡(luò)進(jìn)行任務(wù)分配、創(chuàng)新解決方案。作為實(shí)踐性較強(qiáng)的學(xué)科，在實(shí)踐中研究以數(shù)據(jù)為驅(qū)動(dòng)的軟件設(shè)計(jì)模式，有利于增強(qiáng)學(xué)生的創(chuàng)新意識(shí)。學(xué)校重視在軟件工程的實(shí)訓(xùn)中培養(yǎng)學(xué)生的創(chuàng)新能力，積極鼓勵(lì)學(xué)生利用學(xué)校軟硬件平臺(tái)，申請(qǐng)學(xué)校科技創(chuàng)新課題，或者參加教師的軟件設(shè)計(jì)相關(guān)的科研項(xiàng)目。依托校企合建的軟件工程創(chuàng)新實(shí)驗(yàn)室，通過完成“基于計(jì)算機(jī)視覺的胡蘿卜智能分級(jí)系統(tǒng)”、“基于MVC的上機(jī)考試與在線練習(xí)系統(tǒng)”等科技創(chuàng)新課題，激發(fā)學(xué)生的合作溝通技巧，提高學(xué)生軟件工程的創(chuàng)新能力。通過參與教師的“基于計(jì)算機(jī)視覺的花生品質(zhì)品種自動(dòng)檢測(cè)系統(tǒng)”、“茶樹病蟲害遠(yuǎn)程專家系統(tǒng)”等應(yīng)用項(xiàng)目開發(fā)，在實(shí)際的項(xiàng)目研發(fā)中促進(jìn)學(xué)生解決問題能力、創(chuàng)新能力的提高。通過分析當(dāng)前的校企合作辦學(xué)模式存在的問題，以及大數(shù)據(jù)時(shí)代的產(chǎn)業(yè)需求，學(xué)校與軟件企業(yè)在教材建設(shè)、教師培訓(xùn)、實(shí)訓(xùn)平臺(tái)、企業(yè)服務(wù)等方面建立合作關(guān)系，充分利用企業(yè)的技術(shù)優(yōu)勢(shì)，以培養(yǎng)應(yīng)用型人才為共同目標(biāo)的基礎(chǔ)上，實(shí)現(xiàn)學(xué)校、企業(yè)各自創(chuàng)新活動(dòng)。出版了《設(shè)計(jì)模式（Java版）》等應(yīng)用型教材，從理論、應(yīng)用和實(shí)例三方面出發(fā)，幫助學(xué)生了解軟件工程的最新模式，提高學(xué)生的實(shí)際動(dòng)手能力和創(chuàng)新能力。在軟件企業(yè)實(shí)訓(xùn)基地，通過定制的實(shí)訓(xùn)解決方案和軟件企業(yè)提供的實(shí)訓(xùn)服務(wù)，學(xué)生在企業(yè)技術(shù)人員的指導(dǎo)下，重新開發(fā)“海爾OEC日志管理系統(tǒng)”等大型軟件。不但鍛煉了學(xué)生的團(tuán)隊(duì)合作精神、增強(qiáng)了自身的創(chuàng)新意識(shí)，而且在工程實(shí)訓(xùn)中個(gè)人能力和素質(zhì)也得到鍛煉和提升。
3結(jié)論
在這一點(diǎn)上，騰訊對(duì)大數(shù)據(jù)的認(rèn)識(shí)是正確的，“在建立大數(shù)據(jù)系統(tǒng)的時(shí)候，我們從來沒有想過在做一個(gè)大數(shù)據(jù)項(xiàng)目，我們都是在解決實(shí)際的問題?！彬v訊云總裁陳磊如是說。
從解決實(shí)際問題出發(fā)，不論是需要作出重大決策還是改變小小的設(shè)計(jì)，騰訊在利用大數(shù)據(jù)的時(shí)候有其自身的優(yōu)勢(shì)，那就是騰訊擁有海量的數(shù)據(jù)。業(yè)界有一種聲音是忽略大數(shù)據(jù)的“大”，關(guān)注數(shù)據(jù)本身的價(jià)值，而在騰訊這里，“大”甚至無法回避。比如，根據(jù)騰訊云分析《2014年第二季度移動(dòng)行業(yè)數(shù)據(jù)報(bào)告》的數(shù)據(jù)，接入騰訊云分析的APP覆蓋設(shè)備超過15億。
如果單個(gè)數(shù)字不足以說明什么，那么還有以下這幾個(gè)數(shù)字：
即時(shí)通信QQ活躍帳戶數(shù)達(dá)到8.29億；QQ智能終端月活躍帳戶數(shù)5.21億；即時(shí)通信QQ最高同時(shí)在線帳戶數(shù)達(dá)到2.06億；“微信和WeChat”合并月活躍帳戶數(shù)達(dá)到4.38億；“QQ空間”月活躍帳戶數(shù)達(dá)到6.45億；QQ空間智能終端月活躍帳戶數(shù)4.97億；
(數(shù)據(jù)來源于網(wǎng)絡(luò))
探尋大數(shù)據(jù)先行者的足跡，騰訊是國內(nèi)最具代表性的企業(yè)之一，而其對(duì)“大數(shù)據(jù)、小場(chǎng)景”的認(rèn)知，更是在大數(shù)據(jù)的實(shí)際應(yīng)用中走到了前列。
從一個(gè)小小的按鈕說起
很多人無法將大數(shù)據(jù)概念和具體實(shí)踐聯(lián)系起來，是由于對(duì)大數(shù)據(jù)這一概念的“仰望”，好像大數(shù)據(jù)是突然有一天憑空生出來的一樣。而事實(shí)上，“在大數(shù)據(jù)這個(gè)概念被包裝出來之前，互聯(lián)網(wǎng)公司就已經(jīng)很認(rèn)真地在使用相關(guān)的方法和技術(shù)，”陳磊表示，“這些方法和技術(shù)實(shí)際上是一直應(yīng)用在我們?nèi)粘９ぷ鳟?dāng)中的。”
陳磊講到騰訊在設(shè)計(jì)產(chǎn)品時(shí)的一個(gè)場(chǎng)景：“我們界面的設(shè)計(jì)都是在測(cè)試用戶行為的基礎(chǔ)之上進(jìn)行的，我們很少憑空去想用戶會(huì)喜歡什么樣的設(shè)計(jì)?！北热缭谠O(shè)計(jì)一個(gè)按鈕時(shí)，其擺放的位置、包含的文字，包括顏色、形狀這些都會(huì)做各種各樣的嘗試，而最后采用哪一個(gè)選擇，要看用戶在實(shí)際使用中對(duì)這個(gè)按鈕的點(diǎn)擊率?？梢哉f，除了要在整體的風(fēng)格上保持一致，很多設(shè)計(jì)都是以最終用戶的行為作為依據(jù)的。
互聯(lián)網(wǎng)是大數(shù)據(jù)最先改變的產(chǎn)業(yè)，這與互聯(lián)網(wǎng)企業(yè)的文化也有關(guān)系。陳磊表示，互聯(lián)網(wǎng)企業(yè)不認(rèn)為通過自己的想法能夠很準(zhǔn)確地把握用戶需求，而讓用戶去試的時(shí)候，用戶會(huì)用他的行為投票?！八曰ヂ?lián)網(wǎng)公司講究摸著石頭過河，最主要的原因是希望在不斷嘗試的過程當(dāng)中，發(fā)現(xiàn)用戶真正的需求而更好地滿足它?！彼f。
通過大數(shù)據(jù)的方法來準(zhǔn)確地把握用戶需求，來指導(dǎo)一個(gè)按鈕的設(shè)計(jì)，騰訊就是這樣將大數(shù)據(jù)應(yīng)用到這些小的場(chǎng)景中。實(shí)際上，騰訊對(duì)產(chǎn)品的每一個(gè)功能都會(huì)去做AB測(cè)試。
動(dòng)態(tài)運(yùn)營，將決策權(quán)交給用戶
騰訊的很多產(chǎn)品版本更新非常快，由于每次新版本下發(fā)都需要用戶去下載安裝才能更新。這需要對(duì)每個(gè)產(chǎn)品都進(jìn)行用戶管理的研究：從用戶開始使用這個(gè)產(chǎn)品，到這個(gè)產(chǎn)品的使用達(dá)到一個(gè)高峰，再到最后一些用戶選擇棄用，騰訊將這些環(huán)節(jié)叫做拉新、留存和流失。陳磊表示：“我們會(huì)分析流失客戶的特征是什么。他在使用這個(gè)產(chǎn)品的時(shí)候，和在流失之前行為發(fā)生了哪些改變。通過用戶使用產(chǎn)品的數(shù)據(jù)做了這樣的分析之后，我們大致就能夠理解某一類用戶離開這個(gè)產(chǎn)品的主要原因，進(jìn)而在產(chǎn)品上做一些改造，讓這類用戶對(duì)我們的產(chǎn)品更有黏性。這些都離不開數(shù)據(jù)和數(shù)據(jù)分析。”
產(chǎn)品在研發(fā)過程當(dāng)中根據(jù)用戶的使用習(xí)慣不停的調(diào)節(jié)，這個(gè)過程叫作“動(dòng)態(tài)運(yùn)營”。所謂動(dòng)態(tài)運(yùn)營的理念，將每一件事情都看作是一個(gè)小小的實(shí)驗(yàn)，或者將大項(xiàng)目分解為很多小的產(chǎn)品步驟，每一步都很小，這樣每一步走對(duì)了或走錯(cuò)了，能夠快速得到反饋。
陳磊說，過去很多企業(yè)運(yùn)營的方法是先制訂戰(zhàn)略，然后根據(jù)戰(zhàn)略去分解執(zhí)行，半年之后總結(jié)執(zhí)行情況。在今天，這種緩慢的應(yīng)變機(jī)制是行不通的。
動(dòng)態(tài)運(yùn)營將產(chǎn)品更新的決策權(quán)交到用戶手中，這就是業(yè)務(wù)前線化(FOT)中后段決策讓位于分布式前端一線決策的例證。大數(shù)據(jù)為動(dòng)態(tài)運(yùn)營提供了有力支撐。
讓廣點(diǎn)通脫胎換骨
大數(shù)據(jù)對(duì)廣點(diǎn)通影響可謂脫胎換骨，關(guān)鍵的一件事情就是對(duì)數(shù)據(jù)的實(shí)時(shí)處理和采用。據(jù)陳磊介紹，過去廣點(diǎn)通只能將前一天的用戶點(diǎn)擊行為進(jìn)行數(shù)據(jù)分析，在第二天來使用，顯然無法滿足廣告業(yè)務(wù)的要求。在大數(shù)據(jù)的支撐下，騰訊逐步將分析方法變成相隔一個(gè)小時(shí)，15分鐘，到最后做成只差幾秒，數(shù)據(jù)就能夠回流，并且能夠在下一次給用戶展示廣告的時(shí)候去使用。
據(jù)悉，廣點(diǎn)通不僅對(duì)數(shù)據(jù)的實(shí)時(shí)性要求非常高，對(duì)數(shù)據(jù)的準(zhǔn)確性要求也一樣。例如，一些用戶填寫的數(shù)據(jù)未必是真實(shí)的，在數(shù)據(jù)的采集和流轉(zhuǎn)的過程中，對(duì)海量數(shù)據(jù)的保真提出了挑戰(zhàn)。騰訊在應(yīng)對(duì)數(shù)據(jù)的海量、精準(zhǔn)和實(shí)時(shí)的挑戰(zhàn)過程中研發(fā)了大量的產(chǎn)品。
為不同的用戶做精準(zhǔn)推薦
騰訊與小米曾有過兩次合作，第一次是紅米手機(jī)，在90秒鐘訂出十萬部手機(jī)，第二次是紅米Note開售，在第一秒的時(shí)間有41.9萬次點(diǎn)擊。從最后的結(jié)果上看，這兩次活動(dòng)做得非常成功，其背后除了小米營銷策略的功勞之外，騰訊利用大數(shù)據(jù)找到對(duì)紅米手機(jī)有潛在需求的用戶并精準(zhǔn)推薦也是原因之一。
另外一個(gè)案例是騰訊通過大數(shù)據(jù)的手段去運(yùn)營《穿越火線》這款游戲。在這個(gè)游戲的熱度開始下滑的時(shí)候，騰訊利用大數(shù)據(jù)做了大量的留存活動(dòng)，這些活動(dòng)是針對(duì)玩家喜歡這個(gè)游戲的原因去做的。陳磊介紹說：“比如一些玩家是因?yàn)橛袔讉€(gè)比較好的朋友經(jīng)常組隊(duì)去打游戲，那么我們通過好友邀請(qǐng)他，重溫一下過去打游戲的好時(shí)光，讓他再回來使用這個(gè)游戲；有一些用戶把某一類武器玩得非常好，但是這個(gè)武器已經(jīng)打到極致了，這時(shí)候我們就會(huì)創(chuàng)造新的武器。通過這樣的方式來讓用戶持續(xù)玩這個(gè)游戲，要對(duì)這個(gè)用戶的特點(diǎn)有很清楚的認(rèn)知?！?/p>
精準(zhǔn)推薦的前提是用戶畫像，在游戲領(lǐng)域的應(yīng)用著實(shí)超出想象。據(jù)悉，騰訊微博建立SocialData體系挖掘社交大數(shù)據(jù)為用戶畫像。
騰訊的大數(shù)據(jù)服務(wù)
大數(shù)據(jù)的實(shí)現(xiàn)需要IT基礎(chǔ)設(shè)施和工具的支撐，這里涉及很多技術(shù)方面的問題，騰訊很多的系統(tǒng)都是自主研發(fā)，比如數(shù)據(jù)采集的系統(tǒng)和任務(wù)調(diào)度的系統(tǒng)。至于其中的技術(shù)，并不是我們這次要探尋的重點(diǎn)，但這里還是要介紹騰訊的三類大數(shù)據(jù)服務(wù)，它們是騰訊在自身利用大數(shù)據(jù)以及用大數(shù)據(jù)服務(wù)客戶過程中留下的堅(jiān)實(shí)的足跡。
目前，騰訊通過騰訊云給客戶提供三類免費(fèi)的大數(shù)據(jù)服務(wù)：
TOD Tencent Open Data
Tencent Open Data是基于騰訊的大規(guī)模計(jì)算集群，提供數(shù)據(jù)采集、自助加工、任務(wù)調(diào)度等能力的云端大數(shù)據(jù)解決方案。其優(yōu)勢(shì)在于：不用采購任何物理設(shè)備，即開即用；不用擔(dān)心數(shù)據(jù)量膨脹的時(shí)候無法擴(kuò)展；只需要開發(fā)業(yè)務(wù)邏輯，其他部署、運(yùn)行、監(jiān)控都交給TOD。
例如，你可以用TOD分析apache訪問日志，定義一個(gè)每天都執(zhí)行的任務(wù)收集訪問日志的有用信息，然后定義一個(gè)每周運(yùn)行的任務(wù)匯總加工訪問信息，最后定義一個(gè)數(shù)據(jù)導(dǎo)出任務(wù)將數(shù)據(jù)導(dǎo)出生成周報(bào)。TOD能夠處理真實(shí)數(shù)據(jù)加工中各種不確定性因素。只要你設(shè)定了運(yùn)行規(guī)則，TOD就可以確保任務(wù)流按照設(shè)定的規(guī)則運(yùn)行。
信鴿
信鴿，是一款移動(dòng)APP推送平臺(tái)，支持億級(jí)的通知/消息，能在Android/iOS平臺(tái)進(jìn)行各類高級(jí)自定義的推送操作，秒級(jí)觸達(dá)移動(dòng)終端用戶。開發(fā)者可以方便地嵌入SDK，通過API調(diào)用可或視化操作界面，實(shí)現(xiàn)對(duì)特定用戶發(fā)送通知/消息，提升用戶活躍度，激活沉睡用戶，并實(shí)時(shí)查看推送效果。
信鴿可為應(yīng)用用戶設(shè)置多種標(biāo)簽，包括地理位置、應(yīng)用版本號(hào)、活躍度，更可結(jié)合行為的記錄自定義為“在深圳喜愛川菜的女白領(lǐng)”，“超過7天未登錄游戲的大學(xué)生”、“有高消費(fèi)潛力的土豪”等。根據(jù)業(yè)務(wù)、用戶行為等圈定不同用戶群體并將其賬號(hào)保存成號(hào)碼包文件，通過信鴿前臺(tái)上傳，做特定的運(yùn)營推廣活動(dòng)，達(dá)到精準(zhǔn)觸達(dá)用戶的目的。
信鴿pro高級(jí)標(biāo)簽，可基于騰訊大數(shù)據(jù)優(yōu)勢(shì)，基于玩家的在線時(shí)長(zhǎng)，使用頻率，付費(fèi)、登錄行為，游戲關(guān)卡的失敗率、道具使用購買統(tǒng)計(jì)等因子，建立流失用戶預(yù)測(cè)模型與付費(fèi)用戶預(yù)測(cè)模型。模型可精準(zhǔn)預(yù)測(cè)潛在流失與付費(fèi)用戶，預(yù)測(cè)覆蓋率超過85%，準(zhǔn)確率超過91%。利用信鴿對(duì)潛在流失用戶群推送針對(duì)性的營銷活動(dòng)，回流率比隨機(jī)推送提升120%。
MTA騰訊云分析
騰訊云分析是專業(yè)的移動(dòng)應(yīng)用數(shù)據(jù)運(yùn)營平臺(tái)，支持iOS和Android。開發(fā)者可以方便地通過嵌入統(tǒng)計(jì)SDK，實(shí)現(xiàn)對(duì)移動(dòng)應(yīng)用的全面監(jiān)測(cè)，實(shí)時(shí)掌握產(chǎn)品表現(xiàn)，準(zhǔn)確洞察用戶行為。前面我們已經(jīng)提到，2014年第二季度報(bào)告中，接入騰訊云分析的APP覆蓋設(shè)備超過15億。
騰訊云分析的功能及優(yōu)勢(shì)包括：
(1)APP數(shù)據(jù)的收集：比如新增、活躍、留存、用戶畫像、渠道數(shù)據(jù)等等；(2)行為分析：用戶在使用APP的時(shí)候其實(shí)是一系列的過程，尤其像支付購買這樣的操作，到底是中間那個(gè)環(huán)節(jié)導(dǎo)致用戶流失，通過行為分析中的路徑分析、頁面來源就可以清楚的了解到，其次像用戶在頁面的停留時(shí)長(zhǎng)、打開次數(shù)也會(huì)有統(tǒng)計(jì)；(3)自定義事件和漏斗模型：幫助用戶自主的去統(tǒng)計(jì)小到按鈕的點(diǎn)擊行為，完全可以自主控制，還可以將用戶行為串聯(lián)起來形成一條自主路徑，觀察用戶的行為；(4)錯(cuò)誤管理：幫助開發(fā)者管理應(yīng)用錯(cuò)誤，找到錯(cuò)誤根源，同時(shí)對(duì)于應(yīng)用數(shù)據(jù)的突變支持通過微信服務(wù)號(hào)告警；(5)專門的游戲分析：針對(duì)游戲應(yīng)用這個(gè)龐大的群體，云分析推出專門的游戲分析，可以細(xì)致的分析到玩家在關(guān)卡、對(duì)戰(zhàn)中的行為，充值、購買道具的行為。
騰訊云分析對(duì)開發(fā)者的作用主要有兩方面：一是開發(fā)者可以通過自己的數(shù)據(jù)波動(dòng)找到產(chǎn)品優(yōu)化的方向，比如一款游戲，如果發(fā)現(xiàn)某個(gè)關(guān)卡用戶流失嚴(yán)重，那是不是要優(yōu)化關(guān)卡，或者推出游戲攻略、關(guān)卡獎(jiǎng)勵(lì)等活動(dòng)；二是開發(fā)者可以通過數(shù)據(jù)知道自己運(yùn)營效果，比如一款應(yīng)用，在相關(guān)媒體網(wǎng)站上發(fā)送文章，引來一部分用戶，引流的量是多少，是否和之前的的預(yù)期一樣，效果會(huì)持續(xù)多久，這樣就可以預(yù)估活動(dòng)的頻率和范圍。
云分析其實(shí)還存在更大的潛力，就是對(duì)背后數(shù)據(jù)的挖掘，以信鴿pro為例，眾所周知大部分的挽救留存率的方法都是亡羊補(bǔ)牢，用戶已經(jīng)開始流失了再去做活動(dòng)，效果已經(jīng)不明顯了，如果可以在用戶離開之前預(yù)測(cè)到他的行為，就可以極大提升留存，這里就涉及到用戶行為的預(yù)測(cè)，而云分析的數(shù)據(jù)能力就體現(xiàn)在這里，先收集用戶的行為數(shù)據(jù)，然后對(duì)用戶行為進(jìn)行分析，最后預(yù)測(cè)用戶未來可能的動(dòng)態(tài)，這樣的數(shù)據(jù)對(duì)開發(fā)者來說才是具有最大價(jià)值的數(shù)據(jù)。
[關(guān)鍵詞]網(wǎng)絡(luò)大數(shù)據(jù)；現(xiàn)狀；存儲(chǔ)；科技；展望
doi：10.3969/j.issn.1673 - 0194.2015.12.138
[中圖分類號(hào)]TP311.13 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2015）12-0-03
近年來我科學(xué)技術(shù)高速發(fā)展，互聯(lián)網(wǎng)科技、云技術(shù)、IT通信技術(shù)等迅猛發(fā)展，給各行業(yè)領(lǐng)域帶來了重要影響。但與此同時(shí)數(shù)據(jù)的快速發(fā)展也成為行業(yè)領(lǐng)域應(yīng)用科學(xué)技術(shù)過程中的挑戰(zhàn)。信息時(shí)代高速發(fā)展背景下，我國已步入大數(shù)據(jù)發(fā)展階段，大數(shù)據(jù)的發(fā)展應(yīng)用給人們帶來了較多積極影響，對(duì)企業(yè)發(fā)展運(yùn)作等也起到了關(guān)鍵作用。網(wǎng)絡(luò)大數(shù)據(jù)給社會(huì)發(fā)展和人們生產(chǎn)生活帶來機(jī)遇和挑戰(zhàn)，因此加強(qiáng)大數(shù)據(jù)研究至關(guān)重要。本文首先論述對(duì)網(wǎng)絡(luò)大數(shù)據(jù)研究的必要性，其次對(duì)網(wǎng)絡(luò)大數(shù)據(jù)發(fā)展現(xiàn)狀展開詳細(xì)論述，最后展望大數(shù)據(jù)發(fā)展前景，實(shí)現(xiàn)大數(shù)據(jù)時(shí)展與科技的有機(jī)結(jié)合，促進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)規(guī)模進(jìn)一步擴(kuò)大，以給人們帶來更大的便利。
1 網(wǎng)絡(luò)大數(shù)據(jù)研究必要性分析
網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用廣泛，無論是經(jīng)濟(jì)發(fā)展領(lǐng)域還是軍事、文化發(fā)展領(lǐng)域，網(wǎng)絡(luò)大數(shù)據(jù)都發(fā)揮著重要作用。加強(qiáng)網(wǎng)絡(luò)大數(shù)據(jù)研究對(duì)維護(hù)國家網(wǎng)絡(luò)空間數(shù)字，保證經(jīng)濟(jì)、文化穩(wěn)定持續(xù)發(fā)展，提高國民經(jīng)濟(jì)競(jìng)爭(zhēng)力，實(shí)現(xiàn)科技突破等都有著至關(guān)重要的作用。無論是直接影響還是間接影響，加強(qiáng)網(wǎng)絡(luò)大數(shù)據(jù)研究十分必要。
1.1 加強(qiáng)網(wǎng)絡(luò)大數(shù)據(jù)研究，實(shí)現(xiàn)網(wǎng)絡(luò)空間數(shù)字保護(hù)
近年來我國已步入信息化時(shí)代，國家綜合實(shí)力的競(jìng)爭(zhēng)也包括信息時(shí)代下網(wǎng)絡(luò)大數(shù)據(jù)的規(guī)模及運(yùn)用能力的競(jìng)爭(zhēng)。我國大數(shù)據(jù)規(guī)模發(fā)展逐漸壯大，且對(duì)大數(shù)據(jù)的運(yùn)用和管理能力也逐漸提高，這使我國掌握了網(wǎng)絡(luò)空間數(shù)字，即作為一個(gè)發(fā)展大國重要的博弈空間。若我國網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用落后，就會(huì)直接影響我國占領(lǐng)產(chǎn)業(yè)戰(zhàn)略制高點(diǎn)，出現(xiàn)網(wǎng)絡(luò)空間發(fā)展不足的情況，影響國家數(shù)據(jù)使用安全。就2013年3月美國投資啟動(dòng)的“大數(shù)據(jù)研究和發(fā)展計(jì)劃”來看，美國政府加大對(duì)大數(shù)據(jù)的重視和研究，并強(qiáng)調(diào)“大數(shù)據(jù)的應(yīng)用關(guān)系到美國國家安全，對(duì)科學(xué)技術(shù)發(fā)展進(jìn)程有著直接影響，同時(shí)對(duì)教育改革等領(lǐng)域都有一定影響”。這說明網(wǎng)絡(luò)大數(shù)據(jù)已上升到國家意志領(lǐng)域，對(duì)國家信息安全、經(jīng)濟(jì)發(fā)展、社會(huì)穩(wěn)定等都有著關(guān)聯(lián)影響。
1.2 網(wǎng)絡(luò)大數(shù)據(jù)與國民經(jīng)濟(jì)核心產(chǎn)業(yè)有著直接關(guān)聯(lián)
“人、機(jī)、物”三元世界的交互發(fā)展產(chǎn)生了大量數(shù)據(jù)，為充分實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的感知和利用，國民經(jīng)濟(jì)發(fā)展過程中要有效解決對(duì)大規(guī)模數(shù)據(jù)的測(cè)量和應(yīng)用，以促進(jìn)經(jīng)濟(jì)發(fā)展中各行業(yè)數(shù)字化和信息化，解決行業(yè)發(fā)展過程中出現(xiàn)的網(wǎng)絡(luò)大數(shù)據(jù)爆炸阻礙。因此加強(qiáng)網(wǎng)絡(luò)大數(shù)據(jù)研究，解決大數(shù)據(jù)基本共性問題十分重要。例如，針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一表示和分析，現(xiàn)階段尚未采取有效的工具和手段，而通過對(duì)大數(shù)據(jù)問題的研究分析，能夠增強(qiáng)企業(yè)處理網(wǎng)絡(luò)大數(shù)據(jù)的能力，使企業(yè)更全面認(rèn)識(shí)大數(shù)據(jù)處理的成本，促進(jìn)企業(yè)進(jìn)一步實(shí)現(xiàn)數(shù)字化。這也是網(wǎng)絡(luò)大數(shù)據(jù)研究的重要意義，有助于促進(jìn)新一代信息技術(shù)融合，推動(dòng)信息產(chǎn)業(yè)經(jīng)濟(jì)增長(zhǎng)值高速發(fā)展，是各行業(yè)提升綜合實(shí)力的新動(dòng)力。
1.3 網(wǎng)絡(luò)大數(shù)據(jù)研究與新興產(chǎn)業(yè)發(fā)展相關(guān)聯(lián)
信息時(shí)代背景下在科學(xué)技術(shù)上實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)技術(shù)研究突破，能促進(jìn)數(shù)據(jù)服務(wù)以及數(shù)據(jù)材料等相關(guān)戰(zhàn)略性新興產(chǎn)業(yè)的興起與發(fā)展。實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)的技術(shù)研究和科技突破，能使人們更清楚地認(rèn)識(shí)數(shù)據(jù)交互連接的復(fù)雜問題，并準(zhǔn)確把握數(shù)據(jù)冗余與缺失等不確定性特性，以更好地實(shí)現(xiàn)對(duì)高速增長(zhǎng)數(shù)據(jù)的駕馭。對(duì)大數(shù)據(jù)不確定性和涌現(xiàn)性的把握，能使大數(shù)據(jù)應(yīng)用者從數(shù)據(jù)中挖掘到實(shí)際需求信息，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)的充分利用。網(wǎng)絡(luò)大數(shù)據(jù)并非行業(yè)發(fā)展過程中的副產(chǎn)品，而是行業(yè)發(fā)展各環(huán)節(jié)的關(guān)鍵紐帶，其能夠通過網(wǎng)絡(luò)數(shù)據(jù)信息的分析和把握，提高行業(yè)生產(chǎn)效率，實(shí)現(xiàn)對(duì)成本的有效控制，同時(shí)，在大數(shù)據(jù)驅(qū)動(dòng)下，能促使數(shù)據(jù)能源、數(shù)據(jù)制造等戰(zhàn)略性新興產(chǎn)業(yè)的崛起與發(fā)展。
2 網(wǎng)絡(luò)大數(shù)據(jù)現(xiàn)狀
2.1 網(wǎng)絡(luò)大數(shù)據(jù)特點(diǎn)
網(wǎng)絡(luò)大數(shù)據(jù)主要是指“人、機(jī)、物”三元世界在網(wǎng)絡(luò)空間交互過程中產(chǎn)生的大量數(shù)據(jù)，可通過互聯(lián)網(wǎng)進(jìn)行查詢使用，即稱為網(wǎng)絡(luò)大數(shù)據(jù)。據(jù)IDC報(bào)告，根據(jù)近年來大數(shù)據(jù)增長(zhǎng)形勢(shì)來看，到2020年將實(shí)現(xiàn)35 ZB。IBM針對(duì)網(wǎng)絡(luò)大數(shù)據(jù)特點(diǎn)來看，主要包括大量化、多樣化、快速化3個(gè)明顯特點(diǎn)。
在信息化時(shí)代背景下網(wǎng)絡(luò)空間數(shù)據(jù)增長(zhǎng)迅猛，數(shù)據(jù)集合規(guī)模已實(shí)現(xiàn)從GB到PB的飛躍，網(wǎng)絡(luò)大數(shù)據(jù)則需要通過ZB表示。在未來網(wǎng)絡(luò)大數(shù)據(jù)的發(fā)展中還將實(shí)現(xiàn)近50倍的增長(zhǎng)，服務(wù)器數(shù)量也將實(shí)現(xiàn)近相同數(shù)量的增長(zhǎng)，以滿足大數(shù)據(jù)存儲(chǔ)。網(wǎng)絡(luò)大數(shù)據(jù)的類型多樣化，例如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等。在互聯(lián)網(wǎng)時(shí)代背景下網(wǎng)絡(luò)大數(shù)據(jù)越來越呈現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)，據(jù)相關(guān)調(diào)查統(tǒng)計(jì)，在2012年底非結(jié)構(gòu)化數(shù)據(jù)在網(wǎng)絡(luò)數(shù)據(jù)總量中占77%左右。這種類型結(jié)構(gòu)數(shù)據(jù)的產(chǎn)生與社交網(wǎng)絡(luò)以及傳感器技術(shù)的發(fā)展有著直接聯(lián)系。另外，網(wǎng)絡(luò)大數(shù)據(jù)還具有快速化特點(diǎn)，其突發(fā)涌現(xiàn)狀態(tài)演變使人們對(duì)數(shù)據(jù)的評(píng)估和預(yù)測(cè)難度加大。大數(shù)據(jù)一般情況下以數(shù)據(jù)流形式快速產(chǎn)生，且具有動(dòng)態(tài)變化性特征，大數(shù)據(jù)的時(shí)效性要求用戶必須準(zhǔn)確掌握網(wǎng)絡(luò)大數(shù)據(jù)數(shù)據(jù)流才能更好地利用這些數(shù)據(jù)。
2.2 網(wǎng)絡(luò)大數(shù)據(jù)的感知問題
網(wǎng)絡(luò)大數(shù)據(jù)自身具有跨媒體關(guān)聯(lián)特點(diǎn)，且能夠?qū)崿F(xiàn)多主體互動(dòng)，這給大數(shù)據(jù)的感知與獲取帶來一定問題。按照網(wǎng)絡(luò)空問中數(shù)據(jù)的蘊(yùn)藏深度，整個(gè)網(wǎng)絡(luò)空間可劃分為Surface Web和Deep Web，或稱作Hidden Web。Surface Web是指Web中通過超鏈接可被傳統(tǒng)搜索引擎獲取到的靜態(tài)頁面，而Deep Web則由Web中可在線訪問的數(shù)據(jù)庫組成。Deep Web的數(shù)據(jù)隱藏在Web數(shù)據(jù)庫提供的查詢接口后面，只有通過向查詢接口提交查詢才能獲得。與Surface Web相比，Deep Web所包含的信息更豐富。同時(shí)，Deep Web具有規(guī)模大、實(shí)時(shí)動(dòng)態(tài)變化、異構(gòu)性、分布性以及訪問方式特殊等特點(diǎn)。為充分利用Deep Web中的數(shù)據(jù)資源，需要充分獲取Deep Web中高質(zhì)量的數(shù)據(jù)并予以集成，整個(gè)集成過程可分為數(shù)據(jù)獲取、數(shù)據(jù)抽取和數(shù)據(jù)整合3個(gè)環(huán)節(jié)。
2.3 網(wǎng)絡(luò)大數(shù)據(jù)挑戰(zhàn)
網(wǎng)絡(luò)大數(shù)據(jù)在開發(fā)與應(yīng)用過程中正面臨著諸多挑戰(zhàn)，這與用戶需求的提高有著直接關(guān)系。目前就網(wǎng)絡(luò)大數(shù)據(jù)發(fā)展形勢(shì)來看，其主要面臨的挑戰(zhàn)包括大數(shù)據(jù)的復(fù)雜性、不確定性以及涌現(xiàn)性。
網(wǎng)絡(luò)大數(shù)據(jù)的復(fù)雜性使其諸多環(huán)節(jié)操作運(yùn)行難度增加，包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)分析處理以及數(shù)據(jù)深度挖掘等。大數(shù)據(jù)的復(fù)雜性又包括其類型的復(fù)雜，如社交網(wǎng)絡(luò)與傳統(tǒng)文本數(shù)據(jù)的相互發(fā)展，使其類型更加豐富；數(shù)據(jù)結(jié)構(gòu)復(fù)雜，包括移動(dòng)技術(shù)以及社交技術(shù)發(fā)展下形成的結(jié)構(gòu)數(shù)據(jù)流以及非結(jié)構(gòu)化數(shù)據(jù)流，具體形式包括文本、圖像等，這給網(wǎng)絡(luò)大數(shù)據(jù)管理與分析帶來了難度。大數(shù)據(jù)的不確定性包括自身以及模型的不確定，這給大數(shù)據(jù)建模帶來較大困難，使用戶不能充分利用其自身價(jià)值，既是對(duì)數(shù)據(jù)資源的浪費(fèi)，同時(shí)也無法全面滿足用戶需求。另外，網(wǎng)絡(luò)大數(shù)據(jù)還面臨著涌現(xiàn)性帶來的挑戰(zhàn)。這主要是指網(wǎng)絡(luò)大數(shù)據(jù)與其他數(shù)據(jù)之間存在的本質(zhì)上的區(qū)別，也是網(wǎng)絡(luò)大數(shù)據(jù)的關(guān)鍵性特點(diǎn)。大數(shù)據(jù)的涌現(xiàn)性直接給用戶以及相關(guān)研究人員增加數(shù)據(jù)駕馭難度，使之無法準(zhǔn)確實(shí)現(xiàn)對(duì)大數(shù)據(jù)的測(cè)量和預(yù)測(cè)，包括大數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)、功能等。
2.4 網(wǎng)絡(luò)大數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)問題
就目前網(wǎng)絡(luò)大數(shù)據(jù)處理規(guī)模以及存儲(chǔ)形式來看，已實(shí)現(xiàn)從TB級(jí)到PB、EB級(jí)的轉(zhuǎn)變。在實(shí)現(xiàn)等級(jí)上升后，為更好地實(shí)現(xiàn)對(duì)數(shù)據(jù)存儲(chǔ)成本的控制，實(shí)現(xiàn)計(jì)算資源優(yōu)化利用，以及提高系統(tǒng)整體的并發(fā)吞吐率，要積極探究出更加有效的存儲(chǔ)模式，實(shí)現(xiàn)目前網(wǎng)絡(luò)大數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)方式。Google公司提出的GFS、MapReduce、BigTable等技術(shù)是分布式數(shù)據(jù)處理技術(shù)的具體實(shí)現(xiàn)，是Google搜索引擎系統(tǒng)的3大核心技術(shù)。此后，Apache軟件基金會(huì)推出開放源碼的Hadoop和HBase系統(tǒng)，實(shí)現(xiàn)了MapReduce編程模型、分布式文件系統(tǒng)和分布式數(shù)據(jù)庫。Hadoop系統(tǒng)在Yahoo、IBM、百度、Facebook等公司得到了大量應(yīng)用和快速發(fā)展，但作為新興的技術(shù)體系，分布式數(shù)據(jù)處理技術(shù)在支持大規(guī)模網(wǎng)絡(luò)信息處理及應(yīng)用等大數(shù)據(jù)計(jì)算應(yīng)用能力方面還存在很多不足。
分布式數(shù)據(jù)存儲(chǔ)是網(wǎng)絡(luò)大數(shù)據(jù)應(yīng)用的一個(gè)重要環(huán)節(jié)。但之前的研究工作仍存在一些局限性。針對(duì)海量數(shù)據(jù)存儲(chǔ)和處理所面臨的數(shù)據(jù)總量超大規(guī)模、處理速度要求高和數(shù)據(jù)類型異質(zhì)多樣等難題，需要開發(fā)支持?jǐn)U展度高、深度處理的PB級(jí)以上分布式數(shù)據(jù)存儲(chǔ)框架，同時(shí)需要研究適應(yīng)數(shù)據(jù)布局分布的存儲(chǔ)結(jié)構(gòu)優(yōu)化方法，以提高網(wǎng)絡(luò)大數(shù)據(jù)存儲(chǔ)和處理效率，降低系統(tǒng)建設(shè)成本，從而實(shí)現(xiàn)高效、高可用的網(wǎng)絡(luò)大數(shù)據(jù)分布式存儲(chǔ)。
網(wǎng)絡(luò)大數(shù)據(jù)對(duì)各行業(yè)領(lǐng)域發(fā)展都有著積極影響，對(duì)數(shù)據(jù)庫建設(shè)以及知識(shí)工程建設(shè)等有著推動(dòng)作用，且被廣泛開發(fā)和應(yīng)用。但大數(shù)據(jù)的海量規(guī)模以及復(fù)雜性等自身特征，直接給大數(shù)據(jù)開發(fā)和應(yīng)用帶來一定阻礙，使各領(lǐng)域研究很難直接進(jìn)行應(yīng)用。因此，加強(qiáng)對(duì)網(wǎng)絡(luò)大數(shù)據(jù)的研究和開發(fā)，形成相對(duì)統(tǒng)一的標(biāo)準(zhǔn)進(jìn)行大數(shù)據(jù)研究至關(guān)重要。
3 網(wǎng)絡(luò)大數(shù)據(jù)展望
網(wǎng)絡(luò)大數(shù)據(jù)深度研究與開發(fā)對(duì)多行業(yè)領(lǐng)域發(fā)展都有著積極影響，針對(duì)現(xiàn)階段大數(shù)據(jù)面臨的機(jī)遇和挑戰(zhàn)，要加強(qiáng)大數(shù)據(jù)與科技融合，對(duì)大數(shù)據(jù)復(fù)雜性、涌現(xiàn)性以及不確定性等特性實(shí)現(xiàn)整合優(yōu)化，促進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)規(guī)模進(jìn)一步擴(kuò)大發(fā)展。
3.1 網(wǎng)絡(luò)大數(shù)據(jù)實(shí)現(xiàn)大規(guī)模發(fā)展趨勢(shì)
就目前網(wǎng)絡(luò)大數(shù)據(jù)時(shí)展來看，發(fā)展速度快、結(jié)構(gòu)復(fù)雜程度加大。原有的Hadoop技術(shù)無法滿足大數(shù)據(jù)時(shí)代的發(fā)展需求。在信息化、數(shù)字化發(fā)展潮流下，大數(shù)據(jù)規(guī)模將進(jìn)一步擴(kuò)大，且數(shù)據(jù)類型和復(fù)雜程度將進(jìn)一步加大。為適應(yīng)該發(fā)展趨勢(shì)，要不斷加強(qiáng)創(chuàng)新研究，例如對(duì)全球著名的分布式數(shù)據(jù)庫Spanner的研究利用。在今后的大數(shù)據(jù)研究應(yīng)用中，要以分布式數(shù)據(jù)庫為基礎(chǔ)，加強(qiáng)存儲(chǔ)模式的開發(fā)利用，并結(jié)合SQL語法，實(shí)現(xiàn)數(shù)據(jù)高效操作。
3.2 數(shù)據(jù)資源化
網(wǎng)絡(luò)大數(shù)據(jù)包括各類型的數(shù)據(jù)信息，信息量超大，且蘊(yùn)含著不可估量的價(jià)值。換句話說，準(zhǔn)確把握網(wǎng)絡(luò)大數(shù)據(jù)，即掌握了豐富的信息資源。網(wǎng)絡(luò)大數(shù)據(jù)存在著豐富的價(jià)值鏈，無論從哪個(gè)角度出發(fā)，網(wǎng)絡(luò)大數(shù)據(jù)都發(fā)揮著不可替代的資源優(yōu)勢(shì)。大數(shù)據(jù)中的價(jià)值鏈來自數(shù)據(jù)本身，也包括大數(shù)據(jù)技術(shù)等，但離開技術(shù)以及其他因素的數(shù)據(jù)資源則是其核心價(jià)值優(yōu)勢(shì)。另外，將不同的大數(shù)據(jù)信息整合，即實(shí)現(xiàn)資源整合，將創(chuàng)造出不同的價(jià)值。
3.3 網(wǎng)絡(luò)大數(shù)據(jù)推進(jìn)科技融合
網(wǎng)絡(luò)大數(shù)據(jù)時(shí)代背景下，IT通信技術(shù)、云技術(shù)以及物聯(lián)網(wǎng)等技術(shù)飛速發(fā)展，在實(shí)現(xiàn)技術(shù)融合的同時(shí)，也實(shí)現(xiàn)了學(xué)科交叉發(fā)展。大數(shù)據(jù)規(guī)模的擴(kuò)大和發(fā)展離不開信息技術(shù)，即在進(jìn)行大數(shù)據(jù)深度研究和創(chuàng)新發(fā)展的過程中要始終以信息技術(shù)為基礎(chǔ)。同時(shí)，大數(shù)據(jù)的發(fā)展利用給各行業(yè)領(lǐng)域管理帶來積極影響，實(shí)現(xiàn)了傳統(tǒng)管理決策到大數(shù)據(jù)時(shí)代管理與決策的跨越。同時(shí)，在某些特殊領(lǐng)域，網(wǎng)絡(luò)大數(shù)據(jù)也將發(fā)揮其功能和價(jià)值，不斷吸引各跨學(xué)科人才參與其中，實(shí)現(xiàn)科技進(jìn)一步創(chuàng)新發(fā)展。
3.4 融合以人為本理念
在今后的網(wǎng)絡(luò)大數(shù)據(jù)發(fā)展中，要注重以人為本理念的應(yīng)用。信息、科技時(shí)代的競(jìng)爭(zhēng)，追根究底是人才的競(jìng)爭(zhēng)，要根據(jù)人的需求和意識(shí)實(shí)現(xiàn)不斷的創(chuàng)新發(fā)展。大數(shù)據(jù)時(shí)代以數(shù)據(jù)分析為前提，進(jìn)行科學(xué)探索，實(shí)現(xiàn)科學(xué)決策。但數(shù)據(jù)分析始終無法代替人類的思維活動(dòng)，要通過人的思維意識(shí)，推動(dòng)大數(shù)據(jù)發(fā)展。隨著IT通信技術(shù)以及物聯(lián)網(wǎng)技術(shù)的發(fā)展，人們?cè)诖髷?shù)據(jù)時(shí)展進(jìn)程中扮演著不同的角色，既是大數(shù)據(jù)的使用者，也是其生產(chǎn)者，更多的是作為參與者，進(jìn)一步實(shí)現(xiàn)人與數(shù)據(jù)之間的溝通合作。在今后的大數(shù)據(jù)發(fā)展中，要加強(qiáng)以人為本理念的應(yīng)用，促進(jìn)社會(huì)活動(dòng)進(jìn)一步變革創(chuàng)新。
3.5 實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)形象化
就目前來說，在人機(jī)交互環(huán)節(jié)中，人們側(cè)重需要其可視化，即通過文本或圖像編輯器等實(shí)現(xiàn)直接操作。在今后網(wǎng)絡(luò)大數(shù)據(jù)發(fā)展過程中，要滿足人們使用需要，進(jìn)一步實(shí)現(xiàn)可視化。由于大數(shù)據(jù)本身具有復(fù)雜性和不確定性等特點(diǎn)，若在未分析前使用會(huì)大大削弱大數(shù)據(jù)的功能作用，只有經(jīng)過分析才能實(shí)現(xiàn)數(shù)據(jù)的輔助作用。通過對(duì)大數(shù)據(jù)的分析和處理，以良好的形象顯示給用戶，促進(jìn)用戶高效接收，提高對(duì)數(shù)據(jù)的使用效率。目前大數(shù)據(jù)的主要顯示形式包括曲線、報(bào)表等，在今后的發(fā)展過程中將實(shí)現(xiàn)更多種類的形式創(chuàng)新，滿足用戶的直觀需求。
4 結(jié) 語
在“人、機(jī)、物”三元世界融合下產(chǎn)生的大規(guī)模數(shù)據(jù)給計(jì)算機(jī)運(yùn)行和處理帶來了較大挑戰(zhàn)，同時(shí)也給行業(yè)發(fā)展帶來了重大機(jī)遇。網(wǎng)絡(luò)大數(shù)據(jù)具有一定的復(fù)雜性、不確定性、自身涌現(xiàn)性等特征，結(jié)合大數(shù)據(jù)自身特性進(jìn)行深度分析和探究，能發(fā)揮大數(shù)據(jù)自身優(yōu)勢(shì)，進(jìn)一步體現(xiàn)其價(jià)值功能。就目前網(wǎng)絡(luò)大數(shù)據(jù)的現(xiàn)狀來看，新時(shí)期大數(shù)據(jù)面臨一定的挑戰(zhàn)和機(jī)遇，加強(qiáng)大數(shù)據(jù)發(fā)展，促進(jìn)網(wǎng)絡(luò)大數(shù)據(jù)規(guī)模擴(kuò)大分必要。進(jìn)一步加強(qiáng)網(wǎng)絡(luò)大數(shù)據(jù)研究，促進(jìn)大數(shù)據(jù)高效、有序利用，有助于推進(jìn)我國經(jīng)濟(jì)發(fā)展，進(jìn)一步實(shí)現(xiàn)社會(huì)穩(wěn)定，全面提高我國綜合競(jìng)爭(zhēng)實(shí)力，捍衛(wèi)網(wǎng)絡(luò)空間數(shù)字，促進(jìn)國民經(jīng)濟(jì)核心產(chǎn)業(yè)發(fā)展，促進(jìn)戰(zhàn)略新興行業(yè)崛起。網(wǎng)絡(luò)大數(shù)據(jù)的發(fā)展與運(yùn)用，對(duì)促進(jìn)我國科技研發(fā)，實(shí)現(xiàn)信息深層次開發(fā)等都有著積極作用。在今后的網(wǎng)絡(luò)大數(shù)據(jù)研究與應(yīng)用中，要進(jìn)一步發(fā)揮大數(shù)據(jù)優(yōu)勢(shì)，實(shí)現(xiàn)其自身功能和價(jià)值，使其更全面、廣泛、高效地服務(wù)于各行業(yè)領(lǐng)域用戶。
主要參考文獻(xiàn)
[1]王元卓，賈巖濤，劉大偉，等.基于開放網(wǎng)絡(luò)知識(shí)的信息檢索與數(shù)據(jù)挖掘[J].計(jì)算機(jī)研究與發(fā)展，2015（2）：456-474.
[2]黃恒君，漆威.海量半結(jié)構(gòu)化數(shù)據(jù)采集、存儲(chǔ)及分析――基于實(shí)時(shí)空氣質(zhì)量數(shù)據(jù)處理的實(shí)踐[J].統(tǒng)計(jì)研究，2014（5）：10-16.
[3]于兆吉，魏闖.大數(shù)據(jù)下主題數(shù)據(jù)庫的研究現(xiàn)狀與展望[J].沈陽工業(yè)大學(xué)學(xué)報(bào)：社會(huì)科學(xué)版，2014（3）：263-267.
[4]嵇智源，潘巍.面向大數(shù)據(jù)的內(nèi)存數(shù)據(jù)管理研究現(xiàn)狀與展望[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014（10）.
[5]徐菲菲，雷景生，畢忠勤，等.大數(shù)據(jù)環(huán)境下多決策表的區(qū)間值全局近似約簡(jiǎn)[J].軟件學(xué)報(bào)，2014（9）.
[6]陳鶴群.大數(shù)據(jù)環(huán)境下醫(yī)療數(shù)據(jù)隱私保護(hù)面臨的挑戰(zhàn)及相關(guān)技術(shù)梳理[J].電子技術(shù)與軟件工程，2014（16）：51-53.
[7]李國杰，程學(xué)旗.大數(shù)據(jù)研究：未來科技及經(jīng)濟(jì)社會(huì)發(fā)展的重大戰(zhàn)略領(lǐng)域――大數(shù)據(jù)的研究現(xiàn)狀與科學(xué)思考[J].中國科學(xué)院院刊，2012（6）.
美國加州斯坦福大學(xué)助理教授賈斯廷?古力馬，正嘗試把數(shù)學(xué)應(yīng)用到政治學(xué)研究中，通過電腦對(duì)互聯(lián)網(wǎng)上的海量博客文章、議會(huì)演講、新聞報(bào)道加以統(tǒng)計(jì)分析，從而展開趨勢(shì)判斷。在這個(gè)29歲的青年政治學(xué)者眼中，“政治學(xué)已經(jīng)日益成為一個(gè)數(shù)據(jù)密集型學(xué)科”。其實(shí)，成為數(shù)據(jù)密集型學(xué)科的遠(yuǎn)不止政治學(xué)，科學(xué)、廣告、體育、公共衛(wèi)生等大量學(xué)科和領(lǐng)域都正在從大數(shù)據(jù)技術(shù)中獲益。
大數(shù)據(jù)技術(shù)的目標(biāo)，就是從海量數(shù)據(jù)中挖掘信息、判斷趨勢(shì)、提高效益。在科技發(fā)達(dá)的英美等國家，一些大型互聯(lián)網(wǎng)公司最先注意到了大數(shù)據(jù)技術(shù)的無窮魅力，并嘗試在經(jīng)營活動(dòng)中加以運(yùn)用。社交網(wǎng)站“臉譜”和視頻網(wǎng)站“網(wǎng)飛”便通過搜集、整理用戶在網(wǎng)絡(luò)上留下的“足跡”，分析用戶偏好、興趣和需求，向用戶推薦聯(lián)系人信息或感興趣的視頻內(nèi)容。
而在國家層面，大數(shù)據(jù)更是成為繼邊防、海防、空防之后，第四個(gè)大國博弈的空間。目前，以美國、英國為代表的發(fā)達(dá)國家正在將大數(shù)據(jù)上升為國家戰(zhàn)略，加緊大數(shù)據(jù)的科學(xué)規(guī)劃和統(tǒng)籌布局，確立大數(shù)據(jù)頂層設(shè)計(jì)。
英國
謀求“數(shù)據(jù)革命”先聲奪人
目前，歐洲大多數(shù)國家尚處在大數(shù)據(jù)應(yīng)用初級(jí)甚至啟蒙階段，不過，英國政府較早意識(shí)到了數(shù)據(jù)潛在價(jià)值對(duì)于政府部門提升工作效率的重要性。2010年年初，英國開通政府?dāng)?shù)據(jù)網(wǎng)站Data.gov.uk，開創(chuàng)了政府?dāng)?shù)據(jù)可再利用的網(wǎng)絡(luò)先例，這也是英國政府提高政府工作透明度的重要表現(xiàn)。2012年11月，英國政府新的政府?dāng)?shù)字化戰(zhàn)略，旨在使政府服務(wù)實(shí)現(xiàn)“默認(rèn)數(shù)字化”，承諾2015年前開放有關(guān)交通運(yùn)輸、天氣和健康方面的核心公共數(shù)據(jù)庫，并投資1000萬英鎊建立世界上首個(gè)“開放數(shù)據(jù)研究所”（Open Data Institute）。
進(jìn)入2013年，在經(jīng)濟(jì)低迷、財(cái)政收緊的背景下，英國政府依然在大數(shù)據(jù)技術(shù)研發(fā)上投入大筆資金，視其為支撐英國經(jīng)濟(jì)增長(zhǎng)的重要科技力量。1月，英國商業(yè)、創(chuàng)新和技能部宣布，政府注資6億英鎊支持有關(guān)研究機(jī)構(gòu)研發(fā)項(xiàng)目，發(fā)展八類高新技術(shù)。其中，大數(shù)據(jù)技術(shù)拔得頭籌，獲得1.89億英鎊的資金，政府計(jì)劃通過在基礎(chǔ)數(shù)據(jù)設(shè)施方面投入巨資，加強(qiáng)數(shù)據(jù)采集和分析能力，盡快促使英國在“數(shù)據(jù)革命”中占得先機(jī)。
從單純計(jì)算能力來看，英國并不具有明顯優(yōu)勢(shì)，但在數(shù)據(jù)掌握程度方面，英國在醫(yī)療保健、人口統(tǒng)計(jì)、農(nóng)業(yè)和環(huán)境、數(shù)學(xué)和計(jì)算機(jī)科學(xué)領(lǐng)域有著世界上較為完整的數(shù)據(jù)集。尤其在醫(yī)療領(lǐng)域，2013年5月初，英國首個(gè)綜合運(yùn)用大數(shù)據(jù)技術(shù)的“李嘉誠衛(wèi)生信息與發(fā)現(xiàn)中心”在牛津大學(xué)成立。這個(gè)研究中心總投資9000萬英鎊，其中，李嘉誠基金會(huì)資助2000萬英鎊。該中心包括“靶標(biāo)發(fā)現(xiàn)研究所”和“大數(shù)據(jù)研究所”兩個(gè)機(jī)構(gòu)，擁有600多名科研人員，旨在通過搜集、存儲(chǔ)和分析大量醫(yī)療信息，確定新藥物的研發(fā)方向，減少藥物開發(fā)成本，為發(fā)現(xiàn)新的治療手段提供線索。英國首相表示，“醫(yī)學(xué)研究新突破離不開信息獲取與共享，而這一中心的成立，有望給英國醫(yī)學(xué)研究和醫(yī)療服務(wù)帶來革命性變化，它將促進(jìn)醫(yī)療數(shù)據(jù)分析方面的新進(jìn)展。”
美國
積極搶占“未來的新石油”
在數(shù)據(jù)領(lǐng)域占據(jù)領(lǐng)先地位的美國，則視大數(shù)據(jù)為“未來的新石油”。聯(lián)邦政府將數(shù)據(jù)價(jià)值提升到了國家戰(zhàn)略層面，啟動(dòng)落實(shí)兩大項(xiàng)目，一是“大數(shù)據(jù)研究與開發(fā)計(jì)劃”，資助大數(shù)據(jù)技術(shù)研發(fā)和應(yīng)用；二是“開放政府計(jì)劃”，設(shè)置Data.gov平臺(tái)，推動(dòng)政府管理向開放、協(xié)同、合作邁進(jìn)。
2012年3月，美國總統(tǒng)奧巴馬宣布啟動(dòng)“大數(shù)據(jù)研究與開發(fā)計(jì)劃”（Big Data Research and Development Initiative），旨在通過推動(dòng)和改善與大數(shù)據(jù)相關(guān)的收集、組織和分析工具和技術(shù)，提升從海量和復(fù)雜的數(shù)據(jù)集中獲取知識(shí)和洞察分析能力，利用大數(shù)據(jù)進(jìn)行科學(xué)發(fā)現(xiàn)、環(huán)境和生物醫(yī)學(xué)研究。同時(shí)，高等院校響應(yīng)政府計(jì)劃，已經(jīng)開始創(chuàng)建大數(shù)據(jù)相關(guān)課程，著力培養(yǎng)“大數(shù)據(jù)科學(xué)家”。
美國國家科學(xué)基金會(huì)、國家衛(wèi)生研究院、能源部、國防部、國防部高級(jí)研究計(jì)劃局、地質(zhì)勘探局等六個(gè)聯(lián)邦政府部門啟動(dòng)多個(gè)項(xiàng)目投資計(jì)劃，提高從海量數(shù)據(jù)中訪問、組織、收集發(fā)現(xiàn)信息的工具和技術(shù)水平，并與工業(yè)界、研究院所、非營利性機(jī)構(gòu)共同開創(chuàng)大數(shù)據(jù)發(fā)展新機(jī)會(huì)。
美國聯(lián)邦機(jī)構(gòu)大數(shù)據(jù)資助計(jì)劃
2009年5月，美國聯(lián)邦政府實(shí)施“開放政府計(jì)劃”（Open Government Initiative），這項(xiàng)計(jì)劃提出利用整體、開放的網(wǎng)絡(luò)平臺(tái)，公開政府信息、工作程序和決策過程，以鼓勵(lì)公眾交流和評(píng)估，增進(jìn)政府信息的可及性，強(qiáng)化政府責(zé)任，提高政府效率。同期，政府?dāng)?shù)據(jù)服務(wù)平臺(tái)Data.gov正式向社會(huì)開放，要求只要不涉及隱私和國家安全的政府?dāng)?shù)據(jù)，均需在該平臺(tái)公開。截至2012年11月，Data.gov共開放388529項(xiàng)原始數(shù)據(jù)和地理數(shù)據(jù)，匯集了1264個(gè)應(yīng)用程序和軟件工具、103個(gè)手機(jī)應(yīng)用插件。為進(jìn)一步完善Data.gov平臺(tái)的功能，政府部門組織開發(fā)了數(shù)據(jù)分級(jí)評(píng)定、用戶交流以及和社會(huì)交網(wǎng)站互動(dòng)等功能，構(gòu)建了OGPL（Open Government Platform ）平臺(tái)，提供開源的政府平臺(tái)代碼，允許美國任何城市、組織或者政府機(jī)構(gòu)創(chuàng)建開放站點(diǎn)。開放數(shù)據(jù)與開源技術(shù)的融合應(yīng)用，使得Data.gov真正成為匯聚社會(huì)智慧、大眾創(chuàng)新的聚集地，進(jìn)一步激發(fā)了社會(huì)創(chuàng)新力量。
關(guān)鍵詞：計(jì)算機(jī)軟件技術(shù)；大數(shù)據(jù)；應(yīng)用
1大數(shù)據(jù)時(shí)代背景下計(jì)算機(jī)軟件技術(shù)的主要類型
1.1云儲(chǔ)存技術(shù)
在企業(yè)運(yùn)營、管理以及個(gè)人辦公中，云儲(chǔ)存技術(shù)應(yīng)用廣泛。云儲(chǔ)存技術(shù)離不開云儲(chǔ)存體系，其中，分布式儲(chǔ)存模式、數(shù)據(jù)保護(hù)模式較為常見。分布式儲(chǔ)存系統(tǒng)是在不同獨(dú)立的設(shè)備上儲(chǔ)存數(shù)據(jù)，通過可擴(kuò)展的系統(tǒng)結(jié)構(gòu)分擔(dān)儲(chǔ)存負(fù)荷，系統(tǒng)的穩(wěn)定性、可用性與傳統(tǒng)集中式儲(chǔ)存系統(tǒng)相比更高。在分布式儲(chǔ)存系統(tǒng)中，主要由基礎(chǔ)層、接口層、訪問層等層級(jí)組成。其中，基礎(chǔ)層主要是收集相關(guān)信息數(shù)據(jù)，并協(xié)調(diào)系統(tǒng)分布式文件的處理，在其他技術(shù)配合下還可以確保云儲(chǔ)存系統(tǒng)的運(yùn)行效率。接口層可以建立云儲(chǔ)存項(xiàng)目，利用文件系統(tǒng)接口提供更高級(jí)別的存儲(chǔ)系統(tǒng)接口，使系統(tǒng)可以通過接口實(shí)現(xiàn)遠(yuǎn)程管理[1]。云儲(chǔ)存系統(tǒng)可以在很大程度上提升信息處理的效率，尤其是在大數(shù)據(jù)背景下，這一技術(shù)的優(yōu)越性得以充分體現(xiàn)。除此之外，利用云儲(chǔ)存技術(shù)可以為信息共享等提供更為有力的支持。
1.2虛擬化技術(shù)
虛擬化技術(shù)在近幾年發(fā)展迅速，該技術(shù)是將計(jì)算機(jī)的實(shí)體資源進(jìn)行轉(zhuǎn)化，以更好的組態(tài)方式呈現(xiàn)出來，新的虛擬部分不受時(shí)間與空間的限制，是資源管理技術(shù)的一種。虛擬化技術(shù)主要包括虛擬機(jī)、平臺(tái)虛擬化、存儲(chǔ)虛擬化等類型，平臺(tái)虛擬化主要指分離硬件平臺(tái)與操作系統(tǒng)；儲(chǔ)存虛擬化是指將硬盤等分成不同的邏輯儲(chǔ)存空間。虛擬化技術(shù)的出現(xiàn)進(jìn)一步提高了資源利用率，而且這一技術(shù)可以滿足企業(yè)或個(gè)人不同場(chǎng)景的需求，可以進(jìn)一步減少人力、物力的消耗，對(duì)于企業(yè)而言，可以提高其經(jīng)濟(jì)效益。大數(shù)據(jù)背景下，企業(yè)為了滿足自身經(jīng)營與管理的需求，對(duì)虛擬化技術(shù)不斷研究與創(chuàng)新，使虛擬化技術(shù)在大數(shù)據(jù)時(shí)代下不斷發(fā)展。
1.3信息安全技術(shù)
在大數(shù)據(jù)背景下，網(wǎng)絡(luò)安全問題較為突出，網(wǎng)絡(luò)技術(shù)的開放性使網(wǎng)絡(luò)面臨的攻擊是多方面的，例如對(duì)網(wǎng)絡(luò)通信協(xié)議的攻擊或是對(duì)計(jì)算機(jī)硬件的漏洞進(jìn)行攻擊；網(wǎng)絡(luò)的開放性與自由性使網(wǎng)絡(luò)環(huán)境較為復(fù)雜，信息系統(tǒng)分布較多，導(dǎo)致網(wǎng)絡(luò)病毒傳播較為容易，病毒的傳播渠道也更為復(fù)雜。與此同時(shí)，企業(yè)的財(cái)務(wù)、人力等重要信息在網(wǎng)絡(luò)傳播、儲(chǔ)存過程中可能被非法用戶截取，導(dǎo)致企業(yè)重要的商業(yè)機(jī)密可能有泄露的風(fēng)險(xiǎn)；非法用戶假冒身份向其他相關(guān)人員虛假信息，嚴(yán)重破壞了正常的經(jīng)營秩序，甚至造成了較大的經(jīng)濟(jì)損失?，F(xiàn)階段，較為常見的信息安全技術(shù)主要包括網(wǎng)絡(luò)安全協(xié)議、攻擊實(shí)施技術(shù)、網(wǎng)絡(luò)防御技術(shù)、訪問控制技術(shù)等。在大數(shù)據(jù)背景下，只有構(gòu)建系統(tǒng)化的信息安全技術(shù)系統(tǒng)，才可以更好地防范網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，提升儲(chǔ)存的安全性。
2大數(shù)據(jù)時(shí)代背景下計(jì)算機(jī)軟件技術(shù)的應(yīng)用
2.1數(shù)據(jù)開發(fā)與管理中的應(yīng)用
在大數(shù)據(jù)背景下，企業(yè)為了進(jìn)一步了解市場(chǎng)情況、獲得更多的人員信息，不少企業(yè)、政府公共管理部門利用大數(shù)據(jù)技術(shù)、云計(jì)算等技術(shù)應(yīng)用于數(shù)據(jù)開發(fā)中。數(shù)據(jù)抽樣是數(shù)據(jù)開發(fā)的前提，利用計(jì)算機(jī)軟件基礎(chǔ)可以更好、更快地完成抽樣調(diào)查工作，抽樣調(diào)查結(jié)果為后續(xù)的數(shù)據(jù)開發(fā)工作奠定了基礎(chǔ)。在數(shù)據(jù)開發(fā)階段，相關(guān)技術(shù)人員可以通過計(jì)算機(jī)軟件以及技術(shù)對(duì)內(nèi)部信息或搜集到信息進(jìn)行深入剖析，或者是通過計(jì)算機(jī)軟件技術(shù)構(gòu)建門戶網(wǎng)站，成為社會(huì)大眾了解企業(yè)或政府服務(wù)部門的一個(gè)窗口。一般情況下，內(nèi)部數(shù)據(jù)開發(fā)主要包括信息數(shù)據(jù)導(dǎo)入、信息數(shù)據(jù)選取等內(nèi)容。在數(shù)據(jù)開發(fā)過程中還包括數(shù)據(jù)通訊，即數(shù)據(jù)交換、分享的過程，這可以促進(jìn)企業(yè)內(nèi)部信息的流動(dòng)，減少信息不對(duì)稱情況，對(duì)企業(yè)的經(jīng)營與管理發(fā)揮著重要的作用。在以上基礎(chǔ)上，企業(yè)利用計(jì)算機(jī)軟件技術(shù)進(jìn)行數(shù)據(jù)評(píng)定，從不同的層面分析評(píng)定對(duì)象（信息）的價(jià)值[2]。目前，大部分企業(yè)已經(jīng)在數(shù)據(jù)通信中較為普遍地使用計(jì)算機(jī)軟件技術(shù)，主要是利用計(jì)算機(jī)軟件技術(shù)與企業(yè)客戶進(jìn)行溝通與管理，對(duì)潛在市場(chǎng)客戶進(jìn)行預(yù)測(cè)分析，維持客戶關(guān)系。在此基礎(chǔ)上，對(duì)現(xiàn)階段的數(shù)據(jù)通信管理中的漏洞進(jìn)行排查，整改后使系統(tǒng)能夠更好地服務(wù)于市場(chǎng)分析、客戶關(guān)系維護(hù)等工作中，有利于企業(yè)制定更具針對(duì)性的服務(wù)措施。例如國內(nèi)部分百貨公司為了改善店面經(jīng)營情況，選擇與中國移動(dòng)、中國電信等運(yùn)營商合作，利用大數(shù)據(jù)技術(shù)查詢目標(biāo)人群的分布區(qū)域選擇開店地址；對(duì)于周邊區(qū)域內(nèi)的目標(biāo)人群流量、人群特征、人群來訪頻次進(jìn)行搜集，基于大數(shù)據(jù)技術(shù)與區(qū)域內(nèi)的商家進(jìn)行溝通，為不同的商家提供服務(wù)與幫助，同時(shí)指導(dǎo)商家進(jìn)行位置營銷等；遵循人性化的管理理念，為企業(yè)拓展市場(chǎng)、維護(hù)客戶關(guān)系提供有力的支持。
2.2信息查詢與儲(chǔ)存的應(yīng)用
在大數(shù)據(jù)背景下，云儲(chǔ)存技術(shù)等計(jì)算機(jī)軟件技術(shù)被廣泛地應(yīng)用于數(shù)據(jù)搜索、信息儲(chǔ)存方面，進(jìn)一步改善了信息的儲(chǔ)存空間，便于個(gè)人或企業(yè)進(jìn)行信息儲(chǔ)存。目前，不少企業(yè)都配置了虛擬化儲(chǔ)存系統(tǒng)，采用分布式儲(chǔ)存方式，使信息儲(chǔ)存更為便捷與安全[3]。在數(shù)據(jù)儲(chǔ)存中，若需要保存企業(yè)私密文件，可以利用云儲(chǔ)存技術(shù)將文件上傳至云端平臺(tái)，并對(duì)文件進(jìn)行加密處理，提高了重要信息安全防護(hù)等級(jí)。在緊急情況下，工作人員還可以從云端下載信息，對(duì)信息進(jìn)行遠(yuǎn)程管理，及時(shí)解決部門工作中的突發(fā)問題，保證企業(yè)各個(gè)部門正常運(yùn)行。對(duì)于個(gè)人用戶而言，國內(nèi)諸如WPS等辦公軟件都為用戶提供了文件備份服務(wù)，用戶在使用軟件時(shí)可以自行選擇備份地址與自動(dòng)上傳時(shí)間。以往，若用戶在軟件辦公中因?yàn)椴豢煽咕芤蛩赝蝗魂P(guān)閉軟件或者關(guān)閉電源，文件自然會(huì)丟失；而現(xiàn)在，辦公軟件可以自動(dòng)將文件上傳至云端，即用戶個(gè)人備份中心，即使突然關(guān)閉軟件或極計(jì)算機(jī)電源，個(gè)人用戶也可以通過云端找回文件，不用擔(dān)心文件丟失的問題
2.3商業(yè)監(jiān)控的應(yīng)用
在大數(shù)據(jù)背景下，借助計(jì)算機(jī)軟件技術(shù)通過攝像頭等電子設(shè)備可以進(jìn)一步優(yōu)化企業(yè)、公共區(qū)域的監(jiān)控設(shè)備，通過接入網(wǎng)鏈路鏈接云儲(chǔ)存系統(tǒng)，向管理人員提供監(jiān)控區(qū)域的實(shí)時(shí)視頻，了解人員、物品等情況，不受空間、時(shí)間的影響。
5月1日，貴陽全域公共免費(fèi)WiFi項(xiàng)目一期建成并投入試運(yùn)行。全域公共免費(fèi)WiFi項(xiàng)目既為廣大市民和游客提供了通訊便利，也邁出了發(fā)展大數(shù)據(jù)產(chǎn)業(yè)、打造“塊數(shù)據(jù)”平臺(tái)的重要一步。
日前，隨著中信出版集團(tuán)出版、大數(shù)據(jù)戰(zhàn)略重點(diǎn)實(shí)驗(yàn)室撰寫的《塊數(shù)據(jù)――大數(shù)據(jù)時(shí)代真正到來的標(biāo)志》一書出版，“塊數(shù)據(jù)”的概念由此被更多人所熟知。所謂“塊數(shù)據(jù)”，就是一個(gè)物理空間或者行政區(qū)域內(nèi)形成的涉及人、事、物的各類數(shù)據(jù)的總和。大數(shù)據(jù)戰(zhàn)略重點(diǎn)實(shí)驗(yàn)室認(rèn)為，“塊數(shù)據(jù)”理論創(chuàng)新將打破傳統(tǒng)的信息不對(duì)稱和物理區(qū)域、行業(yè)領(lǐng)域?qū)π畔⒘鲃?dòng)的限制，通過對(duì)不同類型、來源信息的集成、挖掘、清洗，極大地改變信息的生產(chǎn)、傳播、加工和組織方式，進(jìn)而給創(chuàng)新發(fā)展帶來新的驅(qū)動(dòng)力，推動(dòng)產(chǎn)業(yè)徹底變革和再造。
為此，本刊記者就“塊數(shù)據(jù)”的建模、應(yīng)用、規(guī)劃等問題對(duì)話貴陽市副市長(zhǎng)徐昊，為大家詳細(xì)解讀塊數(shù)據(jù)。
《中國信息化》：以區(qū)域?yàn)榉秶摹皦K數(shù)據(jù)”要想充分發(fā)揮作用，政府在其中要起到主導(dǎo)作用。請(qǐng)問貴陽市政府在“塊數(shù)據(jù)”分析應(yīng)用中起到的作用是什么？如何協(xié)調(diào)數(shù)據(jù)提供方、建模方、應(yīng)用方的關(guān)系？
徐昊：貴陽市委、市政府在推進(jìn)“塊數(shù)據(jù)”分析應(yīng)用中起到的作用主要是：優(yōu)環(huán)境、搭平臺(tái)、聚資源、促應(yīng)用。優(yōu)環(huán)境就是積極營造有利于“塊數(shù)據(jù)”發(fā)展的政策環(huán)境；搭平臺(tái)就是積極搭建促進(jìn)“塊數(shù)據(jù)”發(fā)展的支撐平臺(tái)，如大數(shù)據(jù)交易所、政府?dāng)?shù)據(jù)共享平臺(tái)等；聚資源就是將各行各業(yè)的數(shù)據(jù)資源千方百計(jì)匯集融合，形成區(qū)域內(nèi)的“塊數(shù)據(jù)”；促應(yīng)用就是促進(jìn)數(shù)據(jù)資源的開發(fā)應(yīng)用，實(shí)現(xiàn)數(shù)據(jù)資源到數(shù)據(jù)價(jià)值的轉(zhuǎn)化。
在協(xié)調(diào)數(shù)據(jù)提供方、建模方和應(yīng)用方關(guān)系的時(shí)候，主要是按照互聯(lián)網(wǎng)思維，運(yùn)用市場(chǎng)經(jīng)濟(jì)的手段，充分發(fā)揮各方的主觀能動(dòng)性，優(yōu)勢(shì)互補(bǔ)，互利共贏，讓各方都有“利”可圖，有錢可賺，有事可做，實(shí)現(xiàn)“羊毛出在豬身上，讓狗來買單”。
《中國信息化》：除全城范圍的免費(fèi)無線網(wǎng)絡(luò)外，貴陽市民何時(shí)能感受到“塊數(shù)據(jù)”帶來的便利？
徐昊：隨著大數(shù)據(jù)時(shí)代的到來，貴陽市民也無時(shí)不在感受到數(shù)據(jù)帶來的便利，除在盡情享受全城范圍免費(fèi)無線網(wǎng)絡(luò)外，貴陽市民還在創(chuàng)新創(chuàng)業(yè)、民生服務(wù)等方面得到了眾多的實(shí)惠和便利。如貴醫(yī)附院引入的智能化門診管理系統(tǒng)，對(duì)門診掛號(hào)、門診診療、門診繳費(fèi)及醫(yī)囑服藥等過程進(jìn)行設(shè)計(jì)，實(shí)現(xiàn)了從掛號(hào)到服藥的聯(lián)網(wǎng)管理，減少中間環(huán)節(jié)人為糾紛，更大程度地為患者提供了更加便捷的服務(wù)。隨著即將開放的政府?dāng)?shù)據(jù)共享平臺(tái)，市民必將會(huì)在更多領(lǐng)域得到更多的便利。
《中國信息化》：目前，貴陽市的“塊數(shù)據(jù)”積累是否已經(jīng)足夠？陳舊的數(shù)據(jù)與新數(shù)據(jù)之間如何清洗、對(duì)接？
徐昊：數(shù)據(jù)無時(shí)不有，無處不在。近年來，各行各業(yè)都積累了大量的數(shù)據(jù)，但目前這些數(shù)據(jù)都還沒有較好地匯集融合在一起。當(dāng)前，為推動(dòng)“塊數(shù)據(jù)”的發(fā)展，貴陽正在全力推動(dòng)無線全覆蓋城市項(xiàng)目，即全域公共免費(fèi)WiFi城市與貴陽城市云計(jì)算中心和大數(shù)據(jù)總線項(xiàng)目，建立一張統(tǒng)一完整的城市全域互聯(lián)網(wǎng)絡(luò)。在此基礎(chǔ)上，形成城市的互聯(lián)網(wǎng)主入口，聚集訪客量和瀏覽量，不斷拓展規(guī)模，推動(dòng)“塊”上數(shù)據(jù)的快速積累，再通過政府?dāng)?shù)據(jù)開放和企業(yè)數(shù)據(jù)有償共享，收集形成貴陽的大數(shù)據(jù)匯聚平臺(tái)，通過分析用戶行為和數(shù)據(jù)，挖掘提煉數(shù)據(jù)價(jià)值，最終形成可用于交易的大數(shù)據(jù)產(chǎn)品。對(duì)數(shù)據(jù)之間的清洗、對(duì)接，主要還是要依靠市場(chǎng)經(jīng)濟(jì)的手段來實(shí)現(xiàn)，即通過大力培育數(shù)據(jù)清洗公司來發(fā)掘、開發(fā)利用數(shù)據(jù)價(jià)值。
《中國信息化》：請(qǐng)問貴陽市是如何引導(dǎo)“塊數(shù)據(jù)”建模、應(yīng)用的？
徐昊：目前，貴陽市在推進(jìn)“塊數(shù)據(jù)”的建模應(yīng)用方面，重點(diǎn)是在創(chuàng)新創(chuàng)業(yè)、服務(wù)民生、倒逼政府改革等方面進(jìn)行了探索應(yīng)用。比如，在2015年初，貴陽市率先在住建局、交管局啟動(dòng)規(guī)范制約權(quán)力實(shí)施的“數(shù)據(jù)鐵籠”行動(dòng)計(jì)劃，主要是以全行業(yè)業(yè)務(wù)辦理過程管控、云計(jì)算的大數(shù)據(jù)應(yīng)用、構(gòu)建誠信體系等3條主線，搭建大數(shù)據(jù)（共享交換）和業(yè)務(wù)信息平臺(tái)，依托大數(shù)據(jù)產(chǎn)業(yè)優(yōu)勢(shì)，加快網(wǎng)上政務(wù)建設(shè)，通過大數(shù)據(jù)運(yùn)用，實(shí)現(xiàn)網(wǎng)絡(luò)辦公、審批、執(zhí)法，確保權(quán)力運(yùn)行全程電子化、處處留“痕跡”，讓權(quán)力在“陽光”下運(yùn)行，接受社會(huì)公眾的監(jiān)督，更好地方便群眾、服務(wù)群眾。
《中國信息化》：在傳統(tǒng)行業(yè)紛紛擁抱互聯(lián)網(wǎng)，走向互聯(lián)網(wǎng)+的時(shí)候，“塊數(shù)據(jù)”與條數(shù)據(jù)分別如何幫助傳統(tǒng)行業(yè)轉(zhuǎn)型升級(jí)？
徐昊：一般來講，“塊數(shù)據(jù)”比“條數(shù)據(jù)”的“4V”即 Volume（大量）、Variety（多樣）、Value（價(jià)值）、Velocity（高速）的特征更為明顯。它如同一個(gè)計(jì)算機(jī)的主板，建立起了一個(gè)開放、共享、連接的數(shù)據(jù)基地；各個(gè)行業(yè)和部門的“條數(shù)據(jù)”就如同一個(gè)個(gè)可插拔的板卡，它們只有融合并集成到主板上，才能發(fā)揮數(shù)據(jù)資產(chǎn)真正的功效。而在這種融合與集成的過程中，“塊數(shù)據(jù)”表現(xiàn)出與“條數(shù)據(jù)”不同的特征和優(yōu)勢(shì)。對(duì)幫助傳統(tǒng)行業(yè)轉(zhuǎn)型升級(jí)來說，“塊數(shù)據(jù)”比條數(shù)據(jù)更具有優(yōu)勢(shì)和活力?！皦K數(shù)據(jù)”將對(duì)一、二、三產(chǎn)業(yè)產(chǎn)生變革性的影響。農(nóng)業(yè)方面，通過地理信息數(shù)據(jù)、土壤培育數(shù)據(jù)、市場(chǎng)信息數(shù)據(jù)等的高度整合，精準(zhǔn)農(nóng)業(yè)將會(huì)得到大力發(fā)展，農(nóng)業(yè)的產(chǎn)、供、銷體系將實(shí)現(xiàn)一體化；工業(yè)方面，強(qiáng)化工業(yè)物聯(lián)網(wǎng)建設(shè)、3D打印技術(shù)運(yùn)用等渠道，使工業(yè)生產(chǎn)走向智能化和定制化；服務(wù)業(yè)方面，中介機(jī)構(gòu)日趨消弭，“互聯(lián)網(wǎng)+”的模式正在將傳統(tǒng)的商貿(mào)、金融、娛樂等行業(yè)解構(gòu)重整，經(jīng)濟(jì)活動(dòng)的網(wǎng)絡(luò)化、精細(xì)化、可預(yù)測(cè)性特征將更加明顯。
《中國信息化》：“塊數(shù)據(jù)”有一定的應(yīng)用范圍，是否會(huì)涉及異地?cái)?shù)據(jù)處理？
徐昊：“塊數(shù)據(jù)”的核心是對(duì)海量數(shù)據(jù)的聚合分析，雖然它具有一定的應(yīng)有范圍，但它維度眾多，可開發(fā)利用價(jià)值巨大。關(guān)于“塊數(shù)據(jù)”的處理，只要擁有數(shù)據(jù)資源，在哪兒處理都不影響對(duì)“塊數(shù)據(jù)”的開發(fā)利用。
