亚洲激情综合另类男同-中文字幕一区亚洲高清-欧美一区二区三区婷婷月色巨-欧美色欧美亚洲另类少妇

首頁(yè) 公文范文 大數(shù)據(jù)分析論文

大數(shù)據(jù)分析論文

發(fā)布時(shí)間:2022-05-21 10:27:22

序言:寫(xiě)作是分享個(gè)人見(jiàn)解和探索未知領(lǐng)域的橋梁,我們?yōu)槟x了1篇的大數(shù)據(jù)分析論文樣本,期待這些樣本能夠?yàn)槟峁┴S富的參考和啟發(fā),請(qǐng)盡情閱讀。

大數(shù)據(jù)分析論文

大數(shù)據(jù)分析論文:基于Hadoop大數(shù)據(jù)分析在電力信息系統(tǒng)的應(yīng)用

【摘要】隨著電力信息化的不斷發(fā)展以及信息化可靠性要求的不斷提升,系統(tǒng)運(yùn)行維護(hù)壓力越來(lái)越大,加之信息化數(shù)據(jù)分析對(duì)電力系統(tǒng)發(fā)展的指導(dǎo)意義越發(fā)重要,對(duì)信息數(shù)據(jù)的分析亟待提高。針對(duì)電力SG-186系統(tǒng)運(yùn)維現(xiàn)狀,提出一套基于Hadoop架構(gòu)的大數(shù)據(jù)分析解決方案,旨在實(shí)現(xiàn)對(duì)系統(tǒng)運(yùn)行日志進(jìn)行多元化分析,一方面發(fā)現(xiàn)后臺(tái)潛在系統(tǒng)運(yùn)行風(fēng)險(xiǎn),一方面給企業(yè)提供各類實(shí)時(shí)可視的數(shù)據(jù),給企業(yè)發(fā)展提供強(qiáng)有力的數(shù)據(jù)支撐。

【關(guān)鍵詞】SG-186;Hadoop;大數(shù)據(jù)分析

引言

在電網(wǎng)智能化、信息化飛速發(fā)展的今天,以SG-186為核心的數(shù)百個(gè)各類系統(tǒng)已經(jīng)滲入電力生產(chǎn)、經(jīng)營(yíng)、管理等各個(gè)角落。系統(tǒng)運(yùn)行的可靠性直接影響電力可靠性及公司的社會(huì)形象,系統(tǒng)的各類數(shù)據(jù)也都直接反映了公司經(jīng)營(yíng)業(yè)績(jī)及發(fā)展現(xiàn)狀。信息系統(tǒng)后臺(tái)日志數(shù)據(jù)規(guī)模急速增大,傳統(tǒng)的單機(jī)式數(shù)據(jù)庫(kù)模式在各類系統(tǒng)復(fù)雜的數(shù)據(jù)分析診斷中已經(jīng)越顯乏力,本文運(yùn)用Hadoop平臺(tái)及相關(guān)技術(shù),提供了一款基于Hadoop的大數(shù)據(jù)分析解決方案。通過(guò)在服務(wù)器上的運(yùn)作,可以對(duì)大規(guī)模日志進(jìn)行分析,并自動(dòng)生成圖表進(jìn)行展示,從而可以非常直觀的觀察各項(xiàng)用戶數(shù)據(jù)。

1.技術(shù)背景

Hadoop是一個(gè)高效的、非??煽康牟⑶铱蓴U(kuò)展性很強(qiáng)的的分布式軟件開(kāi)發(fā)框架,它的優(yōu)勢(shì)在于能在相對(duì)較短的時(shí)間內(nèi)接受并且完成大量的數(shù)據(jù)處理任務(wù)。運(yùn)用Hadoop框架進(jìn)行開(kāi)發(fā),開(kāi)發(fā)者可以通過(guò)自己開(kāi)發(fā)編寫(xiě)的Map/Reduce來(lái)進(jìn)行大數(shù)據(jù)分析處理。通過(guò)更改相應(yīng)的配置文件,數(shù)個(gè)甚至更多的副本數(shù)據(jù)可以通過(guò)Hadoop保存下來(lái),這樣的設(shè)計(jì)可以使得Hadoop更加的可靠。因?yàn)榧词鼓骋粋€(gè)集群中的Hadoop節(jié)點(diǎn)出錯(cuò),其也可以通過(guò)HDFS,即數(shù)據(jù)塊副本來(lái)完成數(shù)據(jù)處理任務(wù)。因?yàn)镠adoop框架可以在非常寬泛的范圍內(nèi)進(jìn)行擴(kuò)展,所以其可以處理海量的數(shù)據(jù),其數(shù)據(jù)規(guī)模普遍可以達(dá)到TB的數(shù)量級(jí),在某些情況下還可以突破PB的數(shù)量級(jí)。Hadoop進(jìn)行數(shù)據(jù)處理的時(shí)候,其運(yùn)行速度是非常迅速的,并且在處理過(guò)程中,開(kāi)發(fā)者可以不用了解或研究其系統(tǒng)底層的實(shí)現(xiàn)過(guò)程就可以完成發(fā)任務(wù)。

Hadoop的相關(guān)系統(tǒng):Hadoop分布式系統(tǒng)(HDFS)包含了許多元素,文件系統(tǒng)存儲(chǔ)在群集節(jié)點(diǎn)上的文件。HDFS上層的Map/Reduce程序框架引擎,包含了工作跟蹤和任務(wù)的跟蹤。

2.大數(shù)據(jù)分析解決方案

2.1 系統(tǒng)日志數(shù)據(jù)預(yù)處理

確定了系統(tǒng)對(duì)數(shù)據(jù)的需求之后,就可以對(duì)日志進(jìn)行預(yù)處理了。通過(guò)對(duì)用戶日志的UID訪問(wèn),獲取每個(gè)日志的基本數(shù)據(jù)。然后逐個(gè)讀取各項(xiàng)數(shù)據(jù),分別確認(rèn)是否屬于系統(tǒng)所需的日志數(shù)據(jù)類型。如果是,則保留在系統(tǒng)平臺(tái)內(nèi);如果不是,則刪除其數(shù)據(jù)。為了獲取用戶的各種信息,我們需要對(duì)用戶訪問(wèn)系統(tǒng)所遺留下來(lái)的日志進(jìn)行嚴(yán)格的分析。其中,非常關(guān)鍵的問(wèn)題在于,在運(yùn)用本文所設(shè)計(jì)的基于Hadoop的海量數(shù)據(jù)分析系統(tǒng)對(duì)日志進(jìn)行分析之前,盡可能的對(duì)日志進(jìn)行簡(jiǎn)化,即去除一些無(wú)關(guān)緊要的數(shù)據(jù)部分,是對(duì)整個(gè)系統(tǒng)的運(yùn)行效率有著重大提升的意義的。

因此,在將日志導(dǎo)入系統(tǒng)進(jìn)行分析之前,我們需要對(duì)日志進(jìn)行預(yù)處理。預(yù)處理有兩個(gè)目的:一是去掉日志中部分系統(tǒng)不關(guān)心的數(shù)據(jù);二是統(tǒng)一日志格式,在用戶訪問(wèn)的過(guò)程中,其生成的格式有可能會(huì)因?yàn)槠鋪?lái)源渠道等因素的不同導(dǎo)致日志整體架構(gòu)不一致,如果不統(tǒng)一日志的格式,直接導(dǎo)入系統(tǒng)進(jìn)行處理,那么將會(huì)有大量的系統(tǒng)資源被浪費(fèi)在無(wú)用的處理過(guò)程中。

2.2 生成最小粒度數(shù)據(jù)的實(shí)現(xiàn)

根據(jù)從日志的預(yù)處理之后得到的新日志文件數(shù)據(jù),系統(tǒng)將對(duì)海量的數(shù)據(jù)進(jìn)行逐個(gè)肢解的過(guò)程,并將其按維度劃分最細(xì)分粒度及流轉(zhuǎn)最細(xì)粒度,生成最細(xì)分粒度數(shù)據(jù)。此步驟的難度在于,日志數(shù)據(jù)極為龐大,單個(gè)日志要?jiǎng)澐殖墒當(dāng)?shù)個(gè)乃至數(shù)十個(gè)的小數(shù)據(jù),其數(shù)量就更為龐大。如何存儲(chǔ)這些最細(xì)分粒度數(shù)據(jù),以便系統(tǒng)后用成了最重要也是最難的問(wèn)題。

在這個(gè)步驟中,系統(tǒng)將用Hadoop平臺(tái)的Apache Pig來(lái)實(shí)現(xiàn)這一過(guò)程。Apache Pig是一個(gè)用于分析大型數(shù)據(jù)集的平臺(tái),包括一個(gè)高層次的語(yǔ)言表達(dá)數(shù)據(jù)分析程序來(lái)評(píng)估這些方案以及基礎(chǔ)數(shù)據(jù)處理。Pig的突出特性是它們的結(jié)構(gòu)是適合進(jìn)行大量的并行輪流處理,使他們能夠處理非常大的數(shù)據(jù)集。目前,Pig的基礎(chǔ)設(shè)施層由編譯器產(chǎn)生的Map-Reduce計(jì)劃,大規(guī)模并行實(shí)現(xiàn)已經(jīng)存在于序列中。

首先,將后臺(tái)用戶日志導(dǎo)入系統(tǒng)。系統(tǒng)將對(duì)海量數(shù)據(jù)進(jìn)行逐個(gè)肢解的過(guò)程,并將其按維度劃分最細(xì)分粒度及流轉(zhuǎn)最細(xì)粒度,形成最細(xì)分粒度數(shù)據(jù),然后存放在Hive中。

在這個(gè)過(guò)程中,難點(diǎn)在于日志的數(shù)量大,通常是數(shù)百GB。因此,在此部分,系統(tǒng)將運(yùn)用Apache Pig來(lái)實(shí)現(xiàn)對(duì)系統(tǒng)原始日志及特征表的肢解,使其生成最細(xì)分粒度數(shù)據(jù),并將其導(dǎo)入Hive中存放。

首先系統(tǒng)將注冊(cè)各種UDF,以便 展整個(gè)系統(tǒng)流程。然后導(dǎo)入系統(tǒng)后臺(tái)所存儲(chǔ)的用戶訪問(wèn)電商網(wǎng)站服務(wù)器所留下來(lái)的日志數(shù)據(jù),主要是訪問(wèn)日志,其次是訪問(wèn)特征碼,特征碼對(duì)于頁(yè)面流轉(zhuǎn)的統(tǒng)計(jì)分析是非常重要的。

然后系統(tǒng)將要逐個(gè)地清理原始日志,主要是排除垃圾信息和不完整信息,因?yàn)樵谠恢敬鎯?chǔ)的過(guò)程中,不可避免的會(huì)收到一些或有意或無(wú)意的垃圾信息的攻擊,這一部分需要提前剔除,以免工作量太大。

2.3 數(shù)據(jù)分析及報(bào)表的實(shí)現(xiàn)

在得到各個(gè)數(shù)據(jù)類型的Hive表之后,系統(tǒng)需要通過(guò)Apache Hive來(lái)匯總所需細(xì)分粒度數(shù)據(jù)。匯總的方式可以由用戶自行設(shè)定,可以將任意兩種乃至數(shù)種上文中所提到的Hive表進(jìn)行組合匯總,形成新的Hive表。在此步驟中,被劃分成最細(xì)分粒度的數(shù)據(jù)己經(jīng)存放于Hive中。所以,系統(tǒng)將運(yùn)用Apache Hive來(lái)將所有最細(xì)分粒度數(shù)據(jù)匯總,使其成為各個(gè)項(xiàng)目單獨(dú)的匯總表文件。從最細(xì)粒度的數(shù)據(jù)統(tǒng)計(jì),現(xiàn)在就有了兩個(gè)乃至多個(gè)Hive表均包含其數(shù)據(jù)內(nèi)容。當(dāng)系統(tǒng)收到上一個(gè)步驟所分析統(tǒng)計(jì)得出的Hive表時(shí),其將通過(guò)調(diào)用Apache Hive的各個(gè)接口,使其接收到Hive表中的內(nèi)容,并且通過(guò)用戶事先設(shè)定好的數(shù)據(jù)類型匯總方式,將各個(gè)Hive表中的數(shù)據(jù)先逐個(gè)讀取,再將其輸入存放到新的Hive表中。

系統(tǒng)在此部分將通過(guò)Hadoop平臺(tái)所提供的接口建立到數(shù)據(jù)庫(kù)的鏈接,然后在對(duì)上一節(jié)中所生成的各項(xiàng)Hive表實(shí)施遍歷,逐行逐詞的讀出數(shù)據(jù)表中的每一項(xiàng)數(shù)據(jù),將其存入Mysql中,然后提供一個(gè)前端可用的接口,以方便各種前端客戶連接至Mysql,將數(shù)據(jù)資料讀出并做成可直觀閱讀和分析的系統(tǒng)報(bào)表。

在數(shù)據(jù)存入Mysql之后,系統(tǒng)可以根據(jù)銜接的前端程序的不同,生成各類不同樣式的圖表,可以包括系統(tǒng)到目前為止,儲(chǔ)存在數(shù)據(jù)庫(kù)中的全部或者部分?jǐn)?shù)據(jù),供網(wǎng)站分析人員觀察與分析。

3.結(jié)論

目前電力行業(yè)信息發(fā)展所面臨的問(wèn)題是本論文的重點(diǎn)。首先介紹了選題的背景和意義,然后逐步引入Hadoop技術(shù),特別是在HDFS文件系統(tǒng)方面的,Map/Reduce框架,Hive數(shù)據(jù)倉(cāng)庫(kù)框架介紹的原理和使用,以及作為如何使用Hadoop數(shù)據(jù)處理,來(lái)解決這個(gè)問(wèn)題的。然后,本文介紹了如何充分利用Hadoop的配置設(shè)備,以及內(nèi)置的數(shù)據(jù)倉(cāng)庫(kù)框架,以實(shí)現(xiàn)統(tǒng)計(jì)的需求,并生成直觀的圖表顯示。

因?yàn)镠adoop運(yùn)作過(guò)程并非自動(dòng)化的工作形式,可以研究關(guān)于這個(gè)項(xiàng)目的代碼固化下來(lái)的可能性,以達(dá)到完成自動(dòng)化功能的目的,僅需要用戶簡(jiǎn)單地輸入特定需求的參數(shù),后臺(tái)任務(wù)運(yùn)行這些數(shù)據(jù)使用Hadoop來(lái)進(jìn)行數(shù)據(jù)處理,所以面對(duì)數(shù)據(jù)的處理需求,并不需要手動(dòng)啟動(dòng)腳本來(lái)運(yùn)行任務(wù)。

大數(shù)據(jù)分析論文:試論工業(yè)制造中的大數(shù)據(jù)分析

(長(zhǎng)城汽車股份有限公司天津哈弗分公司 300462)

摘 要:工業(yè)制造的大數(shù)據(jù)分析對(duì)企業(yè)的生產(chǎn)具有十分重要的作用, 通過(guò)大數(shù)據(jù)分析,企業(yè)能夠準(zhǔn)確的發(fā)現(xiàn)企業(yè)生產(chǎn)中存在的問(wèn)題, 結(jié)合工業(yè)制造企業(yè)中大數(shù)據(jù)面臨的挑戰(zhàn)與應(yīng)用技術(shù), 并對(duì)工業(yè)制造企業(yè)生產(chǎn)中大數(shù)據(jù)的來(lái)源途徑進(jìn)行分析, 探究了工業(yè)制造大數(shù)據(jù)的應(yīng)用價(jià)值。

關(guān)鍵詞:工業(yè)制造; 大數(shù)據(jù); 應(yīng)用價(jià)值

工業(yè)大數(shù)據(jù)在工業(yè)生產(chǎn)中具有十分重要的作用, 它是以工業(yè)制造過(guò)程和工業(yè)產(chǎn)品的數(shù)據(jù)為主體,通過(guò)對(duì)這些數(shù)據(jù)的分析, 獲取工業(yè)生產(chǎn)中的具體數(shù)據(jù),進(jìn)而能夠有效的對(duì)工業(yè)制造工程進(jìn)行分析與控制。 工業(yè)大數(shù)據(jù)的來(lái)源主要是產(chǎn)品生產(chǎn)周期過(guò)程中的各個(gè)環(huán)節(jié), 例如產(chǎn)品的設(shè)計(jì)、生產(chǎn)制造、銷售、售后服務(wù)、回收利用等環(huán)節(jié)的數(shù)據(jù)。同樣, 工業(yè)大數(shù)據(jù)的獲得, 還可以從企業(yè)的外部銷售與生產(chǎn)市場(chǎng)、企業(yè)之間的“跨界”供應(yīng)鏈中獲取。

一、工業(yè)制造大數(shù)據(jù)面臨的挑戰(zhàn)與技術(shù)

工業(yè)大數(shù)據(jù)在企業(yè)生產(chǎn)中具有十分廣泛的用途, 但是由于企業(yè)缺乏必要的數(shù)據(jù)分析工具,還不能夠從大數(shù)據(jù)中獲取十分有益的信息, 造成大數(shù)據(jù)在企業(yè)生產(chǎn)中還沒(méi)有得到充分的應(yīng)用, 沒(méi)有將大數(shù)據(jù)中潛藏的信息運(yùn)用到企業(yè)的生產(chǎn)決策中。

1、多源異構(gòu)工業(yè)數(shù)據(jù)集成與數(shù)據(jù)融合技術(shù)

由于工業(yè)大數(shù)據(jù)搜集是需要多源異構(gòu)數(shù)據(jù)集成, 在數(shù)據(jù)分析時(shí)需要解決以下的問(wèn)題:首先,要能夠準(zhǔn)確的對(duì)數(shù)據(jù)進(jìn)行收集, 保證數(shù)據(jù)集成的質(zhì)量,為企業(yè)的決策提供準(zhǔn)確的數(shù)據(jù)支持服務(wù)。 數(shù)據(jù)質(zhì)量在數(shù)據(jù)集中過(guò)程中出現(xiàn)失誤的原因是多樣的,可能是手工操作失誤造成的, 也可能是數(shù)據(jù)集成過(guò)程中采用算法模式失誤而造成的, 還有可能是在數(shù)據(jù)采集的過(guò)程中, 出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定或者任務(wù)中斷而導(dǎo)致數(shù)據(jù)質(zhì)量不高。 其次,就是要及時(shí)對(duì)產(chǎn)品生產(chǎn)的各個(gè)環(huán)節(jié)產(chǎn)生的數(shù)據(jù)進(jìn)行集成。 在生產(chǎn)的過(guò)程中, 不能及時(shí)對(duì)生產(chǎn)的可用實(shí)時(shí)數(shù)據(jù)與當(dāng)前生產(chǎn)資源資料的數(shù)據(jù)進(jìn)行分析, 就不能有效的對(duì)下一個(gè)生產(chǎn)過(guò)程提供有效的材料、原料的支持。 但是,由于現(xiàn)有的數(shù)據(jù)技術(shù)不多,數(shù)據(jù)的來(lái)源不統(tǒng)一,在工業(yè)大數(shù)據(jù)的企業(yè)中, 不能兼顧不同類型的海量數(shù)據(jù),不能滿足實(shí)時(shí)性要求, 對(duì)工業(yè)大數(shù)據(jù)的應(yīng)用帶來(lái)了很大的挑戰(zhàn)。

2、支持實(shí)時(shí)建模的大容量數(shù)據(jù)處理技術(shù)

(1)在以往的數(shù)據(jù)處理中一般采用MapReduce技術(shù)對(duì)大數(shù)據(jù)進(jìn)行批量處理, 這樣處理的數(shù)據(jù)實(shí)時(shí)性不強(qiáng),不能有效的運(yùn)用于工業(yè)制造決策中, 不能滿足大數(shù)據(jù)分析的實(shí)時(shí)建模需求。

(2)現(xiàn)有的大數(shù)據(jù)分析框架主要是基于簡(jiǎn)單的數(shù)據(jù)查詢, 對(duì)大數(shù)據(jù)的分析能力與深度不夠, 既不能滿足工業(yè)多層面不規(guī)則的大數(shù)據(jù)采樣與分析, 也不能實(shí)現(xiàn)多時(shí)空時(shí)間序列數(shù)據(jù)復(fù)雜建模的需求。 由于工業(yè)制造的決策分析的影響數(shù)據(jù)比較多, 現(xiàn)有的數(shù)據(jù)分析技術(shù)不能將市場(chǎng)數(shù)據(jù)、服務(wù)數(shù)據(jù)、 質(zhì)量控制數(shù)據(jù)、營(yíng)銷數(shù)據(jù)結(jié)合在一起進(jìn)行分析, 即使能夠分析,相應(yīng)的難度也比較大。

3、大數(shù)據(jù)給工業(yè)制造信息安全帶來(lái)新挑戰(zhàn)

(1)大稻菁喲笠私泄露風(fēng)險(xiǎn)的挑戰(zhàn)

大量工業(yè)制造的數(shù)據(jù)集中存儲(chǔ)往往會(huì)給企業(yè)的安全信息增加泄露的風(fēng)險(xiǎn), 而且在企業(yè)生產(chǎn)的過(guò)程中,往往還會(huì)有一些敏感數(shù)據(jù)的所有權(quán)和使用權(quán)難以給予明確的界定。

(2)對(duì)現(xiàn)有存儲(chǔ)和安防措施提出挑戰(zhàn)

大量的工業(yè)數(shù)據(jù)存儲(chǔ)在一起,這樣就會(huì)存在多種格式不同、類型不同的數(shù)據(jù)共存的情況, 就會(huì)造成企業(yè)的數(shù)據(jù)存儲(chǔ)不符合安全管理的需求, 造成企業(yè)的數(shù)據(jù)管理存在安全的漏洞。

(3)大數(shù)據(jù)技術(shù)被誤用帶來(lái)的挑戰(zhàn)

大數(shù)據(jù)的應(yīng)用為黑客提供了更多的數(shù)據(jù)分析機(jī)會(huì),使得黑客的攻擊更加精確,為企業(yè)的工業(yè)生產(chǎn)帶來(lái)了更大的潛在危險(xiǎn)。

二、工業(yè)大數(shù)據(jù)的分析途徑

1、利用開(kāi)放技術(shù)與平臺(tái),實(shí)現(xiàn)數(shù)據(jù)的任意移動(dòng)

在工業(yè)制造中,系統(tǒng)的管理平臺(tái)是一個(gè)系統(tǒng)化的工作, 而不僅僅是一套操作軟件與管理系統(tǒng),更多的是項(xiàng)目執(zhí)行和服務(wù)的平臺(tái)。在實(shí)際工作中,能夠體現(xiàn)企業(yè)生產(chǎn)的過(guò)程與挖掘企業(yè)生產(chǎn)過(guò)程中的數(shù)據(jù), 保證數(shù)據(jù)能夠在不同的服務(wù)器與管理軟件上移動(dòng)。 因此,在企業(yè)的系統(tǒng)應(yīng)用平臺(tái)中,要詳細(xì)的對(duì)系統(tǒng)架構(gòu)進(jìn)行設(shè)計(jì), 將系統(tǒng)的數(shù)據(jù)集成能力、實(shí)施能力、數(shù)據(jù)挖掘能力等融合在一起, 并能夠與物聯(lián)網(wǎng)結(jié)合在一起,實(shí)現(xiàn)“軟件+云服務(wù)”的工業(yè)大數(shù)據(jù)應(yīng)用管理平臺(tái)。 在工作制造的大數(shù)據(jù)分析過(guò)程中,需要將物聯(lián)網(wǎng)與“互聯(lián)網(wǎng)+”的應(yīng)用結(jié)合在一起, 通過(guò)物聯(lián)網(wǎng)的及時(shí)響應(yīng), 能夠?qū)⒖蛻?、企業(yè)中工作的軟硬件定期巡檢、易耗品、設(shè)備的功能等數(shù)據(jù)進(jìn)行分析, 進(jìn)而能夠有效的確定工業(yè)生產(chǎn)過(guò)程中的供應(yīng)鏈上各個(gè)企業(yè)的合作關(guān)系,為客戶提供持續(xù)性的有價(jià)值的數(shù)據(jù)服務(wù)。

2、完善工業(yè)企業(yè)管理系統(tǒng)的功能,強(qiáng)化處理結(jié)構(gòu)性和非結(jié)構(gòu)性數(shù)據(jù)的數(shù)據(jù)模型

完善工業(yè)制造企業(yè)的系統(tǒng)管理平臺(tái),將數(shù)據(jù)處理的功能集成在一起, 實(shí)現(xiàn)制造管理系統(tǒng)的MOM與ERP、EAM 等有機(jī)的聚合,實(shí)現(xiàn)數(shù)據(jù)的集成,能夠?qū)⑵髽I(yè)的信息推送、系統(tǒng)工作流的集成、應(yīng)用數(shù)據(jù)的控制與管理有機(jī)的集成在一起, 完善數(shù)據(jù)處理的模型,實(shí)現(xiàn)對(duì)工業(yè)制造企業(yè)的結(jié)構(gòu)性數(shù)據(jù)與非結(jié)構(gòu)性數(shù)據(jù)的處理。 由于工業(yè)制造企業(yè)各個(gè)管理系統(tǒng)之間的主數(shù)據(jù)不統(tǒng)一,不同系統(tǒng)之間的數(shù)據(jù)交換就需要依賴各系統(tǒng)間的總線進(jìn)行數(shù)據(jù)交互, 就需要整合各個(gè)系統(tǒng)之間的數(shù)據(jù)業(yè)務(wù)流程、工作流、服務(wù)流程等, 才能有效的實(shí)現(xiàn)工業(yè)大數(shù)據(jù)的集成,對(duì)工業(yè)制造企業(yè)的管理者來(lái)說(shuō),通過(guò)一鍵登錄之后,通過(guò)系統(tǒng)的個(gè)性化定制頁(yè)面,就能夠了解與查看經(jīng)過(guò)大數(shù)據(jù)集成后的數(shù)據(jù)。

3、利用智能工具對(duì)工業(yè)大數(shù)據(jù)進(jìn)行分析

在工業(yè)制造企業(yè)可以采用時(shí)間序列、圖像、視頻、機(jī)器學(xué)習(xí)等智能分析工具, 來(lái)建立工業(yè)生產(chǎn)的數(shù)據(jù)模型,模擬與控制工業(yè)生產(chǎn)的過(guò)程, 進(jìn)而與工業(yè)大數(shù)據(jù)平臺(tái)結(jié)合在一起, 這樣就能夠有效的對(duì)工業(yè)企業(yè)生產(chǎn)中的情況進(jìn)行分析, 并可與物聯(lián)網(wǎng)、感應(yīng)器、互聯(lián)網(wǎng)等連接在一起, 然后與企業(yè)的管理應(yīng)用軟件結(jié)合在一起,對(duì)企業(yè)生產(chǎn)的大數(shù)據(jù)進(jìn)行分析。

三、工業(yè)大數(shù)據(jù)的應(yīng)用價(jià)值

隨著“互聯(lián)網(wǎng)+”的思維與工業(yè)制造業(yè)的融合,創(chuàng)新了工業(yè)生產(chǎn)中的數(shù)據(jù)分析, 同時(shí)也能夠?qū)⑵髽I(yè)生產(chǎn)中的所有數(shù)據(jù)聚合在一起, 這為工業(yè)大數(shù)據(jù)的集成提供了便利, 同時(shí)也使得工業(yè)大數(shù)據(jù)的集成成為企業(yè)數(shù)據(jù)應(yīng)用的核心。 以工業(yè)數(shù)據(jù)的采集與解析、分析和可視化以及數(shù)據(jù)的安全管理成為未來(lái)企業(yè)數(shù)據(jù)的關(guān)鍵技術(shù), 隨著信息在企業(yè)生產(chǎn)中的應(yīng)用不斷加深, 企業(yè)生產(chǎn)的數(shù)據(jù)不再以企業(yè)的內(nèi)部數(shù)據(jù)為主,同時(shí)還要將外部的市場(chǎng)數(shù)據(jù)融合在一起,隨著智能制造的應(yīng)用越來(lái)越廣, 企業(yè)需要重新審視工業(yè)大數(shù)據(jù)在生產(chǎn)中的作用,同時(shí)企業(yè)也會(huì)重視大數(shù)據(jù)的價(jià)值, 對(duì)企業(yè)的制造產(chǎn)品進(jìn)行創(chuàng)新,并能夠?qū)ζ髽I(yè)的生產(chǎn)進(jìn)行監(jiān)視與預(yù)警管理,同時(shí)還能實(shí)時(shí)的對(duì)生產(chǎn)設(shè)備故障進(jìn)行診斷與維護(hù),優(yōu)化企業(yè)生產(chǎn)的供應(yīng)鏈管理, 提升工業(yè)企業(yè)的生產(chǎn)效率。 在企業(yè)生產(chǎn)過(guò)程中利用大數(shù)據(jù)分析, 可以有效的對(duì)企業(yè)生產(chǎn)的倉(cāng)儲(chǔ)、產(chǎn)品的配送、銷售等進(jìn)行優(yōu)化管理, 降低企業(yè)的成本,并能夠提高企業(yè)的銷售效率。

四、結(jié)束語(yǔ)

工業(yè)大數(shù)據(jù)在企業(yè)生產(chǎn)中具有十分重要的作用, 它的價(jià)值產(chǎn)生方式主要是通過(guò)集成企業(yè)在生產(chǎn)過(guò)程中產(chǎn)生的數(shù)據(jù), 并對(duì)企業(yè)生產(chǎn)的供應(yīng)鏈、銷售的整個(gè)數(shù)據(jù)進(jìn)行收集與集成,在通過(guò)數(shù)據(jù)分析之后, 能夠?yàn)槠髽I(yè)的生產(chǎn)提供決策支持,進(jìn)而能夠有效的提高企業(yè)的生產(chǎn)效率與產(chǎn)品質(zhì)量等,滿足用戶的需求,擴(kuò)大企業(yè)的影響力。

大數(shù)據(jù)分析論文:基于大數(shù)據(jù)分析的數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)網(wǎng)站設(shè)計(jì)

摘要:在當(dāng)前大數(shù)據(jù)火熱的背景下,研究者都在思考如何應(yīng)用大數(shù)據(jù)解決實(shí)際問(wèn)題。文章在理解大數(shù)據(jù)思維下,設(shè)計(jì)了以數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)、產(chǎn)品基本搜索功能和產(chǎn)品詳情模塊為主要功能的數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)網(wǎng)站,其中重點(diǎn)介紹了如何實(shí)現(xiàn)數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)功能。該功能的實(shí)現(xiàn)主要是利用分布式網(wǎng)絡(luò)爬蟲(chóng)技術(shù)獲取各大知名網(wǎng)站的數(shù)碼產(chǎn)品價(jià)格,并利用模型對(duì)數(shù)碼產(chǎn)品的價(jià)格走勢(shì)進(jìn)行預(yù)測(cè)。

關(guān)鍵詞:價(jià)格預(yù)測(cè);分布式網(wǎng)絡(luò)爬蟲(chóng);數(shù)碼產(chǎn)品網(wǎng)站;大數(shù)據(jù);數(shù)學(xué)建模

1概述

據(jù)《中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》顯示,截至2016年6月,我國(guó)網(wǎng)絡(luò)購(gòu)物用戶規(guī)模達(dá)到4.48億,可見(jiàn)通過(guò)網(wǎng)上獲取信息的人很多。在互聯(lián)網(wǎng)+和大數(shù)據(jù)時(shí)代下,IT行業(yè)逐步成為人們熱議的焦點(diǎn),其發(fā)展也得到愈來(lái)愈多的人關(guān)注。而目前國(guó)內(nèi)的IT類資訊網(wǎng)站大多沒(méi)有預(yù)測(cè)產(chǎn)品價(jià)格這個(gè)功能,本文將著重研究?jī)r(jià)格預(yù)測(cè)的實(shí)現(xiàn)功能的實(shí)現(xiàn)。

2網(wǎng)站設(shè)計(jì)與開(kāi)發(fā)的可行性與適應(yīng)性分析

2.1從技術(shù)角度看

開(kāi)發(fā)一個(gè)基于大數(shù)據(jù)的分析的數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)網(wǎng)站需要大量的數(shù)據(jù)做支撐,這些數(shù)據(jù)可以通過(guò)各大電商平臺(tái)進(jìn)行獲取。各大電商平臺(tái)往往會(huì)將這些數(shù)據(jù)按照一定的格式展現(xiàn)在網(wǎng)站上,我們可以通過(guò)分布式數(shù)據(jù)爬蟲(chóng)技術(shù)將這些數(shù)據(jù)實(shí)時(shí)采集。數(shù)據(jù)爬蟲(chóng)是一種非常流行的數(shù)據(jù)采集程序,目前互聯(lián)網(wǎng)上擁有大量的爬蟲(chóng)框架供我們使用,我們只需編寫(xiě)簡(jiǎn)單的代碼便可以開(kāi)始獲取數(shù)據(jù)。當(dāng)擁有海量數(shù)據(jù)后我們可以對(duì)各個(gè)商品進(jìn)行建模,基于hadoop框架進(jìn)行分布式運(yùn)算,設(shè)計(jì)相關(guān)預(yù)測(cè)算法對(duì)數(shù)碼產(chǎn)品價(jià)格進(jìn)行分析并預(yù)測(cè)出價(jià)格的未來(lái)走勢(shì)。

2.2從資源角度看

對(duì)于數(shù)碼產(chǎn)品,互聯(lián)網(wǎng)可以提供各種各樣的信息,比如各大手機(jī)生產(chǎn)企業(yè)會(huì)在他們的網(wǎng)站上數(shù)碼產(chǎn)品的配置信息、評(píng)測(cè)信息等。在網(wǎng)站建立的初期我們可以從這些網(wǎng)站獲取大量的數(shù)據(jù)來(lái)填充我們的數(shù)據(jù)庫(kù)。對(duì)于部分具有版權(quán)的數(shù)據(jù),我們將采用外鏈的方式將原網(wǎng)站提供給用戶瀏覽,這樣可以節(jié)約開(kāi)發(fā)資源,并讓網(wǎng)站專注于價(jià)格預(yù)測(cè)的實(shí)現(xiàn)。

2.3從商業(yè)價(jià)值角度看

一個(gè)可以有效預(yù)測(cè)價(jià)格變化的網(wǎng)站是比較有市場(chǎng)前景的,目前互聯(lián)網(wǎng)上充斥著各種各樣的歷史價(jià)格查看網(wǎng)站,但是大多沒(méi)有可以對(duì)價(jià)格進(jìn)行預(yù)測(cè)的網(wǎng)站。如果我們可以成功的預(yù)測(cè)價(jià)格走勢(shì),我們就可以引導(dǎo)消費(fèi),幫助消費(fèi)者省錢,這也便是網(wǎng)站最大的商業(yè)價(jià)值。

3網(wǎng)站概述

網(wǎng)站以用戶需求為出發(fā)點(diǎn),利用網(wǎng)絡(luò)爬蟲(chóng)、PHP、HTML5、JAVASCRIPT、MYSQL等技術(shù)設(shè)計(jì)開(kāi)發(fā)。在網(wǎng)站里可以查詢到參數(shù)、評(píng)測(cè)、價(jià)格和圖片等關(guān)于數(shù)碼產(chǎn)品的詳細(xì)信息。網(wǎng)站的功能包括數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)(預(yù)測(cè)到某款數(shù)碼產(chǎn)品在未來(lái)一段時(shí)間內(nèi)的價(jià)格)、信息查詢(含有數(shù)碼產(chǎn)品名稱、各項(xiàng)參數(shù)、各角度拍攝圖片等信息)、價(jià)格對(duì)比(及參數(shù)對(duì)比、圖片對(duì)比和綜合對(duì)比)等,目的是為人們提供一個(gè)簡(jiǎn)單易操作、具有現(xiàn)實(shí)意義的數(shù)碼產(chǎn)品信息查詢平臺(tái)。網(wǎng)站技術(shù)框架如下圖所示:

4網(wǎng)站設(shè)計(jì)

4.1網(wǎng)站主要功能設(shè)計(jì)

4.1.1產(chǎn)品價(jià)格預(yù)測(cè)模塊設(shè)計(jì)

產(chǎn)品降價(jià)預(yù)測(cè)模塊是網(wǎng)站的重點(diǎn)功能。用戶可以通過(guò)網(wǎng)站查詢某個(gè)產(chǎn)品的基本信息,并且能夠得知該產(chǎn)品的歷史價(jià)格走勢(shì)和該產(chǎn)品在未來(lái)一段時(shí)間的價(jià)格走勢(shì),這對(duì)于比較注重價(jià)格的用戶來(lái)說(shuō),便可以綜合各類信息和自身需求,更加理性和有計(jì)劃地選擇性價(jià)比較高的產(chǎn)品。

網(wǎng)站利用分布式爬蟲(chóng)采集互聯(lián)網(wǎng)各大平臺(tái)的IT產(chǎn)品價(jià)格數(shù)據(jù),形成一個(gè)較全面的價(jià)格走勢(shì)圖,再通過(guò)對(duì)產(chǎn)品價(jià)格進(jìn)行建模,從建模結(jié)果中得到IT產(chǎn)品在未來(lái)一段時(shí)間的價(jià)格走勢(shì)。需要說(shuō)明的是,因?yàn)閮r(jià)格容易受到社會(huì)、經(jīng)濟(jì)條件以及國(guó)際等多種因素的影響,所以預(yù)測(cè)的價(jià)格走勢(shì)會(huì)有一定的波動(dòng)。另外,對(duì)于不同時(shí)期的價(jià)格預(yù)測(cè)也不同,短期內(nèi)影響因素主要是數(shù)碼產(chǎn)品的市場(chǎng)供應(yīng),一般采用指數(shù)平滑法。這種方法預(yù)測(cè)主要是靠歷史價(jià)格數(shù)據(jù)逐步往后推導(dǎo)預(yù)測(cè)價(jià)格。對(duì)于較長(zhǎng)時(shí)間,則采用二次指數(shù)平滑法較好,因?yàn)閷?duì)于一些時(shí)間序列變化可能存在線性的趨勢(shì),這種方法的好處在于能減少預(yù)測(cè)值的滯后性。如果數(shù)據(jù)的變化受季節(jié)影響,預(yù)測(cè)方法應(yīng)當(dāng)采用溫特線性季節(jié)性指數(shù)平滑較好,因?yàn)檫@個(gè)預(yù)測(cè)方法是根據(jù)季節(jié)的變化來(lái)進(jìn)行價(jià)格預(yù)測(cè),這樣預(yù)測(cè)的價(jià)格更為準(zhǔn)確。

4.1.2產(chǎn)品基本搜索功能設(shè)計(jì)

產(chǎn)品的搜索功能也是網(wǎng)站的基本功能之一。產(chǎn)品的搜索功能不僅僅只是簡(jiǎn)單的產(chǎn)品搜索,它是一個(gè)包括商品搜索、查看熱門產(chǎn)品、查看最新產(chǎn)品、今日推薦等多模塊組合成的一個(gè)大模塊。用戶通過(guò)這些搜索信息并結(jié)合自己需求,可以理性謹(jǐn)慎地對(duì)產(chǎn)品進(jìn)行對(duì)比選購(gòu)。換言之,產(chǎn)品搜索模塊將完成對(duì)商品的導(dǎo)購(gòu)功能。

4.1.3產(chǎn)品詳情模塊設(shè)計(jì)

產(chǎn)品詳情頁(yè)面包括很多內(nèi)容,其子頁(yè)面也非常多。其中包括:概覽頁(yè)面、具體參數(shù)頁(yè)面、報(bào)價(jià)頁(yè)面、點(diǎn)評(píng)頁(yè)面、圖片頁(yè)面以及競(jìng)品對(duì)比頁(yè)面等等,每一個(gè)頁(yè)面的功能都不同,設(shè)計(jì)時(shí)將合理安排功能的布局,以方便用戶獲取自己所需要的資料。

4.2價(jià)格的采集與預(yù)測(cè)

4.2.1分布式網(wǎng)絡(luò)爬蟲(chóng)

實(shí)現(xiàn)價(jià)格預(yù)測(cè)的前提是有大量的歷史價(jià)格數(shù)據(jù),所以W站利用分布式網(wǎng)絡(luò)爬蟲(chóng)技術(shù)從各大網(wǎng)站采集數(shù)據(jù),爬蟲(chóng)主要由兩個(gè)模塊組成:

爬蟲(chóng)引擎:分布式運(yùn)行且完成下載網(wǎng)站頁(yè)面內(nèi)容,并將數(shù)據(jù)存入數(shù)據(jù)庫(kù)的工作。

數(shù)據(jù)清洗:將下載下來(lái)的價(jià)格信息進(jìn)行清洗處理,剔除無(wú)效信息和冗余信息。

分布式爬蟲(chóng)技術(shù)實(shí)現(xiàn)需要對(duì)于特定的網(wǎng)頁(yè)編寫(xiě)用于分析其網(wǎng)站源碼和獲取信息的腳本代碼,數(shù)據(jù)或許后再通過(guò)數(shù)據(jù)清洗去除掉不必要的數(shù)據(jù)信息,最后把需要的數(shù)據(jù)存放到數(shù)據(jù)庫(kù)中保存。

4.2.2預(yù)測(cè)價(jià)格

在比較多種預(yù)測(cè)方法后,我們發(fā)現(xiàn)時(shí)間序列法較適合預(yù)測(cè)數(shù)碼產(chǎn)品的價(jià)格。時(shí)間序列即是某些序列按照時(shí)間的先后順序排列而成的一種特殊序列。若利用這組數(shù)列,應(yīng)用數(shù)理統(tǒng)計(jì)方法加以處理,以解決實(shí)際問(wèn)題,則稱為時(shí)間序列分析法。時(shí)間序列分析是以時(shí)間序列為研究對(duì)象,分析序列的本質(zhì)波動(dòng),探究其真實(shí)規(guī)律的一種定量分析法。在實(shí)際中,通常被用于預(yù)測(cè)未來(lái)現(xiàn)象或指標(biāo)的波動(dòng)情況。由于數(shù)據(jù)量龐大、涉及的商品較多,為了提高計(jì)算速度,預(yù)測(cè)模型需要構(gòu)架在Hadoop等分布式平臺(tái)之上。

5網(wǎng)站的開(kāi)發(fā)

5.1數(shù)據(jù)爬蟲(chóng)程序

開(kāi)發(fā)一個(gè)數(shù)據(jù)爬蟲(chóng),需要用到scrapy框架,該框架是基于python語(yǔ)言編寫(xiě)的,用python語(yǔ)言開(kāi)發(fā)程序最大的特點(diǎn)那就是簡(jiǎn)單易讀。Scrapy框架非常的簡(jiǎn)單易用只需編寫(xiě)爬蟲(chóng)規(guī)則就可以開(kāi)始高效獲取數(shù)據(jù),并且該框架是可分布式運(yùn)行,速度可控,支持JavaScript,非常適合用來(lái)采集各大網(wǎng)站的數(shù)碼產(chǎn)品數(shù)據(jù),最重要的是該框架是免費(fèi)而且開(kāi)源的,故運(yùn)用scrapy框架進(jìn)行開(kāi)發(fā)滿足網(wǎng)站需要的爬蟲(chóng)系統(tǒng)。

5.2價(jià)格數(shù)據(jù)分析系統(tǒng)

對(duì)于海量的數(shù)據(jù)傳統(tǒng)程序沒(méi)辦法很好的處理,傳統(tǒng)的win-dows系統(tǒng)也很難有效的承載。故我們選用hadoop生態(tài)體系進(jìn)行數(shù)據(jù)分析,該程序可以高可靠的運(yùn)行在多臺(tái)電腦上。為了程序可以長(zhǎng)期穩(wěn)定地運(yùn)行,我們選擇在linux上進(jìn)行數(shù)據(jù)分析,這樣的好處是系統(tǒng)穩(wěn)定性強(qiáng),硬件資源可以高效利用。

5.3網(wǎng)站搭建

和大多數(shù)網(wǎng)站一樣,本網(wǎng)站采用BS(Browser/Server)架構(gòu),該架構(gòu)具備以下幾個(gè)特點(diǎn):客戶端電腦負(fù)荷大大簡(jiǎn)化、系統(tǒng)維護(hù)和升級(jí)成本低、同時(shí)也降低了用戶的總體成本。

我們運(yùn)用HTML、CSS、JavaScript開(kāi)發(fā)網(wǎng)站前臺(tái)頁(yè)面,用PHP開(kāi)發(fā)網(wǎng)站后臺(tái),MySQL作為后臺(tái)數(shù)據(jù)庫(kù)。網(wǎng)站運(yùn)行在Linux系統(tǒng)下的Apache軟件下,網(wǎng)站的所有軟件均為免費(fèi)軟件,實(shí)現(xiàn)成本較低,也符合當(dāng)下流行趨勢(shì)。

6結(jié)束語(yǔ)

本網(wǎng)站是在大數(shù)據(jù)背景下建立的數(shù)碼產(chǎn)品價(jià)格預(yù)測(cè)網(wǎng)站,著重在實(shí)現(xiàn)產(chǎn)品價(jià)格預(yù)測(cè)功能、提供報(bào)價(jià)資訊等內(nèi)容。網(wǎng)站依托互聯(lián)網(wǎng)數(shù)據(jù)建立,以滿足消費(fèi)者對(duì)價(jià)格預(yù)測(cè)和導(dǎo)購(gòu)需求,未來(lái)還將繼續(xù)完善研究工作,通過(guò)大數(shù)據(jù)分析提供個(gè)性化產(chǎn)品推薦、提供對(duì)數(shù)碼生產(chǎn)企業(yè)的大數(shù)據(jù)服務(wù)、提供對(duì)消費(fèi)者的購(gòu)買預(yù)測(cè)功能。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析方法及應(yīng)用初探

摘 要:大數(shù)據(jù)在很多的行業(yè)和企業(yè)得到了應(yīng)用,對(duì)大數(shù)據(jù)的研究和分析也受到了很多的學(xué)者的青睞。大量非結(jié)構(gòu)化流式數(shù)據(jù)已成為大數(shù)據(jù)時(shí)代的主要數(shù)據(jù)形態(tài),這給傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)架構(gòu)帶來(lái)非常大的挑戰(zhàn),必將使大數(shù)據(jù)處理系統(tǒng)漸漸由流程設(shè)計(jì)轉(zhuǎn)變?yōu)閿?shù)據(jù)設(shè)計(jì)。為此,該文主要從大數(shù)據(jù)分析的方法理論入手,對(duì)現(xiàn)今各行各業(yè)即將運(yùn)用的大數(shù)據(jù)處理方法進(jìn)行研究,總結(jié)出一種較適用的大數(shù)據(jù)分析方法及其應(yīng)用,以供行業(yè)和企業(yè)在未來(lái)的業(yè)務(wù)活動(dòng)中作參考。

關(guān)鍵詞:預(yù)測(cè)分析 大數(shù)據(jù)處理 大數(shù)據(jù)應(yīng)用 數(shù)據(jù)挖掘

隨著云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)的發(fā)展,傳統(tǒng)企業(yè)級(jí)IT架構(gòu)正在朝基于互聯(lián)網(wǎng)的分布式新架構(gòu)轉(zhuǎn)型。大數(shù)據(jù)作為新一代信息技術(shù)的核心,正在使各個(gè)領(lǐng)域變得越來(lái)越可感知,并走向智能化。大數(shù)據(jù)將會(huì)發(fā)揮自身獨(dú)特的優(yōu)勢(shì),帶給我們更多的方便和便捷。大數(shù)據(jù)分析的方法理論有哪些、在行業(yè)、企業(yè)的活動(dòng)中有哪些應(yīng)用。

1 大數(shù)據(jù)分析的五個(gè)基本要素

1.1 大數(shù)據(jù)預(yù)測(cè)性分析

大數(shù)據(jù)技術(shù)的主要應(yīng)用是預(yù)測(cè)性分析,如在線教學(xué)資源網(wǎng)站通過(guò)數(shù)據(jù)分析用戶會(huì)對(duì)推薦的教學(xué)模是否感興趣,保險(xiǎn)公司通過(guò)數(shù)據(jù)預(yù)測(cè)被保險(xiǎn)人是否會(huì)違規(guī),地震監(jiān)測(cè)部門通過(guò)對(duì)大數(shù)據(jù)的分析,預(yù)測(cè)某地點(diǎn)發(fā)生地震的大致時(shí)間,氣象部門利用數(shù)據(jù)預(yù)測(cè)天氣變化等。預(yù)測(cè)是人類本能的一部分,通過(guò)大數(shù)據(jù)預(yù)測(cè)人類才可以獲得有意義的、智能的信息。許許多多的行業(yè)應(yīng)用都會(huì)涉及到大數(shù)據(jù),大數(shù)據(jù)的豐富特征表述了快速增長(zhǎng)的存儲(chǔ)數(shù)據(jù)的復(fù)雜性。大數(shù)據(jù)預(yù)測(cè)分析打破了數(shù)據(jù)預(yù)測(cè)一直是象牙塔里數(shù)據(jù)科學(xué)家和統(tǒng)計(jì)學(xué)家的工作,伴隨著大數(shù)據(jù)的出現(xiàn),并融合到現(xiàn)有的MIS、MRPII、DSS 、CIMS和其他核心業(yè)務(wù)系統(tǒng),大數(shù)據(jù)預(yù)測(cè)分析將起到越來(lái)越重要的作用。

1.2 數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量

大數(shù)據(jù)分析跟數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理緊密相關(guān),而質(zhì)量高的數(shù)據(jù)和有效的數(shù)據(jù)管理可以使分析結(jié)果有價(jià)值、真實(shí)并得到有力的保證。

1.3 可視化分析

普通用戶和大數(shù)據(jù)分析專家是大數(shù)據(jù)分析的直接使用者,因此他們對(duì)大數(shù)據(jù)分析的基本要求就是要可視化,因?yàn)樗麄兿胪ㄟ^(guò)可視化分析獲得可觀的大數(shù)據(jù)特征,讓用戶直觀看到結(jié)果。

提高解釋信息的能力可以通過(guò)數(shù)據(jù)的可視化展示來(lái)實(shí)現(xiàn),而可視化展示主要由圖形和圖表來(lái)呈現(xiàn)。要從大量的數(shù)據(jù)和信息中找尋相關(guān)性非常的不容易,而圖形或圖表能夠在短時(shí)間內(nèi)展示數(shù)據(jù)之間的相關(guān)信息,并為用戶提供所需的信息。

1.4 語(yǔ)義引擎

語(yǔ)義引擎是把現(xiàn)有的數(shù)據(jù)標(biāo)注語(yǔ)義,其實(shí)可以把它理解為結(jié)構(gòu)化或者非結(jié)構(gòu)化的數(shù)據(jù)集上的一個(gè)語(yǔ)義疊迭層。它是數(shù)據(jù)分析及語(yǔ)義技術(shù)最直接的應(yīng)用,好的語(yǔ)義引擎能夠使大數(shù)據(jù)分析用戶快而準(zhǔn)地獲得比較全面的數(shù)據(jù)。

數(shù)據(jù)分析的新挑戰(zhàn)及困難主要表現(xiàn)在非結(jié)構(gòu)化數(shù)據(jù)與異構(gòu)數(shù)據(jù)等的多樣性,必須配合大量的工具去分析、解析、提取數(shù)據(jù)。語(yǔ)義引擎的設(shè)計(jì)可以達(dá)到能夠從文檔中自動(dòng)提取有用信息,使語(yǔ)義引擎能挖掘出大數(shù)據(jù)的特征,在此基礎(chǔ)上科學(xué)建模和輸入新的數(shù)據(jù),來(lái)預(yù)測(cè)未來(lái)的可用數(shù)據(jù)。

1.5 數(shù)據(jù)挖掘算法

大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘。各種數(shù)據(jù)的算法基于不同的數(shù)據(jù)類型和格式,能更加科學(xué)地呈現(xiàn)出數(shù)據(jù)本身的特點(diǎn),能更快速地處理大數(shù)據(jù)。如果采用一個(gè)算法需要花好幾年才能得出結(jié)論,那大數(shù)據(jù)價(jià)值也就無(wú)從f起了。可視化是給人看的,數(shù)據(jù)挖掘是給機(jī)器看的。集群、分割、孤立點(diǎn)分析還有其他的算法可以使我們深入挖掘數(shù)據(jù)內(nèi)部的價(jià)值,并且這些算法能夠處理大數(shù)據(jù)的數(shù)據(jù)量,也可以滿足處理大數(shù)據(jù)的效率要求。

2 大數(shù)據(jù)處理方法

大數(shù)據(jù)處理技術(shù)在社會(huì)的發(fā)展中占有重要的地位,現(xiàn)在有很多的研究者對(duì)大數(shù)據(jù)處理技術(shù)進(jìn)行研究,將大數(shù)據(jù)處理技術(shù)與交互設(shè)計(jì)結(jié)合,讓交叉科學(xué)得到發(fā)展,計(jì)算機(jī)技術(shù)的進(jìn)步,讓交叉技術(shù)被廣泛應(yīng)用,并引起了很多人的重視,例如:計(jì)算機(jī)技術(shù)可以在藝術(shù)中被應(yīng)用,進(jìn)行色彩搭配,還可以將計(jì)算機(jī)技術(shù)應(yīng)用到垃圾分類里,這些都是研究人員對(duì)計(jì)算機(jī)和交叉設(shè)計(jì)的結(jié)合。這種結(jié)合讓設(shè)計(jì)學(xué)與計(jì)算機(jī)技術(shù)緊急的結(jié)合在一起,將傳統(tǒng)的調(diào)研方式和測(cè)試方式應(yīng)用到交叉科學(xué)領(lǐng)域,這種方法的研究可以為用戶調(diào)研和測(cè)試方法提供依據(jù),能夠減少人工的成本。大數(shù)據(jù)處理方法其實(shí)有很多,筆者根據(jù)長(zhǎng)時(shí)間的實(shí)踐,總結(jié)了幾種基本的大數(shù)據(jù)處理方法,如非結(jié)構(gòu)數(shù)據(jù)處理法、自然語(yǔ)言處理法等,該文主要介紹非結(jié)構(gòu)數(shù)據(jù)處理流程涉及到的主要方法和技術(shù)。非結(jié)構(gòu)化數(shù)據(jù)處理流程主要以網(wǎng)頁(yè)處理為例來(lái)闡述,包括3個(gè)階段,分別是信息采集、網(wǎng)頁(yè)預(yù)處理和網(wǎng)頁(yè)分類。

2.1 信息采集

信息采集主要是根據(jù)相關(guān)主題由固定的專業(yè)人士來(lái)完成,其采集的數(shù)據(jù)只能用于所針對(duì)的主題和相關(guān)的模塊,出于對(duì)效率和成本的考慮完全不必對(duì)整個(gè)互聯(lián)網(wǎng)進(jìn)行遍歷,因此,模塊信息采集時(shí)往往需要研究以哪種方式預(yù)測(cè)鏈接指向的頁(yè)面與主題的關(guān)聯(lián)性,并測(cè)算其是否值得訪問(wèn);然后研究以哪種相關(guān)策略訪問(wèn)Web,以在采集到主題相關(guān)頁(yè)面的同時(shí),盡可能地減少采集到主題無(wú)關(guān)的頁(yè)面。

預(yù)先設(shè)定好種子鏈接是信息采集的基本方法,充分使用HTTP協(xié)議下載被訪問(wèn)的頁(yè)面,運(yùn)用分析算法對(duì)頁(yè)面與主題的相關(guān)性進(jìn)行分析,然后確定待訪問(wèn)的相關(guān)鏈接,預(yù)測(cè)可能指向主題相關(guān)頁(yè)面的鏈接,最后循環(huán)迭代地運(yùn)用不同的相關(guān)策略訪問(wèn)網(wǎng)頁(yè)。

2.2 網(wǎng)頁(yè)預(yù)處理

網(wǎng)頁(yè)預(yù)處理最主要涉及到網(wǎng)頁(yè)去重處理,網(wǎng)頁(yè)去重可以歸為兩類:一類是基于URL的對(duì)比去重,它適用哈希算法;另一類是基于內(nèi)容的對(duì)比去重,它適用基于信息指紋的文本相似度算法。

網(wǎng)頁(yè)去重是先抽取文檔對(duì)象的特征,再對(duì)文檔內(nèi)容進(jìn)行分解,將文檔的特征集合表示出來(lái),然后有目的針對(duì)特征集合的壓縮編碼,通過(guò)將哈希編碼等文本轉(zhuǎn)為數(shù)字串映射方式,為后續(xù)的特征存儲(chǔ)以及特征比較提供方便,這樣可以起到減少存儲(chǔ)空間,提高比較速度的作用,最后就是計(jì)算文檔的相似度,此步需要根據(jù)文檔特征重復(fù)比例來(lái)確定文檔內(nèi)容是否重復(fù)。一般是提取網(wǎng)頁(yè)的某一個(gè)信息特征,通常是一組關(guān)鍵詞,或者是關(guān)鍵詞加權(quán)重的組合,調(diào)用相應(yīng)的算法,轉(zhuǎn)換為一組關(guān)鍵代碼,也被稱為指紋,若兩個(gè)頁(yè)面有大數(shù)量的相似指紋,那么可以預(yù)測(cè)這兩個(gè)頁(yè)面內(nèi)容具有很高的重復(fù)性。

2.3 網(wǎng)頁(yè)分類

網(wǎng)絡(luò)時(shí)代,人類所面臨的一個(gè)非常重要且具有普遍意義的問(wèn)題就是網(wǎng)頁(yè)分類。將網(wǎng)絡(luò)信息正確分類,方便人們更好地使用網(wǎng)絡(luò)資源,使雜亂無(wú)章的網(wǎng)絡(luò)環(huán)境變得有條理。而網(wǎng)頁(yè)分類一般是先對(duì)網(wǎng)頁(yè)中的文本素材進(jìn)行分類,通常采用文本分類來(lái)完成。文本分類主要應(yīng)用于電子郵件分類、信息過(guò)濾、文獻(xiàn)翻譯、數(shù)據(jù)檢索等任務(wù),文本分類的一個(gè)關(guān)鍵問(wèn)題是特征詞的選擇問(wèn)題及其權(quán)重分配。

在搜索引擎中,文本分類主要有以下用途:相關(guān)性排序會(huì)根據(jù)不同的網(wǎng)頁(yè)類型做相應(yīng)的排序規(guī)則;根據(jù)網(wǎng)頁(yè)是索引頁(yè)面還是信息頁(yè)面,下載調(diào)度時(shí)會(huì)做不同的調(diào)度策略;在做頁(yè)面信息抽取的時(shí)候,會(huì)根據(jù)頁(yè)面分類的結(jié)果做不同的抽取策略;在做檢索意圖識(shí)別的時(shí)候,會(huì)根據(jù)用戶所點(diǎn)擊的URL所屬的類別來(lái)推斷檢索串的類別等。

網(wǎng)頁(yè)分類方法有SVM分方法和樸素貝葉斯方法,其中比較推薦的是支持向量機(jī)分類方法(SVM),該算法主要基于統(tǒng)計(jì)學(xué)理論及線性分類器準(zhǔn)則之上,從線性可分入手,再擴(kuò)展到線性不可分的情況。甚至有時(shí)會(huì)擴(kuò)展到使用非線性函數(shù)中去,這種分類器統(tǒng)稱為支持向量機(jī)。近年來(lái),支持向量機(jī)分類方法越來(lái)越多的受到網(wǎng)頁(yè)分類技術(shù)人員的青睞。

3 大數(shù)據(jù)分析在行業(yè)活動(dòng)中的應(yīng)用

非結(jié)構(gòu)數(shù)據(jù)處理和數(shù)據(jù)挖掘的應(yīng)用范圍較廣,它可能應(yīng)用于運(yùn)營(yíng)商、銀行、傳統(tǒng)企業(yè)和電商,挑選幾個(gè)具有代表性的案例與大家分享。

3.1 電信行業(yè)

某城市電信運(yùn)營(yíng)商的上網(wǎng)日志分析系統(tǒng),該系統(tǒng)通過(guò)收集用戶上網(wǎng)日志歷史記錄數(shù)據(jù),分析出每個(gè)用戶的偏好。首先該系統(tǒng)通過(guò)并行統(tǒng)計(jì)出每個(gè)人有效歷史上網(wǎng)日志URL;然后從日志URL中抓取網(wǎng)頁(yè)內(nèi)容,提取正文,并通過(guò)文本分類算法計(jì)算分類;最后通過(guò)統(tǒng)計(jì)出每個(gè)用戶上網(wǎng)關(guān)注類別總數(shù),分析出每個(gè)用戶的偏好。

3.2 地產(chǎn)行業(yè)

某房地產(chǎn)企業(yè)的社會(huì)化品牌實(shí)時(shí)營(yíng)銷系統(tǒng),該系統(tǒng)通過(guò)社交媒體數(shù)據(jù),進(jìn)行網(wǎng)絡(luò)口碑監(jiān)測(cè),負(fù)面情緒被及時(shí)地發(fā)現(xiàn)并制止;通過(guò)與客戶進(jìn)行互動(dòng),爭(zhēng)取客戶忠誠(chéng)度;通過(guò)監(jiān)控同行及競(jìng)爭(zhēng)對(duì)手的各方面資訊,量化評(píng)估競(jìng)爭(zhēng)態(tài)勢(shì);快速提升品牌知曉度和美譽(yù)度,將媒體影響力轉(zhuǎn)換為客戶量,縮短人氣聚集周期。

3.3 證券行業(yè)

某證券商戰(zhàn)略信息監(jiān)測(cè)通過(guò)歷史回顧與信息摘要,提供題目、摘要、原文URL,今日輿情焦點(diǎn),今日輿論,展示抓取的所有期貨產(chǎn)品相關(guān)信息的縮略,并提供全文鏈接。通過(guò)熱點(diǎn)事件列表可以看到歷史相似事件對(duì)趨勢(shì)的影響,通過(guò)天氣指數(shù)與趨勢(shì)對(duì)應(yīng)曲線可以看到歷史相似天氣與歷史趨勢(shì)的對(duì)照。

3.4 金融行業(yè)

某大型股份制商業(yè)銀行供應(yīng)商風(fēng)險(xiǎn)評(píng)估系統(tǒng),該系統(tǒng)通過(guò)抓取供應(yīng)商內(nèi)部數(shù)據(jù),如企業(yè)年報(bào)、公司變動(dòng)、領(lǐng)導(dǎo)情況、財(cái)務(wù)狀況等數(shù)據(jù),分析公司運(yùn)營(yíng)指數(shù);通過(guò)計(jì)算各供應(yīng)商社交數(shù)據(jù),對(duì)其社會(huì)影響力做評(píng)估;通過(guò)同行之間的數(shù)據(jù)分析對(duì)比,對(duì)供應(yīng)商進(jìn)行實(shí)力評(píng)估,這些數(shù)據(jù)指數(shù)可以有效協(xié)助商業(yè)銀行進(jìn)行供應(yīng)商風(fēng)險(xiǎn)評(píng)估。

4 結(jié)語(yǔ)

大數(shù)據(jù)處理數(shù)據(jù)的基本理念是用全體代替抽樣,用效率代替絕對(duì)精確,用相關(guān)代替因果。證券、微商、地產(chǎn)等行業(yè)每天都會(huì)產(chǎn)生巨大的數(shù)據(jù)量,大數(shù)據(jù)分析與處理已成為大數(shù)據(jù)技術(shù)的最重要的應(yīng)用,通過(guò)大數(shù)據(jù)技術(shù)從海量數(shù)據(jù)中提取、挖掘?qū)I(yè)務(wù)發(fā)展有價(jià)值的、潛在的信息,找出產(chǎn)品或服務(wù)未來(lái)發(fā)展趨勢(shì),為決策者提供有力依據(jù),有益于推動(dòng)企業(yè)內(nèi)部的科學(xué)化、信息化管理。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

摘 要隨著網(wǎng)絡(luò)信息化的快速發(fā)展,我國(guó)手機(jī)移動(dòng)用戶的數(shù)量呈直線上升趨勢(shì),用戶的增加對(duì)移動(dòng)通信網(wǎng)絡(luò)的建設(shè)起到了推進(jìn)作用,傳統(tǒng)的網(wǎng)絡(luò)優(yōu)化方式已不適應(yīng)新時(shí)展的需要,因此大數(shù)據(jù)分析技術(shù)的發(fā)展?jié)M足了現(xiàn)代移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的要求,充分提高了工作效率,本文針對(duì)目前移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的現(xiàn)狀進(jìn)行研究與分析,將大數(shù)據(jù)分析技術(shù)合理的運(yùn)用到移動(dòng)通信移動(dòng)網(wǎng)絡(luò)優(yōu)化中去,促進(jìn)移動(dòng)通信企業(yè)的發(fā)展。

【關(guān)鍵詞】大數(shù)據(jù)分析 移動(dòng)通信 網(wǎng)絡(luò)優(yōu)化 應(yīng)用研究

為了使移動(dòng)通信技術(shù)滿足時(shí)展的需要,4G通信技術(shù)的發(fā)展,給人們帶來(lái)了更好了通信體驗(yàn),同時(shí)也對(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化服務(wù)提出了更大的挑戰(zhàn),數(shù)字化和網(wǎng)絡(luò)的快速發(fā)展,促進(jìn)了大數(shù)據(jù)分析能力的提升,但如何發(fā)揮發(fā)數(shù)據(jù)分析技術(shù)在移動(dòng)網(wǎng)絡(luò)化中的作用是目前最需要解決的問(wèn)題。

1 移動(dòng)通信網(wǎng)絡(luò)優(yōu)化現(xiàn)狀

現(xiàn)階段,我國(guó)移動(dòng)通信技術(shù)取得了一定的成就,但在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化方面還存在很多問(wèn)題,目前,提高移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的方法有兩種,一種是人工優(yōu)化,即提高網(wǎng)絡(luò)技術(shù)人員的技術(shù)水平,另一種是對(duì)通信軟件進(jìn)行優(yōu)化升級(jí),主要的軟件工具是設(shè)備廠商O(píng)MC系統(tǒng)工具、第三方工具和軟件、頻率優(yōu)化軟件等。第一種是通過(guò)收集數(shù)據(jù)信息,來(lái)分析通信網(wǎng)絡(luò)信號(hào)和命令的分析軟件,第二種是移動(dòng)供應(yīng)商的系統(tǒng)軟件,使通信網(wǎng)絡(luò)的穩(wěn)定性和性能得到保證,第三種是調(diào)整無(wú)線網(wǎng)絡(luò)的頻率、參數(shù)、鄰區(qū)等,因?yàn)榈谌杰浖蚈MC軟件存在不兼容的情況,給移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化工作帶來(lái)了很大的麻煩。

2 大數(shù)據(jù)分析技術(shù)對(duì)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的影響

大數(shù)據(jù)分析技術(shù)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的影響是有利有弊的,一方面大數(shù)據(jù)分析技術(shù)可以有效解決數(shù)據(jù)量的問(wèn)題,對(duì)數(shù)據(jù)進(jìn)行很好的歸類和分析,而另一方面,加大了故障分析的難度。移動(dòng)通信網(wǎng)絡(luò)優(yōu)化就是對(duì)用戶通話狀態(tài)的收集和分析,達(dá)到排除故障、提升用戶使用感知的目的。

大數(shù)據(jù)時(shí)代的到來(lái),使人們可以更加自由的使用網(wǎng)絡(luò),這對(duì)移動(dòng)通信網(wǎng)絡(luò)的技術(shù)、承載力有著更高的要求,移動(dòng)通信技術(shù)經(jīng)歷了從2G到4G的發(fā)展歷程,目前正在進(jìn)行5G通信技術(shù)的研究,移動(dòng)用戶在使用通信業(yè)務(wù)時(shí),天氣、地區(qū)等因素都會(huì)對(duì)通信質(zhì)量造成影響,因此,在通信的穩(wěn)定性和抗干擾能力上需要技術(shù)的革新,合理使用大數(shù)據(jù)分析技術(shù),可以有效發(fā)揮對(duì)移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化作用。

3 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

3.1 移動(dòng)通信用戶管理優(yōu)化

移動(dòng)通信用戶的數(shù)量在不斷變化,對(duì)用戶的數(shù)據(jù)也要不斷的更新,在處理與保存方面都存在很大的困難,大數(shù)據(jù)分析技術(shù)的應(yīng)用可以根據(jù)各個(gè)移動(dòng)用戶的傳輸狀態(tài)實(shí)時(shí)記錄,方便了對(duì)移動(dòng)通信用戶的管理,以及對(duì)通信網(wǎng)絡(luò)穩(wěn)定性的調(diào)查和分析。

3.2 移動(dòng)通信用戶計(jì)費(fèi)管理優(yōu)化

隨著移動(dòng)通信用戶使用量的增加,出現(xiàn)了消費(fèi)套餐類型以及消費(fèi)信息等巨量數(shù)據(jù),傳統(tǒng)通信網(wǎng)絡(luò)優(yōu)化手段不能及時(shí)的進(jìn)行分類處理,工作效率比較低,而大數(shù)據(jù)技術(shù)的應(yīng)用,可以快速的對(duì)數(shù)據(jù)進(jìn)行分析、歸類,使移動(dòng)通信管理人員可以很好的掌握通信用戶的使用規(guī)律,從而對(duì)數(shù)據(jù)信息進(jìn)行歸納、分析,發(fā)掘信息的潛在價(jià)值,發(fā)現(xiàn)潛在商機(jī),更好的開(kāi)拓通信市場(chǎng)。

3.3 移動(dòng)通信用戶行為管理優(yōu)化

用戶對(duì)網(wǎng)絡(luò)的使用具有很強(qiáng)的不確定性,包括對(duì)應(yīng)用軟件的使用頻率,業(yè)務(wù)使用類型以及上網(wǎng)喜好等很難把握,這會(huì)使移動(dòng)通信商在對(duì)軟件設(shè)計(jì)時(shí)的定位方向出現(xiàn)偏差,花費(fèi)巨資開(kāi)發(fā)的軟件沒(méi)有人使用,這種結(jié)果會(huì)使移動(dòng)通信商受到嚴(yán)重的經(jīng)濟(jì)損失,但如果通過(guò)對(duì)用戶的上網(wǎng)流量信令、數(shù)據(jù)等進(jìn)行挖掘和整合分析,可以發(fā)現(xiàn)其中共性和特點(diǎn),方便以后軟件的開(kāi)發(fā)和業(yè)務(wù)的開(kāi)展。

3.4 自動(dòng)網(wǎng)絡(luò)參數(shù)調(diào)整

當(dāng)移動(dòng)通信網(wǎng)絡(luò)數(shù)據(jù)優(yōu)化系統(tǒng)有了輔助決策功能后,這樣的分析結(jié)果是很準(zhǔn)確的,也經(jīng)過(guò)了多次實(shí)驗(yàn)的考驗(yàn),在這種條件下還可以對(duì)優(yōu)化工具做進(jìn)一步改善,我們將可進(jìn)一步優(yōu)化的軟件作用于OMC系統(tǒng)上,通過(guò)OMC可以直接調(diào)整網(wǎng)絡(luò)系統(tǒng)參數(shù),方便了用戶的同時(shí)也為用戶提供了穩(wěn)定的通信質(zhì)量。

3.5 網(wǎng)絡(luò)問(wèn)題智能分析

通過(guò)采集關(guān)鍵節(jié)點(diǎn)信令并核查MR報(bào)告、告警日志、參數(shù)配置文件等數(shù)據(jù),對(duì)異常Cause進(jìn)行統(tǒng)計(jì)分析查找問(wèn)題原因。針對(duì)不同原因制定具體的自優(yōu)化方案。從故障告警、參數(shù)設(shè)置、用戶終端、核心網(wǎng)等多個(gè)維度輸出優(yōu)化方案。

4 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的問(wèn)題及對(duì)策

4.1 數(shù)據(jù)爆炸

隨著大數(shù)據(jù)時(shí)代的到來(lái),移動(dòng)通信數(shù)據(jù)也將面臨著數(shù)據(jù)爆炸這個(gè)問(wèn)題,移動(dòng)通信用戶在增加、通信業(yè)務(wù)在增加以及數(shù)據(jù)量都在快速增加,在數(shù)據(jù)處理方面存在很大的問(wèn)題。

對(duì)此,需要移動(dòng)供應(yīng)商有良好的技術(shù)人員管理體制,對(duì)數(shù)據(jù)及時(shí)進(jìn)行歸納、分析,同時(shí)要引進(jìn)先進(jìn)的技術(shù)和理念,完成數(shù)據(jù)分析工作。

4.2 資金短缺

隨著數(shù)據(jù)量的不斷增加,對(duì)移動(dòng)通信網(wǎng)絡(luò)的質(zhì)量存在很大的挑戰(zhàn),對(duì)此,移動(dòng)供應(yīng)商需要不斷建設(shè)基站、更新設(shè)備等,建設(shè)周期長(zhǎng)、資金量需求大等問(wèn)題使供應(yīng)商投入的資金不滿足發(fā)展的需要。

對(duì)此,需要移動(dòng)運(yùn)營(yíng)商基于大數(shù)據(jù)分析,對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、各個(gè)節(jié)點(diǎn)業(yè)務(wù)瓶頸等進(jìn)行分析,并實(shí)施優(yōu)化調(diào)整,保證投資的效益最大化。

4.3 安全問(wèn)題

數(shù)據(jù)量的不斷提高,使數(shù)據(jù)的存儲(chǔ)成了問(wèn)題,一旦系統(tǒng)出現(xiàn)漏洞,對(duì)數(shù)據(jù)的安全性造成了嚴(yán)重的威脅,導(dǎo)致很多工作無(wú)法正常運(yùn)行,加大了移動(dòng)通信公司的損失程度。

要求維修技術(shù)人員定期對(duì)數(shù)據(jù)系統(tǒng)進(jìn)行維護(hù)處理,保證系統(tǒng)的安全性和數(shù)據(jù)分析技術(shù)的正常運(yùn)作。

5 結(jié)束語(yǔ)

目前,大數(shù)據(jù)分析技術(shù)已廣泛應(yīng)用在移動(dòng)通信的各個(gè)工作當(dāng)中,移動(dòng)通信網(wǎng)絡(luò)也依賴于大數(shù)據(jù)技術(shù)的發(fā)展,為移動(dòng)通信公司提供了專業(yè)的數(shù)據(jù)分析技術(shù),同時(shí)也保證了通信質(zhì)量的提高。

大數(shù)據(jù)分析論文:音樂(lè)院校圖書(shū)館數(shù)字資源大數(shù)據(jù)分析初探

【摘要】大數(shù)據(jù)背景下,音樂(lè)院校圖書(shū)館運(yùn)用網(wǎng)絡(luò)媒體信息及購(gòu)買或自建各種類型數(shù)字資源,將紙質(zhì)資源與網(wǎng)絡(luò)技術(shù)有機(jī)結(jié)合,進(jìn)一步挖掘自身資源,提升讀者服務(wù)。筆者通過(guò)大數(shù)據(jù)原理對(duì)幾大音樂(lè)學(xué)院圖書(shū)館網(wǎng)站3年來(lái)網(wǎng)頁(yè)信息及數(shù)字資源的運(yùn)行進(jìn)行分析,并將分析結(jié)果歸納、去繁就簡(jiǎn),充分利用大數(shù)據(jù)這種新興方式為其數(shù)字資源的利用提供可行性建議。

【關(guān)鍵詞】大數(shù)據(jù);音樂(lè)院校;數(shù)字資源

高校圖書(shū)館是教學(xué)、科研的信息中心,進(jìn)入信息化時(shí)代后,由傳統(tǒng)的手工服務(wù)步入了通過(guò)計(jì)算機(jī)網(wǎng)絡(luò)的自動(dòng)化服務(wù)階段,網(wǎng)絡(luò)信息系統(tǒng)及數(shù)字資源也日趨成熟穩(wěn)定。如今普通院校圖書(shū)館網(wǎng)絡(luò)已經(jīng)由VPN技術(shù)服務(wù)上升到“云舟服務(wù)”,而音樂(lè)院校圖書(shū)館也積極發(fā)展網(wǎng)絡(luò)信息及電子數(shù)據(jù)資源。在信息“大數(shù)據(jù)”的背景下,如果只關(guān)注信息的及單一的信息輸出,不進(jìn)行數(shù)據(jù)分析,就會(huì)導(dǎo)致網(wǎng)絡(luò)平臺(tái)及數(shù)字資源的運(yùn)行和跟進(jìn)服務(wù)欠缺,出現(xiàn)優(yōu)越性不能持久、缺陷無(wú)限延伸的情況,如此就會(huì)削弱本身的“教學(xué)輔助功能”。

一、大數(shù)據(jù)調(diào)查列表

大數(shù)據(jù),或稱巨量資料,具有Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)4大特點(diǎn)。筆者于2016年4月通過(guò)登錄官方網(wǎng)站的方式對(duì)全國(guó)九大音樂(lè)院校圖書(shū)館2013―2015年間網(wǎng)絡(luò)服務(wù)系統(tǒng)進(jìn)行了全面的數(shù)據(jù)采集,由于有的院校未設(shè)定“訪問(wèn)量”單元數(shù)據(jù)對(duì)本文無(wú)意義,所以只能放棄?,F(xiàn)僅以西安音樂(lè)學(xué)院圖書(shū)館為主,其它音樂(lè)學(xué)院圖書(shū)館為輔,對(duì)三年來(lái)網(wǎng)絡(luò)系統(tǒng)的運(yùn)行情況進(jìn)行大數(shù)據(jù)方式的統(tǒng)計(jì)、分析,剖析、提出問(wèn)題,探究造成問(wèn)題的原因、對(duì)策以及建議等。

(一)西安音樂(lè)學(xué)院網(wǎng)絡(luò)服務(wù)系統(tǒng)調(diào)查。從對(duì)各音樂(lè)院校圖書(shū)館的調(diào)查中看出,2013―2015年排前三的為:《英語(yǔ)聽(tīng)說(shuō)學(xué)習(xí)多媒體資源庫(kù)》試用通知、“數(shù)據(jù)庫(kù)試用通知”“全國(guó)音樂(lè)學(xué)院圖書(shū)館文化建設(shè)論壇在武漢音樂(lè)學(xué)院舉行”;2014年排前三的為:“新東方多媒體學(xué)習(xí)庫(kù)校外訪問(wèn)通知”“西安音樂(lè)學(xué)院第四屆世界讀書(shū)日活動(dòng)圓滿落幕”“書(shū)香西安音樂(lè)學(xué)院―中文在線電子圖書(shū)試用通知”;2015年排前三的為 “2015陜西高校圖書(shū)館新人入職培訓(xùn)”“2015年高校數(shù)字資源建設(shè)與共享學(xué)術(shù)交流大會(huì)”“圖書(shū)館參加全國(guó)藝術(shù)院校圖書(shū)館學(xué)術(shù)研討會(huì)”。

(二)西安音樂(lè)學(xué)院圖書(shū)館2014年―2015年BBS(新書(shū)通告)訪問(wèn)調(diào)查(其余音樂(lè)學(xué)院圖書(shū)館因篇幅原因略)。調(diào)查出處于首位的是“2014年最新書(shū)目”,其次為“2013年最新音像目錄”,再次為“2014年最新音像目錄”。

(三)西安音樂(lè)學(xué)院圖書(shū)館2014年―2015年BBS(資源動(dòng)態(tài))訪問(wèn)調(diào)查(其余音樂(lè)學(xué)院圖書(shū)館因篇幅原因略)。從調(diào)查可看出處于首位的是“知網(wǎng)?庫(kù)客數(shù)據(jù)庫(kù)用戶名、密碼”;其次是“維普資訊試用通知”;排在第三位的是“新東方數(shù)據(jù)庫(kù)試用通知”。

(四)西安音樂(lè)學(xué)院圖書(shū)館2014年―2015年BBS(試用數(shù)據(jù)庫(kù))訪問(wèn)調(diào)查(其余音樂(lè)學(xué)院圖書(shū)館因篇幅原因略)。從調(diào)查可看出排在首位的是“新東方媒體學(xué)習(xí)庫(kù)”,第二位的是“空中英語(yǔ)教室學(xué)習(xí)音像數(shù)據(jù)庫(kù)”,排在第三位的是“銀符考試題庫(kù)”。

(五)西安音樂(lè)學(xué)院圖書(shū)館2014年―2015年BBS(外文數(shù)據(jù)庫(kù))訪問(wèn)調(diào)查(其余音樂(lè)學(xué)院圖書(shū)館因篇幅原因略)。從調(diào)查可看出排在首位的是“美國(guó)科研出版社(Scientific ResearchPubling)期刊”,第二位是“ASP世界音樂(lè)在線”,排在第三位的是“ASP表演藝術(shù)、戲劇與電影視頻庫(kù)”。

二、 原因分析

(一)非實(shí)用性公告影響。公告是網(wǎng)絡(luò)信息系統(tǒng)中包羅內(nèi)容最多也是搜集網(wǎng)絡(luò)學(xué)術(shù)情報(bào)的“引擎”,而訪問(wèn)量排在前三位的都是非實(shí)用公告。

(二)讀者的從眾心理。網(wǎng)絡(luò)時(shí)代造就了一大批“皇上”讀者,對(duì)任何服務(wù)都“吹毛求疵”。

(三)單邊效應(yīng)。在網(wǎng)絡(luò)系統(tǒng)服務(wù)方式中,圖書(shū)館的任務(wù)角色往往只是承擔(dān)開(kāi)通責(zé)任,在利用過(guò)程中存在的問(wèn)題無(wú)法及時(shí)得到圖書(shū)館專業(yè)人員幫助解決。

三、對(duì)策

(一) 提高館藏質(zhì)量。當(dāng)今任何一個(gè)圖書(shū)館也沒(méi)有能力將所有書(shū)刊資料盡數(shù)收藏,只能根據(jù)本館的任務(wù)對(duì)象,對(duì)所需資料進(jìn)行有選擇、有重點(diǎn)地收藏。

(二)定期開(kāi)展各類實(shí)體或虛擬的文獻(xiàn)服務(wù)講座。結(jié)合各系工作重點(diǎn)進(jìn)行跟蹤服務(wù)。

(三)開(kāi)辦館辦刊物。這是一個(gè)很好揭示館藏資源的方式。

(四)注重學(xué)生需求。學(xué)生這個(gè)群體是除了專業(yè)圖書(shū)的需求外,同時(shí)也需要與個(gè)人愛(ài)好、興趣等相關(guān)的提高綜合素質(zhì)的圖書(shū),這些都不是教書(shū)和采訪人員完全能把握的,因此,非常有必要把他們的代表納入選書(shū)隊(duì)伍。

(五)讀者推廣。圖書(shū)館通過(guò)舉辦讀者活動(dòng)如“世界讀書(shū)日活動(dòng)”、讀書(shū)沙龍等活動(dòng),對(duì)館藏文獻(xiàn)有了進(jìn)一步的了解。

(六)數(shù)據(jù)推送服務(wù)。數(shù)據(jù)推送服務(wù)是指圖書(shū)館根據(jù)讀者的需要,主動(dòng)將讀者所需的信息內(nèi)容推送到讀者端,大數(shù)據(jù)環(huán)境下對(duì)于讀者的各類行為。

四、 結(jié)語(yǔ)

大數(shù)據(jù)分析方法旨在從眾多紛繁復(fù)雜的數(shù)據(jù)中找出能為讀者提供高效、及時(shí)、全面的服務(wù)為本,同時(shí)依據(jù)此數(shù)據(jù)還可以為圖書(shū)館館藏結(jié)構(gòu)的改善提供本基礎(chǔ),通過(guò)對(duì)某些訪問(wèn)量較少或無(wú)訪問(wèn)的數(shù)據(jù)庫(kù)的實(shí)際操作找出了問(wèn)題的癥結(jié)所在,找出原因給出建議。

大數(shù)據(jù)分析論文:基于大數(shù)據(jù)分析的目標(biāo)房產(chǎn)分類及房源匹配

[提要] 當(dāng)前,我國(guó)房地產(chǎn)處在結(jié)構(gòu)調(diào)整期。從市場(chǎng)需求方面,由以前的賣方主導(dǎo)市場(chǎng)需求慢慢轉(zhuǎn)變成為買方主導(dǎo)市場(chǎng)需求;從企業(yè)競(jìng)爭(zhēng)來(lái)看,由于材料、人工成本不斷增加,導(dǎo)致企業(yè)利潤(rùn)下降,競(jìng)爭(zhēng)壓力加大;與此同時(shí),政府部門對(duì)房地產(chǎn)業(yè)的調(diào)控力度也逐漸加大。然而,在一些三四線城市,仍然存在一些房產(chǎn)滯銷、房產(chǎn)市場(chǎng)消費(fèi)購(gòu)買情況不太樂(lè)觀的情形。本文通過(guò)數(shù)據(jù)分析,對(duì)不同消費(fèi)人群的消費(fèi)特征進(jìn)行房源的匹配,以達(dá)到精準(zhǔn)營(yíng)銷,為房地產(chǎn)市場(chǎng)營(yíng)銷制定相應(yīng)的營(yíng)銷策略。

關(guān)鍵詞:房產(chǎn)需求;目標(biāo)房產(chǎn);精準(zhǔn)營(yíng)銷;相應(yīng)分析

一、調(diào)查背景

黨的十八大以來(lái),積極踐行“供給側(cè)結(jié)構(gòu)性改革”,同時(shí)針對(duì)三四線城市房產(chǎn)積壓、房產(chǎn)滯銷的情況,基于房地產(chǎn)企業(yè)發(fā)展背景,運(yùn)用相應(yīng)方法,分析北京市八達(dá)嶺2015年1月~2016年2月所有樓盤消費(fèi)者到訪和成交數(shù)據(jù),發(fā)現(xiàn)和提取其中的有效信息和新知識(shí),根據(jù)不同消費(fèi)者的消費(fèi)特征以匹配不同的房源,提高成交率,達(dá)到“去庫(kù)存”的目的。

二、調(diào)查數(shù)據(jù)介紹

本次調(diào)查數(shù)據(jù)基于零點(diǎn)有限公司提供的北京市八達(dá)嶺樓盤18萬(wàn)余消費(fèi)者購(gòu)買房產(chǎn)的一系列相關(guān)信息為分析的對(duì)象,結(jié)合統(tǒng)計(jì)學(xué)原理,市場(chǎng)營(yíng)銷學(xué)等學(xué)科內(nèi)容,對(duì)數(shù)據(jù)采用相應(yīng)的分析方法,對(duì)數(shù)據(jù)進(jìn)行科學(xué)分析和處理。

三、數(shù)據(jù)結(jié)果分析

(一)從事第三產(chǎn)業(yè)的消費(fèi)者傾向于購(gòu)買高檔住房。將消費(fèi)者所從事的行業(yè)按照第一、第二、第三進(jìn)行劃分,發(fā)現(xiàn)從事第三產(chǎn)業(yè)的人們更加傾向于購(gòu)買高檔和普通住房,進(jìn)一步分析也許與從事第三產(chǎn)業(yè)人們的收入水平有著密切聯(lián)系。同時(shí),他們可能對(duì)于生活的品質(zhì)要求更高,在他們看來(lái),住房不僅僅意味著簡(jiǎn)單的居住場(chǎng)所,更多的是他們享受生活,培養(yǎng)情操的最佳場(chǎng)所。反觀從事第一產(chǎn)業(yè)的人們,可以發(fā)現(xiàn)收入水平不高,對(duì)于生活品質(zhì)的要求也會(huì)降低。在他們看來(lái),只要有一處休息之處便是極好,所以可能會(huì)傾向于購(gòu)買如地下室這樣的住所。從事第二產(chǎn)業(yè)的人們基本穩(wěn)定,大多會(huì)選擇購(gòu)買普通住房。(圖1)

(二)處在單身期、成長(zhǎng)期和形成期的家庭傾向于購(gòu)買普通住房。不同的家庭結(jié)構(gòu)擬購(gòu)買或?qū)嶋H購(gòu)買的住房類型呈現(xiàn)明顯的差異:處在單身期、成長(zhǎng)期和形成期的家庭傾向于購(gòu)買普通住房,單身期生活壓力相對(duì)較低,主要來(lái)自就業(yè)。(圖2)因此,可以將自己的可支配收入積攢下來(lái)購(gòu)買價(jià)格相對(duì)較低的普通住房;成長(zhǎng)期和成熟期的家庭逐漸增加了來(lái)自家庭、孩子的壓力,但由于這個(gè)階段,事業(yè)也處于增長(zhǎng)期,所以工資相對(duì)單身期會(huì)有較大幅度的增加,購(gòu)買普通住房便是首選。對(duì)于成熟期的家庭,住房需求、生活壓力大大降低,就會(huì)考慮用家庭剩余資金進(jìn)行儲(chǔ)蓄或投資,房地產(chǎn)投資在當(dāng)前市場(chǎng)環(huán)境而言是首選;或者是當(dāng)剩余資金積攢到一定額度,他們便會(huì)考慮將現(xiàn)有住房更新?lián)Q代,購(gòu)買高檔住房。

(三)家庭收入較高的消費(fèi)者更傾向于購(gòu)買高檔住房。不同家庭收入的住戶擬購(gòu)買或?qū)嶋H購(gòu)買的住房類型呈現(xiàn)出明顯的差異:北京年收入最貴學(xué)區(qū)房高達(dá)10萬(wàn)元/平方米,收入在10萬(wàn)元以下的家庭會(huì)選擇購(gòu)買地下室,這個(gè)收入段的人群大多數(shù)集中在外來(lái)打工人員,背井離鄉(xiāng)的他們將大部分錢寄回老家用于支付子女的教育費(fèi)和老人的贍養(yǎng)費(fèi),因此剩余給自己的少之又少,衣食住行方方面面都需要節(jié)儉,地下室便是無(wú)奈之舉。對(duì)于在中低收入段10~30萬(wàn)元的家庭,購(gòu)買普通住房是首選,少數(shù)也有購(gòu)買車位和商業(yè)用房的,這和當(dāng)前房?jī)r(jià)的熱漲行情有很大的聯(lián)系。收入在30萬(wàn)元以上的家庭會(huì)考慮購(gòu)買高檔住房,其中收入在80萬(wàn)元以上的家庭表現(xiàn)的尤為顯著,經(jīng)濟(jì)學(xué)中“恩格爾定律”表明,收入越高恩格爾系數(shù)越小,用于文教娛樂(lè)和高檔物品的消費(fèi)顯著增加,高檔住房便是之一。(圖3)

(四)目前居住戶型較高檔的消費(fèi)者傾向于購(gòu)買奢華住房。通過(guò)對(duì)消費(fèi)者目前居住戶型和產(chǎn)品類型進(jìn)行相應(yīng)分析得到圖4。從第一維度來(lái)看,產(chǎn)品類型分布較為分散,消費(fèi)者目前居住戶型分布相對(duì)集中;在第二維度上,產(chǎn)品類型分布和消費(fèi)者目前居住戶型分布都相對(duì)集中。從圖中可以分析出,目前居住戶型為租住、一居、兩居和三居的消費(fèi)者在購(gòu)買住房時(shí)選擇普通住房的可能性較大,其次可能選擇地下室;目前居住戶型為4居或者別墅的消費(fèi)者在購(gòu)買住房時(shí)選擇高檔住房的可能性較大。目前住房為四居或者別墅的消費(fèi)者經(jīng)濟(jì)狀況相對(duì)較好,因此對(duì)住房的要求較高,所以選擇高檔住房;目前住房為四居以下(不包含四居)或者是租房的消費(fèi)者經(jīng)濟(jì)狀況相對(duì)較差,因此購(gòu)房時(shí)選擇普通住房或者地下室也符合實(shí)際。因此,銷售人員在向消費(fèi)者推介住房時(shí)應(yīng)該先了解消費(fèi)者目前居住戶型,并根據(jù)消費(fèi)者目前居住的戶型進(jìn)行相應(yīng)的有關(guān)連的推介。(圖4)

(五)消費(fèi)者置業(yè)目的的差異導(dǎo)致購(gòu)買住房的差異。通過(guò)對(duì)消費(fèi)者本次置業(yè)目的和產(chǎn)品類型進(jìn)行相應(yīng)分析得到對(duì)應(yīng)分析圖。如圖5所示,消費(fèi)者本次置業(yè)目的和產(chǎn)品類型在第一維度和第二維度上分布都較為集中。從圖中可以看出,本次置業(yè)目的為第一居所自住或者是用于投資的消費(fèi)者,一般會(huì)更加傾向于選擇普通住房,本次置業(yè)目的為第二居所或者是第一居所他人居住的消費(fèi)者,如果購(gòu)房是用于居住則可能更加傾向于購(gòu)買高檔住房或者帶有車位的住房,如果購(gòu)買住房是用于存放物品或者其他用途則可能更加傾向于購(gòu)買地下室。因此,銷售人員在進(jìn)行銷售時(shí)要在參考該對(duì)應(yīng)分析圖的基礎(chǔ)上也要根據(jù)實(shí)際情況判斷消費(fèi)者適合的住房類型,為不同需求的消費(fèi)者進(jìn)行準(zhǔn)確的房屋推薦。(圖5)

四、小結(jié)

通過(guò)對(duì)消費(fèi)者自身的消費(fèi)特征進(jìn)行分析,房地產(chǎn)銷售商應(yīng)該在營(yíng)銷過(guò)程中著重關(guān)注消費(fèi)者的典型的消費(fèi)特征,在準(zhǔn)確進(jìn)行本企業(yè)產(chǎn)品市場(chǎng)定位的基礎(chǔ)上,以滿足客戶差異化需求,激發(fā)客戶潛在需求為切入點(diǎn),找準(zhǔn)營(yíng)銷人群、配準(zhǔn)營(yíng)銷策略、匹配營(yíng)銷渠道、投準(zhǔn)營(yíng)銷資源,針對(duì)客戶不同的購(gòu)房需求,為客戶提供滿足個(gè)體要求的個(gè)性化產(chǎn)品;與此同時(shí),“喚醒”大量的、差異化的需求。同時(shí),選擇不同的傳播方式和渠道分別推送產(chǎn)品信息,如微信、傳單、網(wǎng)站等形式,并實(shí)時(shí)更新數(shù)據(jù)。通^售后客戶關(guān)懷等手段建立起增值服務(wù)體系,做好精準(zhǔn)營(yíng)銷的實(shí)際效果評(píng)估。將最終的評(píng)估效果反饋到房源與客戶的精準(zhǔn)匹配過(guò)程,調(diào)節(jié)客戶的需求類型;同時(shí),良好的售后增值服務(wù)可以留住老客戶,營(yíng)造良好的企業(yè)口碑,以此發(fā)掘和帶動(dòng)新客戶,真正達(dá)到“去庫(kù)存”的目的,促進(jìn)房地產(chǎn)市場(chǎng)的發(fā)展。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析與高速數(shù)據(jù)更新

摘 要 隨著經(jīng)濟(jì)的發(fā)展和社會(huì)的進(jìn)步,計(jì)算機(jī)技術(shù)逐漸豐富人們的生活,大數(shù)據(jù)分析技術(shù)作為近啄晷似鸕囊幌罡嚦萍跡能夠智能存儲(chǔ)豐富的數(shù)據(jù)資源,數(shù)據(jù)的產(chǎn)生以及更新的速度逐漸加快,數(shù)據(jù)的種類也相對(duì)繁多。通過(guò)對(duì)大數(shù)據(jù)進(jìn)行分析,能夠發(fā)掘其中存在的政治、經(jīng)濟(jì)以及文化資源和社會(huì)價(jià)值,對(duì)于企業(yè)來(lái)說(shuō),能夠存儲(chǔ)于客戶之間的大量的信息,從而提升經(jīng)濟(jì)價(jià)值,加速社會(huì)生活的運(yùn)轉(zhuǎn),從而促進(jìn)時(shí)代的進(jìn)步。本文主要研究大數(shù)據(jù)系統(tǒng)中的主要分支,并分析其具體的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)分析 系統(tǒng) 高速 數(shù)據(jù)更新

大數(shù)據(jù)概念的逐漸興起,帶動(dòng)了各大行業(yè)的發(fā)展和更新,那么大數(shù)據(jù)的具體概念究竟是什么,書(shū)中的解釋是一般的軟件難以概括和捕捉和分析的較大容量的數(shù)據(jù),更大的意義是在于能夠通過(guò)交換、整合海量的數(shù)據(jù),發(fā)掘新的知識(shí),從而創(chuàng)造更大的價(jià)值。大數(shù)據(jù)系統(tǒng)中包含倉(cāng)儲(chǔ)數(shù)據(jù)系統(tǒng)、圖形處理系統(tǒng)、日志數(shù)據(jù)處理系統(tǒng)以及MapReduce數(shù)據(jù)系統(tǒng)等等。本文通過(guò)分析其中主要的幾個(gè)數(shù)據(jù)處理系統(tǒng)中的差異和共性,分析大數(shù)據(jù)分析中的主要應(yīng)用。

1 大數(shù)據(jù)分析系統(tǒng)中的Velocity

1.1 事物的處理系統(tǒng)

事物處理系統(tǒng)是傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)中主要的應(yīng)用軟件之一,必須要支持大量的并存用戶,由于每一位用戶操作時(shí)所讀取的數(shù)據(jù)只占其中的一小部分,并且會(huì)隨機(jī)的分布在每一個(gè)數(shù)據(jù)系統(tǒng)中。例如在銀行的存款中,每天都有成千上萬(wàn)的客戶利用自動(dòng)取款機(jī)或是人工服務(wù)進(jìn)行交易,每一位客戶對(duì)自己的銀行賬號(hào)進(jìn)行操作,對(duì)于銀行的整個(gè)數(shù)據(jù)系統(tǒng)中是極為微小的一部分,,是隨機(jī)分布在各個(gè)銀行的數(shù)據(jù)之內(nèi)的。因此在大數(shù)據(jù)的時(shí)代,隨著科學(xué)技術(shù)的不斷普及,事物處理的規(guī)模和程度也就不斷地加大。

在事物處理的系統(tǒng)當(dāng)中,velocity是數(shù)據(jù)系統(tǒng)設(shè)計(jì)中的主要核心,引導(dǎo)每一位客戶對(duì)其自身的業(yè)務(wù)進(jìn)行準(zhǔn)確的操作,同時(shí)需要盡可能的支持更多的并發(fā)業(yè)務(wù),在實(shí)際的系統(tǒng)中,TPC-C與TPC-E是測(cè)試事物處理效率的主要依據(jù)。許多數(shù)據(jù)分析企業(yè)簡(jiǎn)化了數(shù)據(jù)分析的步驟,這樣雖然能夠從一定程度上減少分析的成本,提升的分析的性能,但是為了能夠?qū)崿F(xiàn)更多的分析應(yīng)用,促進(jìn)大數(shù)據(jù)系統(tǒng)的高效運(yùn)行,需要程序員逐一解決實(shí)際的分析問(wèn)題,將研究的重點(diǎn)放到ACID上。

1.2 數(shù)據(jù)流的系統(tǒng)

向較與事物處理系統(tǒng),數(shù)據(jù)流系統(tǒng)的主要任務(wù)是分析流過(guò)系統(tǒng)中的主要數(shù)據(jù),在每一條流過(guò)的數(shù)據(jù)中,計(jì)算出事先定義好的查詢運(yùn)算,例如差異監(jiān)測(cè)、統(tǒng)計(jì)運(yùn)算、復(fù)雜事件處理等等,系統(tǒng)中的運(yùn)算需要連續(xù)不斷的進(jìn)行,由于不需要對(duì)數(shù)據(jù)進(jìn)行大面積的存儲(chǔ),因此流過(guò)的數(shù)據(jù)也就是無(wú)限量的。我國(guó)數(shù)據(jù)流系統(tǒng)最早出現(xiàn)于20世紀(jì)末,最開(kāi)始被應(yīng)用于電信流量監(jiān)控以及交通情況分析等等。同時(shí)與實(shí)務(wù)處理系統(tǒng)相似的是,數(shù)據(jù)流系統(tǒng)的核心任務(wù)也是velocity,其更加注重的是對(duì)于數(shù)據(jù)系統(tǒng)的吞吐量控制,單位時(shí)間內(nèi)流過(guò)的數(shù)據(jù)量能夠方便系統(tǒng)的儲(chǔ)存,另一方面能夠?qū)崿F(xiàn)更多的惡吞吐率。

1.3 大數(shù)據(jù)分析系統(tǒng)

大數(shù)據(jù)的分析是確保數(shù)據(jù)價(jià)值的主要途徑,通過(guò)對(duì)海量的數(shù)據(jù)進(jìn)行分析,能夠基本的總結(jié)出數(shù)據(jù)中蘊(yùn)藏的規(guī)律,從而能夠更好地理解現(xiàn)實(shí),對(duì)未來(lái)的事件進(jìn)行預(yù)測(cè)。大數(shù)據(jù)系分析系統(tǒng)與事件處理系統(tǒng)與數(shù)據(jù)流系統(tǒng)存在一定的差異,與事件處理系統(tǒng)相比,大數(shù)據(jù)分析系統(tǒng)只為極少數(shù)的客戶進(jìn)行服務(wù),例如公司的數(shù)據(jù)分析師、決策人員以及對(duì)數(shù)據(jù)進(jìn)行分析的管理人員,并發(fā)的用戶量小于數(shù)據(jù)的處理系統(tǒng),但是對(duì)于系統(tǒng)進(jìn)行的數(shù)據(jù)處理工作并不少于事件處理系統(tǒng);向較于數(shù)據(jù)流系統(tǒng)大數(shù)據(jù)分析系統(tǒng)能夠處理系統(tǒng)中所存儲(chǔ)的數(shù)據(jù),而不是處理流動(dòng)中的數(shù)據(jù),雖然數(shù)據(jù)不一定 能夠全部放入內(nèi)存,但是大部分系統(tǒng)需要利用外部處理器進(jìn)行處理。

在大數(shù)據(jù)的時(shí)代之下,velocity的作用越來(lái)越突出,數(shù)據(jù)通過(guò)不斷產(chǎn)生、流通并加載到數(shù)據(jù)系統(tǒng)中,從靜態(tài)的角度分析和優(yōu)化數(shù)據(jù)分析系統(tǒng)存在一定的問(wèn)題,首先是無(wú)法反應(yīng)并及時(shí)更新數(shù)據(jù),難以適應(yīng)眾多的在線應(yīng)用需求;其次,靜止的狀態(tài)可能會(huì)受到數(shù)據(jù)更新的干擾,數(shù)據(jù)分析的性能無(wú)法得到最大程度的發(fā)揮。因此程序員在設(shè)計(jì)大數(shù)據(jù)分析系統(tǒng)的過(guò)程中,不僅要注重?cái)?shù)據(jù)操作的本身,還應(yīng)該理清整個(gè)數(shù)據(jù)分析的生命周期,從而使其設(shè)計(jì)理念充分發(fā)揮在系統(tǒng)應(yīng)用中。

2 在數(shù)據(jù)系統(tǒng)倉(cāng)儲(chǔ)中高速數(shù)據(jù)的更新

2.1 傳統(tǒng)的數(shù)據(jù)更新對(duì)數(shù)據(jù)分析操作的影響

分析數(shù)據(jù)系統(tǒng)中的查詢工作,在硬盤上進(jìn)行數(shù)據(jù)的順序閱讀,一般情況下,常規(guī)的數(shù)據(jù)順序讀性可能會(huì)達(dá)到100MBps,相對(duì)于傳統(tǒng)的數(shù)據(jù)更新對(duì)數(shù)據(jù)頁(yè)面進(jìn)行數(shù)據(jù)的錄入和插入以及修改等操作,數(shù)據(jù)的訪問(wèn)也比較符合前段系統(tǒng)的數(shù)據(jù)特征,基本上也是隨機(jī)進(jìn)行的。同時(shí)由于技術(shù)水平的限制,大多數(shù)硬盤只能支持每秒一百次的隨機(jī)訪問(wèn),系統(tǒng)運(yùn)行的效率大打折扣。再加上隨機(jī)訪問(wèn)可能會(huì)干擾良好的數(shù)據(jù)信號(hào),在操作的過(guò)程中,需要不斷更換硬盤的磁頭才能進(jìn)行后續(xù)的工作,因此也在一定程度上降低了數(shù)據(jù)分析的可能性。

2.2 在線高速數(shù)據(jù)更新的設(shè)計(jì)目標(biāo)

在進(jìn)行設(shè)計(jì)的過(guò)程中,需要準(zhǔn)備固態(tài)硬盤、硬盤以及內(nèi)存三種設(shè)備,主要的數(shù)據(jù)內(nèi)容依然存放于硬盤中,并在系統(tǒng)中增加少許的固態(tài)硬盤,用來(lái)暫時(shí)存儲(chǔ)臨時(shí)更新的數(shù)據(jù),利用這樣的形式,能夠有效的降低系統(tǒng)更新對(duì)數(shù)據(jù)查詢的影響,由于固態(tài)硬盤的容量也比較小,因此其成本也相對(duì)較低。系統(tǒng)中的每一條數(shù)據(jù)都需要包含其主鍵、操作流程以及更新后的數(shù)值。因此需要在內(nèi)存緩沖之前及時(shí)進(jìn)行更新數(shù)據(jù),當(dāng)緩沖完成之后,將數(shù)據(jù)的更新記錄錄入在固態(tài)的硬盤中,在讀入的數(shù)據(jù)系統(tǒng)中記錄插入和修改的操作,從而產(chǎn)生最新的數(shù)據(jù)信息。

為了完成上述的操作,需要保證幾個(gè)設(shè)計(jì)的前提:

(1)對(duì)查詢的結(jié)果影響小,這是主要的設(shè)計(jì)目標(biāo),在具體的算法設(shè)計(jì)中,利用固態(tài)硬盤的特征,減少線上更新對(duì)數(shù)據(jù)查詢操作的影響;

(2)內(nèi)存的占用較少,內(nèi)存的大小可能會(huì)影響運(yùn)算的性能,首先內(nèi)存能夠用于數(shù)據(jù)的緩存,減少不必要的操作,其次,以排序作為基礎(chǔ)的算法,對(duì)于內(nèi)存的大小不同,算法的性能可能會(huì)出現(xiàn)很大的變化,因此當(dāng)數(shù)據(jù)能夠完整的納入內(nèi)存之中時(shí),利用計(jì)算方法只需要讀取以此數(shù)據(jù),就能夠計(jì)算出具體的內(nèi)存容量,從而減少對(duì)于內(nèi)存的占用,提升數(shù)據(jù)內(nèi)存的可靠性能;

(3)高效的遷移和操作,從時(shí)間方面來(lái)看,以前e累的大量數(shù)據(jù)記錄,每一頁(yè)的主數(shù)據(jù)中可能會(huì)存在一些新的更新記錄,而不是隨機(jī)的抽取,在空間的數(shù)據(jù)方面,數(shù)據(jù)的遷移能夠隨時(shí)空間的轉(zhuǎn)移進(jìn)行更新,因此只需要使用少量的硬盤空間,就能存儲(chǔ)大量的更新數(shù)據(jù)。

2.3 MaSM算法

在數(shù)據(jù)更新系統(tǒng)和固態(tài)硬盤中加入兩層數(shù)據(jù)結(jié)構(gòu),歸納并操作時(shí),需要將數(shù)據(jù)更新的記錄按照主鍵的順序進(jìn)行排列組合,并簡(jiǎn)化外部?jī)?nèi)存的排列程序,當(dāng)緩沖完成之后,算法對(duì)緩沖區(qū)域中的數(shù)據(jù)更新記錄進(jìn)行修改,從而將排序之后的數(shù)據(jù)更新記錄記載在固態(tài)的硬盤中,編寫(xiě)一個(gè)新的文件,之后便不再系修改。對(duì)于主鍵范圍之內(nèi)的數(shù)據(jù)查詢工作,需要?jiǎng)?chuàng)建一個(gè)table range scan造作的運(yùn)算部件,將數(shù)據(jù)更新記錄的數(shù)值范圍精確到固定的區(qū)域之內(nèi),使程序員能夠及時(shí)并便捷的找到數(shù)據(jù)更新的差異和規(guī)律,從而對(duì)整個(gè)大數(shù)據(jù)分析提供有一個(gè)準(zhǔn)確的把握。

3 高性能日志處理系統(tǒng):LogKV

3.1 LogKV系統(tǒng)結(jié)構(gòu)分析

鍵值系統(tǒng)能夠靈敏地表現(xiàn)多種類型日記的信息和記錄,并能夠提供可靠的數(shù)據(jù)存儲(chǔ)資源,系統(tǒng)由一個(gè)調(diào)節(jié)的管理支點(diǎn)和多個(gè)工作的節(jié)點(diǎn)通過(guò)數(shù)據(jù)中心的網(wǎng)絡(luò)系統(tǒng)連接在一起,每一個(gè)工作的系統(tǒng)都由兩個(gè)子系統(tǒng)構(gòu)成,IngestKV是鍵值存儲(chǔ)的子系統(tǒng),使日志能夠順利的緩沖和收集,并實(shí)現(xiàn)系統(tǒng)的設(shè)計(jì)理念和設(shè)計(jì)目標(biāo)。

3.2 從日志的數(shù)據(jù)源到系統(tǒng)的映射

需要管理員盡可能的平衡各個(gè)節(jié)點(diǎn)之間的日志數(shù)據(jù)流量,優(yōu)化獲取日志的方法,首先,日志的數(shù)據(jù)源能夠運(yùn)行LogKV的程序,進(jìn)行直接收集日志資源,由網(wǎng)絡(luò)信號(hào)進(jìn)行數(shù)據(jù)的發(fā)送和傳播;其次,日志的數(shù)據(jù)源能夠通過(guò)配置遠(yuǎn)程的端口和服務(wù)器,將日志的數(shù)據(jù)直接發(fā)送到實(shí)際的運(yùn)行系統(tǒng)中,從而促進(jìn)整個(gè)系統(tǒng)的高效運(yùn)行;最后,日志的數(shù)據(jù)源能夠?qū)?shù)據(jù)寫(xiě)入到本地的文件中,并通過(guò)文件傳輸?shù)膮f(xié)議,產(chǎn)品能夠數(shù)據(jù)源中獲取到數(shù)據(jù)文件。

4 總結(jié)

綜上所述可知,隨著經(jīng)濟(jì)的發(fā)展和社會(huì)的進(jìn)步,科學(xué)技術(shù)水平也得到大幅的提升,為了能夠跟進(jìn)時(shí)代的步伐,體驗(yàn)科技的成果,采用大數(shù)據(jù)分析以及高速更新數(shù)據(jù)更新的技術(shù),不僅能夠提升人們的生活質(zhì)量,加快社會(huì)進(jìn)步的腳步,同時(shí)也能夠促進(jìn)我國(guó)的科技軟實(shí)力,從而在激烈的國(guó)際競(jìng)爭(zhēng)中找到一席之地。因此程序員在進(jìn)行數(shù)據(jù)分析的過(guò)程中,需要充分了解設(shè)計(jì)的內(nèi)涵,確立在線高速數(shù)據(jù)更新的設(shè)計(jì)目標(biāo),從而方便大數(shù)據(jù)的存儲(chǔ)和運(yùn)行。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析技術(shù)在生活中的廣泛應(yīng)用

摘 要 文章介紹了大數(shù)據(jù)技術(shù)的即時(shí)性、準(zhǔn)確性和預(yù)測(cè)性,并將大數(shù)據(jù)技術(shù)與公共交通、醫(yī)藥領(lǐng)域、移動(dòng)通信網(wǎng)絡(luò)優(yōu)化相結(jié)合,從而方便了人們的生活,提高了人們的生活質(zhì)量。

【關(guān)鍵詞】大數(shù)據(jù)分析 公共交通 醫(yī)藥 移動(dòng)通信

所謂大數(shù)據(jù),一方面是指在一定時(shí)間內(nèi)無(wú)法被常規(guī)信息技術(shù)和傳統(tǒng)數(shù)據(jù)庫(kù)管理軟硬件工具感知、獲取和處理的巨量數(shù)據(jù)集合;另一方面,是指形成、管理、挖掘大數(shù)據(jù), 快速搜集、處理、分析大數(shù)據(jù)的技術(shù)和能力。

大數(shù)據(jù)的主要特點(diǎn)是海量、非結(jié)構(gòu)化和半結(jié)構(gòu)化、實(shí)時(shí)處理。大數(shù)據(jù)技術(shù),或大數(shù)據(jù)分析技術(shù),就是對(duì)這些數(shù)量巨大的海量數(shù)據(jù)進(jìn)行搜索、整理、分析、加工,以便獲得有價(jià)值的產(chǎn)品和服務(wù),以及提煉出具有深刻見(jiàn)解和潛在價(jià)值信息的技術(shù)和手段。

1 大數(shù)據(jù)分析在公共交通中的應(yīng)用

交通擁堵日益嚴(yán)重,交通事故頻繁發(fā)生,這些都是各大城市亟待解決的問(wèn)題,科學(xué)分析交通管理體系成為改善城市交通的關(guān)鍵所在。因此,高效、準(zhǔn)確地獲取交通數(shù)據(jù)是構(gòu)建合理城市交通管理體系的前提,而這一難題可以通過(guò)大數(shù)據(jù)管理得到解決。

大數(shù)據(jù)分析技術(shù)改變了傳統(tǒng)公共交通的路徑:大數(shù)據(jù)可以跨越行政區(qū)域的限制;大數(shù)據(jù)可以高效地整合交通信息;大數(shù)據(jù)可以較好地配置公共交通資源;大數(shù)據(jù)可以促進(jìn)公共交通均衡性發(fā)展。在大數(shù)據(jù)中,隨著數(shù)據(jù)庫(kù)攝入更多數(shù)據(jù),所消耗的計(jì)算工作量反而遞減,配置成本也隨之減小,但所做的計(jì)算則更加精準(zhǔn)。大數(shù)據(jù)在公共交通中的應(yīng)用表現(xiàn)在:一旦某個(gè)路段發(fā)生問(wèn)題,能立刻從大數(shù)據(jù)中調(diào)出有用信息,確保交通的連貫性和持續(xù)性;另一方面,大數(shù)據(jù)具有較高預(yù)測(cè)能力,可降低誤報(bào)和漏報(bào)的概率, 可隨時(shí)針對(duì)公共交通的動(dòng)態(tài)性給予實(shí)時(shí)監(jiān)控。因此,在駕駛者無(wú)法預(yù)知交通擁堵的可能性時(shí),大數(shù)據(jù)可幫助用戶預(yù)先了解。

2 大數(shù)據(jù)分析在醫(yī)藥領(lǐng)域中的應(yīng)用

在醫(yī)學(xué)領(lǐng)域,我們正處在一醫(yī)學(xué)信息爆炸的時(shí)代?;蛐蛄?、各種醫(yī)學(xué)圖像、電子病歷記錄和多中心臨床藥物試驗(yàn)等,使生物醫(yī)學(xué)領(lǐng)域跨入網(wǎng)絡(luò)化的大數(shù)據(jù)時(shí)代。如何從醫(yī)療大數(shù)據(jù)中提取出有用的信息是目前亟待解決的問(wèn)題,構(gòu)建醫(yī)療大數(shù)據(jù)系統(tǒng)需要將各家醫(yī)院通過(guò)互聯(lián)網(wǎng)連接,實(shí)現(xiàn)各家醫(yī)院之間的數(shù)據(jù)共享。將醫(yī)療數(shù)據(jù)存于專門的數(shù)據(jù)庫(kù)中,在信息協(xié)作平臺(tái)上將各種醫(yī)療信息分類整合,建立成一個(gè)相互共享的網(wǎng)絡(luò),從而實(shí)現(xiàn)醫(yī)療數(shù)據(jù)信息的共享。

大數(shù)據(jù)技術(shù)的核心就是預(yù)測(cè),使用大數(shù)據(jù)分析技術(shù)可以提高診斷疾病的準(zhǔn)確率,對(duì)有效地治療疾病具有重要價(jià)值。其中最好地體現(xiàn)在傳染病預(yù)測(cè)上,因?yàn)閭魅静〉陌l(fā)生、發(fā)展、分布與地理地貌、生態(tài)景觀、人文環(huán)境有密切關(guān)系,特別在全球氣候變化和經(jīng)濟(jì)全球化背景下,自然環(huán)境及人類社會(huì)活動(dòng)對(duì)傳染病的影響越來(lái)越重要。因此,時(shí)間和空間信息對(duì)傳染病的預(yù)測(cè)、預(yù)警具有重要意義。利用大數(shù)據(jù)可對(duì)傳染病疫情的時(shí)間、空間信息進(jìn)行多維搜索,檢索、處理和分析這些疫情信息可實(shí)現(xiàn)對(duì)傳染病的流行趨勢(shì)及影響范圍進(jìn)行預(yù)測(cè)、預(yù)警,對(duì)提高傳染病防控的針對(duì)性、預(yù)見(jiàn)性和主動(dòng)性,抑制流行病的蔓延,以及制定衛(wèi)生決策都具有十分重要的意義。

3 大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的應(yīng)用

當(dāng)前的大數(shù)據(jù)技術(shù)面臨著數(shù)據(jù)過(guò)大和安全隱患越多這兩個(gè)問(wèn)題。在移動(dòng)通信網(wǎng)絡(luò)發(fā)展的過(guò)程中,網(wǎng)上用戶在不斷增加,通信網(wǎng)絡(luò)的范圍在不斷擴(kuò)大, 而移動(dòng)通信網(wǎng)絡(luò)所產(chǎn)生的數(shù)據(jù)量也在不斷上升。大數(shù)據(jù)技術(shù)和移動(dòng)通信網(wǎng)絡(luò)的安全問(wèn)題密切相關(guān),一旦技術(shù)出現(xiàn)漏洞,移動(dòng)通信網(wǎng)絡(luò)的數(shù)據(jù)就會(huì)出現(xiàn)安全隱患。大數(shù)據(jù)技術(shù)中存儲(chǔ)功能的是云儲(chǔ)存技術(shù),它將大量的網(wǎng)絡(luò)數(shù)據(jù)放在統(tǒng)一的平臺(tái)之上,加大了數(shù)據(jù)丟失的風(fēng)險(xiǎn),影響移動(dòng)通信網(wǎng)絡(luò)的安全。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò),需要運(yùn)用大數(shù)據(jù)技術(shù)的儲(chǔ)存功能。移動(dòng)通信網(wǎng)絡(luò)的用戶在不斷變化,每天都要更新大量的數(shù)據(jù),而且這些數(shù)據(jù)都需要進(jìn)行妥善管理和保存。在這一過(guò)程中,可以應(yīng)用大數(shù)據(jù)技術(shù)的存儲(chǔ)功能, 將存儲(chǔ)虛擬化作為解決存儲(chǔ)問(wèn)題的有效策略。

優(yōu)化移動(dòng)通信網(wǎng)絡(luò),需要獲取相關(guān)的數(shù)據(jù)信息。移動(dòng)通信網(wǎng)絡(luò)的用戶非常多,而且其所跨越的時(shí)間、空間維度都很大,這些用戶在移動(dòng)通信網(wǎng)絡(luò)留下的海量的數(shù)據(jù)信息,使數(shù)據(jù)獲取工作難以繼續(xù)。在進(jìn)行數(shù)據(jù)的獲取和收集工作時(shí),移動(dòng)通信網(wǎng)絡(luò)可以應(yīng)用大數(shù)據(jù)技術(shù),減少人力和物力的投入,同時(shí)增加數(shù)據(jù)的準(zhǔn)確度。

4 結(jié)語(yǔ)

本文是大數(shù)據(jù)技術(shù)在實(shí)際生活領(lǐng)域的應(yīng)用,分別闡述了大數(shù)據(jù)分析技術(shù)在公共交通、醫(yī)藥領(lǐng)域、移動(dòng)通信網(wǎng)絡(luò)優(yōu)化中的具體運(yùn)用。借助大數(shù)據(jù)技術(shù)的即時(shí)性、準(zhǔn)確性和預(yù)測(cè)性,將其應(yīng)用到人們的日常生活領(lǐng)域,提高了人們的生活質(zhì)量。

大數(shù)據(jù)分析論文:可視化大數(shù)據(jù)分析模型在個(gè)性化英語(yǔ)教學(xué)中的應(yīng)用探索研究

【摘要】本文主要從基礎(chǔ)水平、目標(biāo)要求、薄弱點(diǎn)、性格等四個(gè)方面進(jìn)行數(shù)據(jù)建模,結(jié)合學(xué)生學(xué)習(xí)過(guò)程中的數(shù)據(jù)分析模型,對(duì)學(xué)生學(xué)習(xí)群體進(jìn)行立體的分析和分類,將學(xué)習(xí)群體細(xì)化地分成多類,因材施教;橫向針對(duì)個(gè)人,從聽(tīng)、說(shuō)、讀、寫(xiě)、譯五個(gè)方面及多個(gè)細(xì)分點(diǎn)進(jìn)行數(shù)據(jù)建模和分析,明確給出學(xué)生英語(yǔ)學(xué)習(xí)的切面水平圖,對(duì)學(xué)生的英語(yǔ)學(xué)習(xí)進(jìn)行有針對(duì)性的可視化分析;縱向以學(xué)生個(gè)體在學(xué)習(xí)過(guò)程中積累的變動(dòng)數(shù)據(jù)為根據(jù),橫向細(xì)分考察點(diǎn)為依托,繪制學(xué)生個(gè)體在學(xué)習(xí)過(guò)程中的數(shù)據(jù)變化模型,對(duì)整個(gè)學(xué)習(xí)過(guò)程進(jìn)行可視化研究。

【關(guān)鍵詞】英語(yǔ)教學(xué) 可視化分析 學(xué)習(xí)成效

我國(guó)英語(yǔ)教學(xué)在網(wǎng)絡(luò)課程、移動(dòng)學(xué)習(xí)、智能測(cè)評(píng)等方面近年來(lái)發(fā)展迅猛。結(jié)合我國(guó)實(shí)際的教學(xué)環(huán)境以及新近發(fā)展起來(lái)的大數(shù)據(jù)可視化分析模型,探索更有針對(duì)性更加有效的英語(yǔ)教學(xué)模式,以更大限度的提高學(xué)生學(xué)習(xí)熱情,改善學(xué)習(xí)成績(jī),培養(yǎng)全面發(fā)展的英語(yǔ)人才。

一、中國(guó)英語(yǔ)教育的規(guī)模與社會(huì)需求

全球化進(jìn)程和頻繁的國(guó)際交流推動(dòng)著我國(guó)的英語(yǔ)教育發(fā)展,同時(shí)也導(dǎo)致外語(yǔ)類教學(xué)消費(fèi)的泡沫現(xiàn)象。針對(duì)高校英語(yǔ)專業(yè)和英語(yǔ)增長(zhǎng)和英語(yǔ)類考試泛濫的現(xiàn)狀,導(dǎo)致了學(xué)生數(shù)量與教學(xué)質(zhì)量之間的矛盾。我國(guó)高校英語(yǔ)教育規(guī)模和社會(huì)需求的快速發(fā)展,但也隨之帶來(lái)了師資不足、教材陳舊、教學(xué)手段落后、理論和實(shí)際脫離等一系列問(wèn)題。在飛速發(fā)展的大數(shù)據(jù)時(shí)代,如何在保障英語(yǔ)教育規(guī)模的同時(shí),建設(shè)英語(yǔ)專業(yè)教材、深化英語(yǔ)專業(yè)教學(xué)改革、確保英語(yǔ)專業(yè)教學(xué)質(zhì)量已經(jīng)成為當(dāng)前迫切需要解決的問(wèn)題。

二、大數(shù)據(jù)分析模型在學(xué)生英語(yǔ)學(xué)習(xí)過(guò)程中的應(yīng)用

大數(shù)據(jù)概念在教育領(lǐng)域的發(fā)展體現(xiàn)在:開(kāi)創(chuàng)教育理念的新思維新視角的同時(shí),也給教育實(shí)踐探索帶來(lái)了新技術(shù)、新方法。通過(guò)數(shù)據(jù)記錄學(xué)生學(xué)習(xí)的能力、效果、時(shí)間、水平、成績(jī)、思維流程等,能夠直接、具象的掌握學(xué)生的學(xué)習(xí)進(jìn)度。通過(guò)大數(shù)據(jù)系統(tǒng),對(duì)這些信息和數(shù)據(jù)進(jìn)行記錄、整理、統(tǒng)計(jì)、分析,使得教師能更科學(xué)全面地掌握學(xué)生的學(xué)習(xí)動(dòng)向,也使得學(xué)生和家長(zhǎng)能及時(shí)客觀地了解個(gè)體發(fā)展情況。

通過(guò)大數(shù)據(jù)分析模型著重闡述了如何對(duì)學(xué)生英語(yǔ)水平進(jìn)行切面橫向的評(píng)價(jià),同時(shí)進(jìn)行分析研究,查缺補(bǔ)漏,制定個(gè)性化學(xué)習(xí)方案,教師實(shí)行定制化的施教方案,有針對(duì)性地對(duì)學(xué)生的英語(yǔ)學(xué)習(xí)進(jìn)行指導(dǎo)和教授知識(shí)點(diǎn),有效提高學(xué)生英語(yǔ)水平。

從縱向的時(shí)間維度來(lái)講,以學(xué)生個(gè)體在學(xué)習(xí)過(guò)程中積累的變動(dòng)數(shù)據(jù)為根據(jù),橫向細(xì)分考察點(diǎn)(聽(tīng)說(shuō)讀寫(xiě)譯的子考察點(diǎn))為依托,這樣可以繪制出學(xué)生個(gè)體在學(xué)習(xí)過(guò)程中的數(shù)據(jù)變化模型,制作出來(lái)評(píng)分圖,對(duì)比以前的評(píng)分圖,可以實(shí)現(xiàn)對(duì)該學(xué)生整個(gè)學(xué)習(xí)過(guò)程進(jìn)行可視化研究,并隨時(shí)調(diào)整學(xué)習(xí)方法和施教方案,有針對(duì)性地加強(qiáng)薄弱點(diǎn)的學(xué)習(xí),掌控學(xué)生的學(xué)習(xí)效果。

同前面所述一樣可以繪制出學(xué)生的學(xué)習(xí)水平評(píng)價(jià)表,可以清晰地記錄學(xué)生的學(xué)習(xí)軌跡,如果條件允許還可以制定學(xué)習(xí)記錄檔案,這不僅能成為學(xué)生學(xué)習(xí)成長(zhǎng)的指引工具,也有助于鍛煉學(xué)生的分析解決問(wèn)題能力和邏輯思維。

三、大數(shù)據(jù)分析法在英語(yǔ)教學(xué)當(dāng)中的應(yīng)用

1.大數(shù)據(jù)分析模型在學(xué)習(xí)群體中的分類應(yīng)用。對(duì)一個(gè)學(xué)習(xí)群體來(lái)講,主要從以下四個(gè)方面進(jìn)行分類研究,考查點(diǎn)分別是基礎(chǔ)綜合水平、學(xué)生學(xué)習(xí)目標(biāo)要求、英語(yǔ)學(xué)習(xí)薄弱點(diǎn)和學(xué)生的性格特點(diǎn)等。該四個(gè)考查點(diǎn)每個(gè)以滿分100分計(jì),基礎(chǔ)綜合水平時(shí)根據(jù)學(xué)生目前的學(xué)習(xí)狀況做個(gè)全面客觀的測(cè)試,可以從聽(tīng)說(shuō)讀寫(xiě)譯等五個(gè)基礎(chǔ)點(diǎn)進(jìn)行測(cè)試,為考慮英語(yǔ)教學(xué)是為學(xué)生英語(yǔ)學(xué)習(xí)的全面發(fā)展,故每個(gè)基礎(chǔ)點(diǎn)滿分為20分,進(jìn)行考察統(tǒng)計(jì);學(xué)生學(xué)習(xí)目標(biāo)要求是指根據(jù)學(xué)生當(dāng)前狀況,同時(shí)結(jié)合學(xué)生家長(zhǎng)、學(xué)生本人以及學(xué)校的期望和要求,制定合理的學(xué)習(xí)目標(biāo);英語(yǔ)學(xué)習(xí)薄弱點(diǎn)主要通過(guò)綜合水平的考查就可得出學(xué)生學(xué)習(xí)的評(píng)估結(jié)論;性格特點(diǎn)是指在英語(yǔ)學(xué)習(xí)過(guò)程當(dāng)中該學(xué)生適合的一種學(xué)習(xí)方法,以上四個(gè)方面具體參考下面表格進(jìn)行分類:

通過(guò)基礎(chǔ)綜合水平(從聽(tīng)說(shuō)讀寫(xiě)譯等五個(gè)方面進(jìn)行考核)、學(xué)習(xí)薄弱點(diǎn)、性格特點(diǎn)、學(xué)習(xí)目標(biāo)要求(學(xué)生自己的學(xué)習(xí)水平,學(xué)生家長(zhǎng)、學(xué)生本人以及學(xué)校的期望和要求)這四個(gè)方面,將學(xué)生群體分成幾類,清楚了解他們?cè)谟⒄Z(yǔ)學(xué)習(xí)過(guò)程中存在的問(wèn)題,可針對(duì)性地進(jìn)行施教,同時(shí)對(duì)學(xué)習(xí)過(guò)程進(jìn)行圖表追蹤,可以直觀反映學(xué)生在學(xué)習(xí)過(guò)程中的進(jìn)步情況。傳統(tǒng)的教育教學(xué)評(píng)價(jià)模式和大數(shù)據(jù)的評(píng)價(jià)模式有較大的差別,大數(shù)據(jù)時(shí)代的教育,更加注重ρ生多方面的考核,對(duì)學(xué)生的了解更具有針對(duì)性,施教方法和教材的選用都能體現(xiàn)個(gè)性化,會(huì)更客觀和全面地對(duì)學(xué)生進(jìn)行考核、評(píng)價(jià)、分析和研究。

通過(guò)對(duì)學(xué)生群體從以上四個(gè)大方向的了解分析,進(jìn)行有針對(duì)性的施教,前三個(gè)方面是從學(xué)生當(dāng)前自身的了解,后一項(xiàng)是對(duì)其學(xué)習(xí)目標(biāo)的確認(rèn),首先,在了解以上各方面的狀態(tài)下,結(jié)合學(xué)生的基礎(chǔ)綜合水平高低將其目標(biāo)分段實(shí)現(xiàn),同時(shí),結(jié)合其學(xué)習(xí)薄弱點(diǎn),進(jìn)行重點(diǎn)練習(xí)和學(xué)習(xí),鞏固以前基礎(chǔ),提升重點(diǎn)知識(shí)水平,針對(duì)不同性格的學(xué)生,采用不同的學(xué)習(xí)和練習(xí)方法,比如性格開(kāi)朗具有語(yǔ)言天賦的學(xué)生更能在聽(tīng)說(shuō)應(yīng)用中提高知識(shí)水平,性格內(nèi)向的學(xué)生在讀寫(xiě)和記憶知識(shí)方面更能發(fā)揮他們的優(yōu)勢(shì)。

2.大數(shù)據(jù)分析模型在學(xué)生個(gè)性化英語(yǔ)學(xué)習(xí)中應(yīng)用。

(1)英語(yǔ)教學(xué)評(píng)價(jià)指標(biāo)體系介紹。以單個(gè)學(xué)生為例,由評(píng)價(jià)老師組成評(píng)價(jià)小組,取平均值對(duì)學(xué)生進(jìn)行橫向切面的英語(yǔ)水平數(shù)據(jù)分析,評(píng)價(jià)表設(shè)計(jì)為:聽(tīng)(詞0.2、句0.2、文0.2、邏輯關(guān)系0.3、習(xí)語(yǔ)0.1)說(shuō)(發(fā)音0.5、斷句0.3、語(yǔ)氣語(yǔ)調(diào)0.2)、讀(詞匯0.3、句型0.3、語(yǔ)法0.4)寫(xiě)(詞匯0.5、格式行文0.2、組織結(jié)構(gòu)0.3)譯(口譯0.4、筆譯0.4、速記0.2)。

通過(guò)以上表格對(duì)學(xué)生的英語(yǔ)水平進(jìn)行全方位的數(shù)據(jù)分析,需要說(shuō)明的是評(píng)分等級(jí)可以是上面模糊指標(biāo),也可以是精確的得分,通過(guò)建立科學(xué)準(zhǔn)確的數(shù)學(xué)模型,可以輕而易舉的展現(xiàn)出某一學(xué)生的優(yōu)勢(shì)和不足,同時(shí)上表還可以結(jié)合學(xué)生的目標(biāo)要求拆開(kāi)來(lái)用,針對(duì)某一或幾個(gè)大類進(jìn)行評(píng)價(jià)分析,最終可視化地得出學(xué)生英語(yǔ)水平表,之后針對(duì)學(xué)生的不足制定出個(gè)性化的學(xué)習(xí)和施教方案。按照英語(yǔ)水平數(shù)據(jù)分析評(píng)價(jià)模型表,就某一學(xué)生實(shí)際英語(yǔ)水平考查得分用柱狀圖進(jìn)行可視化分析。

從圖1可以看出該學(xué)生的能力水平中等偏上,但是翻譯水平很差,讀寫(xiě)水平良好,聽(tīng)說(shuō)能力一般,總體水平都有待提高,特別是翻譯水平需要特別注意。經(jīng)過(guò)分析,針對(duì)該學(xué)生教師首先著重從鍛煉其翻譯能力為重,制定專門能夠提高翻譯水平的施教方案和策略,同時(shí)注意對(duì)聽(tīng)說(shuō)讀寫(xiě)等方面能力的學(xué)習(xí)和提高。

下面再聽(tīng)力水平為例進(jìn)行分析,研究哪些細(xì)分方面能力水低而導(dǎo)致該生的聽(tīng)力水平一般。以聽(tīng)力水平考查得分為例,

由上圖可以輕松看出來(lái)該生的英語(yǔ)聽(tīng)力水平一般,具體原因除在詞匯方面表現(xiàn)良好以外,其他細(xì)分能力點(diǎn)的水平都很普通,在全文聽(tīng)力理解表現(xiàn)較差,對(duì)語(yǔ)句理解一般,全文邏輯關(guān)系掌握較差,英語(yǔ)習(xí)語(yǔ)的了解水平低,說(shuō)明該生需要著重訓(xùn)練語(yǔ)句及全文的聽(tīng)力理解邏輯關(guān)系和英語(yǔ)習(xí)語(yǔ)的學(xué)習(xí),結(jié)合英語(yǔ)聽(tīng)力能力的不足點(diǎn),制定個(gè)性化學(xué)習(xí)和施教方案,有針對(duì)性地彌補(bǔ)不足;同時(shí)從時(shí)間維度來(lái)看,可以隔一段時(shí)間對(duì)該學(xué)生的水平進(jìn)行評(píng)價(jià),做出評(píng)分圖,對(duì)比以前的評(píng)分圖可以看出該學(xué)生的提升幅度和當(dāng)前的能力水平,適時(shí)調(diào)整學(xué)習(xí)方法和側(cè)重點(diǎn),優(yōu)化調(diào)整施教方案。

四、結(jié)束語(yǔ)

“數(shù)據(jù)驅(qū)動(dòng)社會(huì),分析變革教育”的大數(shù)據(jù)時(shí)代已經(jīng)到來(lái),改變和優(yōu)化傳統(tǒng)的教育教學(xué)方法是時(shí)代所趨,更是學(xué)生學(xué)習(xí)的內(nèi)在所需。教育數(shù)據(jù)資源共享,利用大數(shù)據(jù)分析模型開(kāi)展教育和教學(xué)工作,提高學(xué)生英語(yǔ)學(xué)習(xí)水平,降低學(xué)習(xí)成本,實(shí)現(xiàn)大數(shù)據(jù)分析方法的最大的價(jià)值。

大數(shù)據(jù)分析論文:基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)

【摘要】 互聯(lián)網(wǎng)醫(yī)療助力于分級(jí)診療,即是要做好“小病到社區(qū),大病到醫(yī)院”。文章擬選用基于大數(shù)據(jù)分析技術(shù)設(shè)計(jì)出一種更智能、更快捷的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。該系統(tǒng)采用互聯(lián)網(wǎng)技術(shù)和大數(shù)據(jù)分析技術(shù),將手機(jī)APP與信息協(xié)作平臺(tái)相結(jié)合,在社區(qū)內(nèi)建立一個(gè)較為完善的醫(yī)療服務(wù)系統(tǒng)。

【關(guān)鍵詞】 “互聯(lián)網(wǎng)+” 大數(shù)據(jù) “三角服務(wù)”模型 智能醫(yī)療服務(wù)系統(tǒng)

在人口快速老齡化、家庭規(guī)模日益小型化和機(jī)構(gòu)養(yǎng)老發(fā)展不足等多重因素的影響下,發(fā)展社區(qū)養(yǎng)老逐漸成為一種必然選擇。建立起基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng),在市區(qū)大醫(yī)院、社區(qū)醫(yī)療站以及社區(qū)老年人三者之間建立起信息網(wǎng)絡(luò),使社區(qū)老年人的健康問(wèn)題得到更好的保障。

一、系統(tǒng)概述

現(xiàn)如今,大型醫(yī)院普遍存在床位緊張、人員調(diào)配效果不佳、管理體系不健全等問(wèn)題。建立社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)是完善現(xiàn)有醫(yī)療體系急需解決的主要問(wèn)題,同時(shí),隨著物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展,將互聯(lián)網(wǎng)與大數(shù)據(jù)分析技術(shù)用于社區(qū)醫(yī)療服務(wù)系統(tǒng),已成為該方面的一項(xiàng)新技術(shù)。

二、技術(shù)分析

根據(jù)上述分析,需要開(kāi)發(fā)一套基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng),此系統(tǒng)可以最優(yōu)化利用資源,幫助老人方便、快捷的解決突發(fā)狀況。為滿足需求,該方案需要具備以下技術(shù):1)概率統(tǒng)計(jì)。收集社區(qū)老人的體溫、心率等生命體征數(shù)據(jù)。以河師大社區(qū)為例,運(yùn)用概率統(tǒng)計(jì)技術(shù)采集社區(qū)老人的生命體征數(shù)據(jù)。2)大數(shù)據(jù)分析。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上,利用大數(shù)據(jù)分析、數(shù)據(jù)挖掘和人工智能中不確定性推理技術(shù),對(duì)采集到的老年人信息進(jìn)行分析及推斷。3)互聯(lián)網(wǎng)技術(shù)。構(gòu)建“三角服務(wù)”模型。運(yùn)用互聯(lián)網(wǎng)技術(shù),構(gòu)建一個(gè)以老人為中心,社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大子系統(tǒng)相互連接的“三角服務(wù)”模型,實(shí)現(xiàn)智能管理。

三、設(shè)計(jì)方案

1、總體流程。整個(gè)醫(yī)療服務(wù)系統(tǒng)可分為線上和線下兩種服務(wù)方式。線上:系統(tǒng)按照固定方案進(jìn)行老人身體數(shù)據(jù)采集;線下:社區(qū)醫(yī)療站會(huì)定期派專業(yè)人士到老人家里對(duì)其進(jìn)行全方位檢查以及相關(guān)醫(yī)療知識(shí)的普及。

2、數(shù)據(jù)采集與處理。首先利用智能手環(huán)采集社區(qū)部分老年人的身體數(shù)據(jù),通過(guò)社區(qū)中建立的互聯(lián)網(wǎng)網(wǎng)絡(luò)把數(shù)據(jù)傳輸?shù)绞謾C(jī)APP以及信息協(xié)作平臺(tái)上。分析老人生命體征數(shù)據(jù)。在信息協(xié)作平臺(tái)上,利用大數(shù)據(jù)分析和不確定性推理技術(shù),對(duì)采集到的老年人信息進(jìn)行分析及推斷。

3、“三角服務(wù)”模型?!盎ヂ?lián)網(wǎng)+”社區(qū)養(yǎng)老中最為核心的就是系統(tǒng)模型的構(gòu)建,運(yùn)用互聯(lián)網(wǎng)技術(shù),構(gòu)建一個(gè)以老人為中心,社區(qū)家庭、社區(qū)醫(yī)療站、市區(qū)醫(yī)院三大系統(tǒng)相互連接的“三角服務(wù)”模型(如圖1所示)。

若采集到的老人的身體數(shù)據(jù)發(fā)生了變化,則會(huì)通過(guò)報(bào)警系統(tǒng)反饋到社區(qū)醫(yī)療站,社區(qū)醫(yī)療站則做出最快的反應(yīng),一方面,會(huì)到老人家中對(duì)老人進(jìn)行急救,另一方面,會(huì)及時(shí)將老人的存檔發(fā)送給醫(yī)院,并聯(lián)系醫(yī)院進(jìn)行一系列的急救措施,從而節(jié)約了救援時(shí)間。

4、構(gòu)建智能醫(yī)療服務(wù)系統(tǒng)。開(kāi)發(fā)社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng)。即開(kāi)發(fā)一個(gè)集智能醫(yī)療設(shè)備、智能醫(yī)護(hù)終端設(shè)備和帶有功能模塊的智能醫(yī)護(hù)平臺(tái)為一體的服務(wù)系統(tǒng)。將采集到的老人身體數(shù)據(jù)存于專門的數(shù)據(jù)庫(kù)中,在信息協(xié)作平臺(tái)上將社區(qū)老人、社區(qū)醫(yī)療站和市區(qū)大醫(yī)院三者建立成一個(gè)相互共享的網(wǎng)絡(luò),實(shí)現(xiàn)數(shù)據(jù)信息的共享。手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系,能夠通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息,市區(qū)大醫(yī)院的醫(yī)療系統(tǒng)與社區(qū)醫(yī)療站的數(shù)據(jù)庫(kù)相連接,從而便于實(shí)現(xiàn)信息的共享。

結(jié)語(yǔ):本系統(tǒng)是基于“互聯(lián)網(wǎng)+”和大數(shù)據(jù)分析的社區(qū)老人智能醫(yī)療服務(wù)系統(tǒng),是物聯(lián)網(wǎng)在醫(yī)療領(lǐng)域的應(yīng)用,目的是為社區(qū)老人提供更便捷的醫(yī)療服務(wù)。將大數(shù)據(jù)分析技術(shù)與智能醫(yī)療服務(wù)系統(tǒng)相結(jié)合,在概率統(tǒng)計(jì)的基礎(chǔ)上,將手機(jī)APP與信息協(xié)作平臺(tái)相聯(lián)系,通過(guò)移動(dòng)設(shè)備查看網(wǎng)絡(luò)平臺(tái)的信息,便于實(shí)現(xiàn)信息的共享與交流,醫(yī)療服務(wù)更趨于智能化。

大數(shù)據(jù)分析論文:試論大數(shù)據(jù)分析在移動(dòng)通信網(wǎng)絡(luò)優(yōu)化過(guò)程中的運(yùn)用

【摘要】 隨著我國(guó)移動(dòng)通信網(wǎng)絡(luò)用戶的增加,優(yōu)化通信網(wǎng)絡(luò)成為一種必然。大稻菔貝為移動(dòng)通信網(wǎng)絡(luò)優(yōu)化提供了新技術(shù),掌握大數(shù)據(jù)時(shí)代特征,充分利用大數(shù)據(jù)技術(shù),完成移動(dòng)通信網(wǎng)絡(luò)的優(yōu)化過(guò)程,是當(dāng)下移動(dòng)運(yùn)營(yíng)商發(fā)展的主要任務(wù)之一。

【關(guān)鍵詞】 大數(shù)據(jù)分析 移動(dòng)通信網(wǎng)絡(luò)優(yōu)化 運(yùn)用

移動(dòng)通信網(wǎng)絡(luò)運(yùn)行故障具有較多的原因,大數(shù)據(jù)時(shí)代,通信運(yùn)營(yíng)商應(yīng)根據(jù)大數(shù)據(jù)的特征,采取大數(shù)據(jù)技術(shù)對(duì)其進(jìn)行分析和優(yōu)化。

一、目前網(wǎng)絡(luò)優(yōu)化中的困難

移動(dòng)通信網(wǎng)絡(luò)優(yōu)化是利用數(shù)據(jù)采集等手段分析網(wǎng)絡(luò)運(yùn)行慢的原因,并予以解決。這一問(wèn)題看似簡(jiǎn)單,但實(shí)際上存在很多困難。包括技術(shù)上的、資金上的。比如通信網(wǎng)絡(luò)資源龐雜,2G、3G、4G網(wǎng)同時(shí)運(yùn)行。基站建設(shè)需求不斷增加,網(wǎng)絡(luò)產(chǎn)生的數(shù)據(jù)不斷的增多,對(duì)龐雜網(wǎng)絡(luò)運(yùn)行狀態(tài)的分析需要掌握云計(jì)算等大數(shù)據(jù)分析技術(shù)。再比如,優(yōu)化網(wǎng)絡(luò)需求大量的資金,新建基站和網(wǎng)絡(luò)維護(hù)同時(shí)運(yùn)行,給移動(dòng)通信運(yùn)營(yíng)商帶來(lái)困難。部分通信網(wǎng)絡(luò)建成后無(wú)法及時(shí)投入使用,造成大量的資源浪費(fèi),對(duì)網(wǎng)絡(luò)運(yùn)行高峰期,運(yùn)行差異很難把握,基站的建設(shè)存在些許不合理。另外,同一小區(qū)的用戶類型具有多樣化特征,用戶的使用需求也有所不同。對(duì)于通信運(yùn)營(yíng)商而言,要致力于滿足所有用戶需求,這就對(duì)基站和天線的性能具有較高的要求,優(yōu)化通信頻譜率成為主要問(wèn)題。但是優(yōu)化網(wǎng)絡(luò)頻譜率并不容易,目前依然受到技術(shù)和資金上的限制。對(duì)同一時(shí)間段,不同業(yè)務(wù)模型的整理也需要采取大數(shù)據(jù)分析技術(shù),采用傳統(tǒng)的技術(shù)無(wú)法解決。

二、大數(shù)據(jù)分析在移動(dòng)網(wǎng)絡(luò)優(yōu)化中的運(yùn)用

2.1網(wǎng)絡(luò)性能大數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)采集是網(wǎng)絡(luò)優(yōu)化的首要任務(wù),主要包括對(duì)通信網(wǎng)性能的采集、話務(wù)量的采集和信號(hào)測(cè)試三部分。通信網(wǎng)性能主要是指通信網(wǎng)絡(luò)的接入效果、經(jīng)緯度以及入載波頻點(diǎn)等基本參數(shù),用來(lái)判斷網(wǎng)絡(luò)的運(yùn)行速度和是否存在運(yùn)行故障。話務(wù)量的采集主要包括移動(dòng)信道的可利用率,接話率和掉話率等,采集話務(wù)量有助于運(yùn)營(yíng)商正確建立基站和設(shè)置天線的頻譜參數(shù),使網(wǎng)絡(luò)輸出更加合理。信號(hào)測(cè)試數(shù)據(jù)主要是現(xiàn)場(chǎng)測(cè)試,是對(duì)正在運(yùn)行的移動(dòng)通信網(wǎng)絡(luò)信號(hào)狀況進(jìn)行測(cè)試。包括DT數(shù)據(jù)和CQT數(shù)據(jù)測(cè)試。移動(dòng)通信網(wǎng)絡(luò)的需求增多,使用人數(shù)增多,每天都會(huì)產(chǎn)生大量的數(shù)據(jù),這些數(shù)據(jù)包括種不同類型。因此,對(duì)于傳統(tǒng)的數(shù)據(jù)分析方式明顯不能滿足數(shù)據(jù)分析的需求,無(wú)法了解網(wǎng)絡(luò)運(yùn)行的基本狀態(tài)。而要完成對(duì)數(shù)據(jù)的分析,首先系統(tǒng)要具有大數(shù)據(jù)存儲(chǔ)功能,虛擬化技術(shù)是目前用于移動(dòng)大數(shù)據(jù)存儲(chǔ)的主要方式,該方式能夠提供高容量,能夠?qū)?shù)據(jù)進(jìn)行完整的存儲(chǔ),并且關(guān)注存儲(chǔ)細(xì)節(jié)處理和可擴(kuò)展儲(chǔ)存。使用虛擬化存儲(chǔ),能夠?qū)?nèi)部數(shù)據(jù)、外部數(shù)據(jù)和多廠商的全部數(shù)據(jù)進(jìn)行統(tǒng)一存儲(chǔ)于一個(gè)平臺(tái)之上。并在對(duì)數(shù)據(jù)中心改變其動(dòng)態(tài)容量,大大降低了存儲(chǔ)資源的空間,降低成本,滿足大數(shù)據(jù)時(shí)代的通信要求。目前,通信公司已經(jīng)開(kāi)始著手研發(fā)虛擬化技術(shù),來(lái)應(yīng)對(duì)大數(shù)據(jù)處理。

2.2大數(shù)據(jù)在網(wǎng)絡(luò)優(yōu)化中的具體運(yùn)用

網(wǎng)絡(luò)優(yōu)化的關(guān)鍵是正確進(jìn)行網(wǎng)絡(luò)定位和網(wǎng)絡(luò)分析,解決網(wǎng)絡(luò)運(yùn)行中的掉話和干擾問(wèn)題。隨著基站建設(shè)的增多,建設(shè)不合理導(dǎo)致的信號(hào)覆蓋不全問(wèn)題大量存在,天線角度設(shè)置問(wèn)題也時(shí)有發(fā)生。而對(duì)于移動(dòng)通信運(yùn)行而言,技術(shù)的更新始終是最困難的。上文我們分析,網(wǎng)絡(luò)優(yōu)化的主要問(wèn)題就是數(shù)據(jù)的采集,實(shí)際上這一過(guò)程包括優(yōu)化準(zhǔn)備、問(wèn)題查找與分析,優(yōu)化調(diào)整實(shí)施和提取印證幾部分。其中數(shù)據(jù)采集、問(wèn)題分析、優(yōu)化調(diào)整是網(wǎng)絡(luò)優(yōu)化的核心,并且需要重復(fù)進(jìn)行,在移動(dòng)通信網(wǎng)絡(luò)運(yùn)行過(guò)程中經(jīng)常發(fā)生。按照上文我們分析的移動(dòng)通信網(wǎng)絡(luò)優(yōu)化階段,并結(jié)合大數(shù)據(jù)的特征,首先將優(yōu)化目標(biāo)定位為網(wǎng)絡(luò)基站的檢查,隨后進(jìn)行數(shù)據(jù)的測(cè)試和網(wǎng)絡(luò)運(yùn)行的測(cè)試。檢查基站是否存在露覆蓋和重復(fù)覆蓋現(xiàn)象,通過(guò)大數(shù)據(jù)分析手段獲得基站的覆蓋信息,并對(duì)其進(jìn)行適當(dāng)?shù)恼{(diào)整,滿足覆蓋需求并降低干擾。準(zhǔn)備好測(cè)試工具,對(duì)數(shù)據(jù)進(jìn)行相關(guān)測(cè)試并存儲(chǔ)于云盤空間,利用虛擬化技術(shù)對(duì)網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)進(jìn)行提取,從而正確分析移動(dòng)通信網(wǎng)絡(luò)運(yùn)行問(wèn)題所在,重點(diǎn)解決網(wǎng)絡(luò)信號(hào)不足、無(wú)主小區(qū)和頻繁切換問(wèn)題。將整個(gè)優(yōu)化階段分為兩部分,即天線射頻優(yōu)化調(diào)整和后臺(tái)參數(shù)優(yōu)化。天線射頻優(yōu)化就是對(duì)基站天線的調(diào)整,基站天線的覆蓋角度是影響信號(hào)輸出的重要原因,將天線調(diào)整于合理的范圍內(nèi),可以保證通信運(yùn)行合理。后臺(tái)參數(shù)調(diào)整則包括鄰區(qū)、基站扇區(qū)功率調(diào)整,并且還包括設(shè)置信道、切換參數(shù)、接入?yún)?shù)的調(diào)整。根據(jù)調(diào)整計(jì)劃調(diào)整后臺(tái)參數(shù),從才能保證移動(dòng)通信網(wǎng)絡(luò)的分布,為移動(dòng)通信網(wǎng)絡(luò)優(yōu)化打下基礎(chǔ)。對(duì)于網(wǎng)絡(luò)優(yōu)化而言,還需要技術(shù)人員根據(jù)需求不斷的調(diào)整,逐漸促進(jìn)移動(dòng)通信網(wǎng)絡(luò)優(yōu)化的合理性,保證參數(shù)的合理范圍,最終確保通信網(wǎng)的快速運(yùn)行。

總結(jié):大數(shù)據(jù)時(shí)代已經(jīng)到來(lái),對(duì)于移動(dòng)通信而言,用戶增多,需求增多,每天產(chǎn)生的數(shù)據(jù)只能用海量來(lái)形容。應(yīng)對(duì)大數(shù)據(jù)時(shí)代的特征,移動(dòng)網(wǎng)絡(luò)的優(yōu)化也應(yīng)充分采用云計(jì)算等技術(shù)。分析網(wǎng)絡(luò)運(yùn)行中存在的問(wèn)題,對(duì)通信網(wǎng)信道衰落,信號(hào)影響因素進(jìn)行處理,促進(jìn)我國(guó)移動(dòng)通信網(wǎng)絡(luò)的發(fā)展,滿足客戶需求。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)中的應(yīng)用

【摘要】 通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)在我國(guó)有著重要的意義,企業(yè)和個(gè)人越來(lái)越注重隱私。適應(yīng)這一需求需要企業(yè)基于大數(shù)據(jù)的特征,分析客戶需求,滿足客戶需求,幫助客戶建立專業(yè)的、優(yōu)質(zhì)的通信網(wǎng)絡(luò)監(jiān)控體系。

【關(guān)鍵詞】 大數(shù)據(jù) 通信網(wǎng)絡(luò)監(jiān)控系統(tǒng) 應(yīng)用

通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)存在的意義是發(fā)現(xiàn)通信問(wèn)題并解決通信問(wèn)題。移動(dòng)通信系統(tǒng)快速發(fā)展的同時(shí),還應(yīng)注重用戶體驗(yàn),致力于建立人性化服務(wù)體系。通信網(wǎng)絡(luò)監(jiān)控包括多種不同模式,其中最常見(jiàn)的是以告警為出發(fā)點(diǎn)的設(shè)備和以客戶感知為出發(fā)點(diǎn)的設(shè)備。前者主要是關(guān)注設(shè)備的被破壞程度,但無(wú)法反應(yīng)網(wǎng)絡(luò)的優(yōu)良程度,主要用于故障解決。但是要將客戶放在第一位,筆者認(rèn)為,還需要采取更先進(jìn)的通信網(wǎng)絡(luò)監(jiān)控模式,建立從客戶體驗(yàn)出發(fā)的監(jiān)控體系,嚴(yán)把質(zhì)量關(guān)。文章將這兩種模式進(jìn)行了對(duì)比分析,肯定了大數(shù)據(jù)時(shí)代應(yīng)該以滿足客戶為目標(biāo)的企業(yè)發(fā)展戰(zhàn)略,致力于促進(jìn)該時(shí)期通信網(wǎng)絡(luò)監(jiān)控行業(yè)的發(fā)展。

一、以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系

以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系目前依然是監(jiān)控市場(chǎng)的主流,這一監(jiān)控體系主要用于對(duì)網(wǎng)絡(luò)故障進(jìn)行及時(shí)的處理。移動(dòng)通信業(yè)在發(fā)展過(guò)程中,監(jiān)控部門應(yīng)把握問(wèn)題的輕重緩急,合理利用時(shí)間,提供優(yōu)質(zhì)服務(wù)以滿足客戶服務(wù)。其主要原理就是在設(shè)備出現(xiàn)問(wèn)題時(shí)及時(shí)發(fā)出警報(bào),這樣就可避免一些損失。在故障的處理中,依然要堅(jiān)持這一原則,從而快速消除故障,確保通信穩(wěn)定。大數(shù)據(jù)時(shí)代,物聯(lián)網(wǎng)、云計(jì)算等新興模式的出現(xiàn)使以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系稍顯落后。這一時(shí)期的數(shù)據(jù)多且復(fù)雜,能夠促發(fā)報(bào)警的數(shù)據(jù)多,一旦出現(xiàn)報(bào)警又不能及時(shí)出臺(tái)解決策略,將影響網(wǎng)絡(luò)用戶體驗(yàn),因此告警系統(tǒng)的功能應(yīng)進(jìn)一步拓寬。以告警為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控體系存在一定的問(wèn)題,比如對(duì)報(bào)警系統(tǒng)過(guò)于依賴,接口不穩(wěn)定等原因都會(huì)導(dǎo)致目標(biāo)脫離監(jiān)控。

同時(shí),這一時(shí)期的客戶感知度無(wú)法真實(shí)的從客戶那里得到,還必須通過(guò)破壞程度來(lái)判斷,但是這中間存在一定的偏差。發(fā)出警報(bào)要么影響網(wǎng)絡(luò)安全,要么影響業(yè)務(wù)輸出,因此很難最終確定原因。

當(dāng)然,以告警為出發(fā)點(diǎn)的監(jiān)控體系能夠大量應(yīng)用,其一是他具有大量的市場(chǎng)需求,其二是技術(shù)設(shè)計(jì)容易實(shí)現(xiàn),第三是一定程度上可以保證用網(wǎng)安全。未來(lái),針對(duì)這一網(wǎng)絡(luò)通信模式,還應(yīng)致力于提高網(wǎng)絡(luò)服務(wù)質(zhì)量。并且要做好一定的預(yù)防工作,不能總是等到故障出現(xiàn)采取處理。

二、以客戶感知為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)

以客戶感知為出發(fā)點(diǎn)的網(wǎng)絡(luò)監(jiān)控系統(tǒng)是近年來(lái)提出的一種新的監(jiān)控模式,與大數(shù)據(jù)時(shí)代的要求保持一致,且在大數(shù)據(jù)背景下很容易實(shí)現(xiàn)。其實(shí)現(xiàn)的主要流程是通過(guò)大數(shù)據(jù)采集海量客戶感知信息,并將其進(jìn)行整理后形成客戶的習(xí)慣和興趣點(diǎn),從而分析和對(duì)比用戶需求。結(jié)合已有的信息進(jìn)行告警設(shè)備的重新設(shè)置或者調(diào)整,可以第一時(shí)間保證用戶的用網(wǎng)安全。建立不同區(qū)域的服務(wù)質(zhì)量等級(jí),根據(jù)服務(wù)數(shù)據(jù)特征分析原因,提出意見(jiàn),并且形成客戶感知度報(bào)告,以此來(lái)進(jìn)行網(wǎng)絡(luò)的優(yōu)化,最大化的發(fā)揮了監(jiān)控系統(tǒng)的作用,對(duì)其過(guò)程進(jìn)行如下分析。

2.1客戶感知信息數(shù)據(jù)的采集

信息的采集是實(shí)現(xiàn)通信網(wǎng)絡(luò)監(jiān)控的前提。信息的采集可以是多渠道的,可以動(dòng)用戶終端設(shè)備,也可以是寬帶客戶??梢栽诮K端設(shè)備上安裝軟件,記錄用戶的位置,并以區(qū)域和時(shí)間為軸線分析用戶移動(dòng)通信網(wǎng)絡(luò)的信號(hào)強(qiáng)度、掉話次數(shù),下載速度等數(shù)據(jù),根據(jù)需求對(duì)通信網(wǎng)絡(luò)進(jìn)行適當(dāng)?shù)膮?shù)調(diào)整,可以提高客戶的用網(wǎng)體驗(yàn)。寬帶用戶的收集是將信息收集軟件安裝于計(jì)算機(jī)端,記錄客戶的位置、下載速率等基本信息,并將數(shù)據(jù)上傳至感知信息接收平臺(tái)。最后在感知終端這一模擬客戶終端的收集下獲得用戶數(shù)據(jù),感知終端是一種特殊的終端,他集無(wú)線網(wǎng)、寬帶網(wǎng)和窄帶與一體,是靠模擬的方式完成收集相關(guān)參數(shù)。可以將其安裝于通信網(wǎng)絡(luò)中的某個(gè)節(jié)點(diǎn)上,并利用PING測(cè)試本節(jié)點(diǎn)和下游設(shè)備的參數(shù),并且可以收集線下的服務(wù)參數(shù)。以收集大客網(wǎng)絡(luò)的情況信息。該系統(tǒng)的安裝位置隨意,具有特殊性,應(yīng)用較為廣泛,能夠正確的反應(yīng)客戶的信息,對(duì)通信監(jiān)控系統(tǒng)的優(yōu)化具有積極作用。

2.2客戶感知信息的處理

在感知信息系統(tǒng)中,對(duì)通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的信息進(jìn)行收集后,還需要采取一定的辦法對(duì)其進(jìn)行處理。處理信息是大數(shù)據(jù)時(shí)代,移動(dòng)通信網(wǎng)絡(luò)監(jiān)控的主要目的,處理數(shù)據(jù)才能解決問(wèn)題。當(dāng)然這一過(guò)程是復(fù)雜的,需要通過(guò)數(shù)據(jù)庫(kù)、資源庫(kù)和設(shè)備預(yù)警等多項(xiàng)技術(shù)相結(jié)合,并且要不斷的更新技術(shù),形成區(qū)域網(wǎng)絡(luò)服務(wù)質(zhì)量圖,并且要始終堅(jiān)持以人文本的原則。Y合已有的網(wǎng)絡(luò)結(jié)構(gòu)庫(kù)、資源庫(kù)、設(shè)備告警庫(kù)等進(jìn)行分析處理,形成區(qū)域網(wǎng)絡(luò)服務(wù)質(zhì)量視圖。

三、總結(jié)

網(wǎng)絡(luò)監(jiān)控體系在社會(huì)發(fā)展中發(fā)揮著重要作用,促進(jìn)行業(yè)的發(fā)展具有必要性。大數(shù)據(jù)一定程度上改變企業(yè)的商業(yè)模式和營(yíng)銷模式。因此了解大數(shù)據(jù)時(shí)代的特征,并且基于大數(shù)據(jù)進(jìn)行通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的分析,能夠促進(jìn)其發(fā)展。文章分析了基于大數(shù)據(jù)的移動(dòng)通信網(wǎng)絡(luò)監(jiān)控系統(tǒng)的應(yīng)用。

大數(shù)據(jù)分析論文:油田生產(chǎn)中大數(shù)據(jù)分析技術(shù)的研究及應(yīng)用

摘 要:自始以來(lái),由于地理位置的影響我國(guó)的石油資源處于緊缺的狀態(tài),傳統(tǒng)的人工技術(shù)已不能滿足我國(guó)石油需求的問(wèn)題,那么將大數(shù)據(jù)技術(shù)應(yīng)用于油田的建設(shè)中是一項(xiàng)急不可待的工程。文章以新疆油田公司為例,利用數(shù)據(jù)挖掘技術(shù)發(fā)掘油田隱藏的數(shù)據(jù)價(jià)值,提高數(shù)據(jù)的使用效率,利用數(shù)據(jù)找到合適油田,指導(dǎo)生產(chǎn)工作,更好地節(jié)約成本,提高綜合效益。

關(guān)鍵詞:油田生產(chǎn);大數(shù)據(jù);數(shù)據(jù)挖掘

前言

新疆油田重油開(kāi)發(fā)公司是以稠油開(kāi)采為主的采油廠。有著將近10年的數(shù)字油田建設(shè)歷史。而且中心數(shù)據(jù)庫(kù)已經(jīng)做得很成熟,主要包括五大業(yè)務(wù)板塊數(shù)據(jù)。即勘探業(yè)務(wù)板塊、開(kāi)發(fā)業(yè)務(wù)板塊、生產(chǎn)業(yè)務(wù)板塊、經(jīng)營(yíng)業(yè)務(wù)板塊的數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)包括的內(nèi)容主要有單井、區(qū)塊的日月報(bào)數(shù)據(jù)、試井與生產(chǎn)測(cè)井?dāng)?shù)據(jù)、分析化驗(yàn)數(shù)據(jù)、井下作業(yè)和地理信息數(shù)據(jù)等。數(shù)據(jù)庫(kù)的數(shù)據(jù)資源種類齊全,質(zhì)量高。2010年新疆油田重油開(kāi)發(fā)公司正式開(kāi)始進(jìn)行智能化油田建設(shè)工作,利用物聯(lián)網(wǎng)診斷單井問(wèn)題,使用大數(shù)據(jù)技術(shù)對(duì)油田進(jìn)行全面感知、分析預(yù)測(cè)、優(yōu)化決策找到油水井的生產(chǎn)規(guī)律,從而有助于油田生產(chǎn)工作進(jìn)行。

1 油田大數(shù)據(jù)的概念及處理流程

大數(shù)據(jù)有四個(gè)特點(diǎn)即量大(Volume)、快速生產(chǎn)(Velocity)、類型豐富(Variety)、真實(shí)性(Veracity),被稱為4V[1]。由于數(shù)據(jù)的數(shù)量非常大,就將數(shù)據(jù)組成數(shù)據(jù)集,進(jìn)行管理、處理實(shí)現(xiàn)數(shù)據(jù)的價(jià)值。大數(shù)據(jù)對(duì)數(shù)據(jù)庫(kù)的整理流程是將數(shù)據(jù)轉(zhuǎn)化為信息,將信息轉(zhuǎn)化為知識(shí),再將知識(shí)轉(zhuǎn)化為智慧。這個(gè)過(guò)程應(yīng)用于油田可以理解為是對(duì)油田的生產(chǎn)和管理工作。大數(shù)據(jù)的七個(gè)處理步驟包括:對(duì)數(shù)據(jù)的提取和收集、清洗數(shù)據(jù)、分析數(shù)據(jù)找到潛在的內(nèi)在價(jià)值規(guī)律、建立預(yù)測(cè)模型、對(duì)結(jié)果進(jìn)行可視化的估計(jì)、驗(yàn)證結(jié)果、評(píng)估模型。

2 大數(shù)據(jù)分析平臺(tái)及體系架構(gòu)研究

新疆油田為了滿足生產(chǎn)應(yīng)用,構(gòu)建了一個(gè)有效的大數(shù)據(jù)分析平臺(tái)及體系架構(gòu)。此平臺(tái)主要包括四個(gè)基礎(chǔ)架構(gòu):數(shù)據(jù)抽取平臺(tái)、進(jìn)行分布式的存儲(chǔ)平臺(tái)、大數(shù)據(jù)的分析與展示平臺(tái)。最底層是數(shù)據(jù)抽取平臺(tái)主要是實(shí)現(xiàn)數(shù)據(jù)的整合,將數(shù)據(jù)轉(zhuǎn)化成適合進(jìn)行數(shù)據(jù)挖掘或者建模的形式,構(gòu)建可靠的樣本數(shù)據(jù)集。存儲(chǔ)平臺(tái)主要是對(duì)數(shù)據(jù)進(jìn)行匯總、建模、分析,最后將處理好的數(shù)據(jù)進(jìn)行儲(chǔ)存。其功能與數(shù)據(jù)倉(cāng)庫(kù)相似。大數(shù)據(jù)分析層,是在大數(shù)據(jù)建模的工具和算法基礎(chǔ)上,挖掘隱藏的數(shù)據(jù)模式和關(guān)系,利用數(shù)據(jù)軟件進(jìn)行分類、建模,生成預(yù)測(cè)的結(jié)果,結(jié)合專家經(jīng)驗(yàn)利用測(cè)試的樣本選定評(píng)價(jià)方案不斷提高模型的精度,更好的用于油田的決策。數(shù)據(jù)應(yīng)用層主要是把建立的模型設(shè)計(jì)為運(yùn)行軟件,運(yùn)用建模方法實(shí)現(xiàn)數(shù)據(jù)的可視化界面設(shè)計(jì),更好的實(shí)現(xiàn)人機(jī)交互。

3 大數(shù)據(jù)分析技術(shù)研究

進(jìn)行大數(shù)據(jù)分析時(shí)我們經(jīng)常采用兩大技術(shù)即大數(shù)據(jù)預(yù)處理和抽取技術(shù),大數(shù)據(jù)分析技術(shù)。

3.1 大數(shù)據(jù)抽取及預(yù)處理技術(shù)

大數(shù)據(jù)預(yù)處理和抽取技術(shù)的原理是指將不同名稱,不同時(shí)間,不同地點(diǎn)的多種不同結(jié)構(gòu)和類別的數(shù)據(jù)抽取處理成一種所表達(dá)的算法和內(nèi)涵一致便于處理類型的數(shù)據(jù)結(jié)構(gòu)[2]。在檢查數(shù)據(jù)缺失、數(shù)據(jù)異常時(shí)可以使用數(shù)據(jù)清洗方法確定有用的數(shù)據(jù),一般采用剔除法或估計(jì)值法、填補(bǔ)平均值替換錯(cuò)誤的數(shù)據(jù)。為了滿足建模所需的大量數(shù)據(jù),創(chuàng)建新的字段時(shí)需要進(jìn)行數(shù)據(jù)庫(kù)的構(gòu)建。將原始數(shù)據(jù)用一定的方法如歸一法轉(zhuǎn)換為可用于數(shù)據(jù)挖掘的數(shù)據(jù),這個(gè)過(guò)程為數(shù)據(jù)轉(zhuǎn)換。

3.2 大數(shù)據(jù)分析技術(shù)

應(yīng)用于油田的大數(shù)據(jù)分析技術(shù)為:因子分析技術(shù)、聚類分析技術(shù)、回歸分析技術(shù)和數(shù)據(jù)挖掘技術(shù)。其中的因子分析技術(shù)是指,利用少數(shù)的因子對(duì)多個(gè)指標(biāo)和因素間的相關(guān)性進(jìn)行描述,一般將密切相關(guān)的多個(gè)變量歸納為一類,這一類數(shù)據(jù)就屬于一個(gè)影響因子,用較少的因子反應(yīng)大量數(shù)據(jù)的信息。聚類分析技術(shù)是指把具有某種共同特性的事物或者物體歸屬于一個(gè)類型,并按照這些特性劃分為幾個(gè)類別,同種類型的事物相似性較高。這樣更利于辨別預(yù)先未知的事物特征。回歸分析是指在一組數(shù)據(jù)的基礎(chǔ)之上,研究一個(gè)變量和其他變量間隱藏的關(guān)系。利用回歸方程,進(jìn)行回歸分析,從而有規(guī)律地把變量之間的不規(guī)則,不確定的復(fù)雜關(guān)系簡(jiǎn)單得表示出來(lái)。

在使用大數(shù)據(jù)進(jìn)行分析時(shí),數(shù)據(jù)挖掘技術(shù)是最關(guān)鍵的一門技術(shù)。該技術(shù)將大量復(fù)雜的、隨機(jī)性的、模糊的、不完整的數(shù)據(jù)進(jìn)行分析,挖掘出對(duì)人類未來(lái)有用的數(shù)據(jù),即提前獲得未知信息的過(guò)程[3]。數(shù)據(jù)挖掘功能分為預(yù)測(cè)功能和描述功能。數(shù)據(jù)預(yù)測(cè)是指對(duì)數(shù)據(jù)進(jìn)行處理推算,完成預(yù)測(cè)的目的。數(shù)據(jù)描述是展現(xiàn)集體數(shù)據(jù)的特性。數(shù)據(jù)挖掘功能是與數(shù)據(jù)的目標(biāo)類型有關(guān),有的功能適用于不同類型的數(shù)據(jù),有的功能則只適用于特定功能的數(shù)據(jù)。數(shù)據(jù)挖掘的作用就是讓人們能夠提前得到未知的消息,提升數(shù)據(jù)的有效性,使其可以應(yīng)用于不同的領(lǐng)域。

4 大數(shù)據(jù)分析在油田生產(chǎn)中的應(yīng)用研究

4.1 異常井自動(dòng)識(shí)別

油田生產(chǎn)過(guò)程中影響最大的一個(gè)因素是異常井的出現(xiàn),因此生產(chǎn)管理人員加大了對(duì)異常井的重視。最初,異常井的識(shí)別主要是依靠生產(chǎn)部門的生產(chǎn)人員,必須經(jīng)過(guò)人工查閱許多關(guān)于油田生產(chǎn)的資料才能確定異常井,這種人工檢閱的方法存在很多缺陷。比如說(shuō)大量的檢索工作、耗費(fèi)時(shí)間長(zhǎng)等,對(duì)異常井的診斷和措施制定造成很大的困難。異常井是指油井當(dāng)天的產(chǎn)油量和上個(gè)月相比波動(dòng)很大,并大于正常的波動(dòng)范圍。目前廣泛采用數(shù)據(jù)挖掘技術(shù)和聚類分析技術(shù)對(duì)異常井進(jìn)行識(shí)別,提高效率。為了實(shí)現(xiàn)算法編譯使用技術(shù),系統(tǒng)架構(gòu)B/S模式進(jìn)行,能夠及時(shí)發(fā)現(xiàn)異常井的存在。

4.2 異常井智能診斷

異常井診斷是油田每天進(jìn)行生產(chǎn)必須要完成的工序。而大部分油田采用人工方法對(duì)其進(jìn)行異常診斷,工作量極大,影響因素較多,診斷結(jié)果的可靠性較低,對(duì)后期進(jìn)行計(jì)劃實(shí)施造成很大的影響。這時(shí)可以采用智能診斷方法,利用灰度圖像處理技術(shù)和人臉識(shí)別算法建立抽油井的特征功圖庫(kù),對(duì)比油井當(dāng)前的功圖和所建立的特征功圖,實(shí)現(xiàn)異常井的診斷。若是相似則不屬于異常井,反之,則為異常井。但是有時(shí)一種工況可能會(huì)有許多中表現(xiàn)方式,致使功圖解釋存在很多種狀況,可以采取因子分析法,分析每個(gè)工況下關(guān)聯(lián)的因子間是如何變化,然后建立參數(shù)診斷數(shù)據(jù)庫(kù),對(duì)比相關(guān)因子的指標(biāo)項(xiàng),找到異常的原因,采取適合的方案進(jìn)行修改,從而提高單井的生產(chǎn)效率。

4.3 間抽井開(kāi)關(guān)井計(jì)劃制訂

當(dāng)油田開(kāi)發(fā)進(jìn)入后期階段就會(huì)出現(xiàn)很多問(wèn)題,過(guò)度開(kāi)發(fā)使得地層的能量越來(lái)越少,致使更多供液不足的井開(kāi)發(fā)出來(lái)。將這類井稱之為間歇出油井。新疆油田一般會(huì)使用人工方法制訂間歇出油井的開(kāi)關(guān)時(shí)間計(jì)劃,但是對(duì)于計(jì)劃的合理性沒(méi)有進(jìn)行檢驗(yàn)。若是能夠控制好間歇出油井的開(kāi)關(guān)時(shí)間,對(duì)油田實(shí)現(xiàn)節(jié)能減排是至關(guān)重要的。這時(shí)可以采用因子分析方法和回歸分析法進(jìn)行研究,利用數(shù)據(jù)挖掘技術(shù)找出影響間歇出油井的開(kāi)關(guān)時(shí)間的因素,建立合適的分析模型,對(duì)模型進(jìn)行線性回歸,進(jìn)行歸一化處理。從而為業(yè)務(wù)人員提供制訂間歇出油井開(kāi)關(guān)時(shí)間的合理方案,達(dá)到節(jié)能減排的效果。

4.4 油井清防蠟預(yù)測(cè)

目前油田上對(duì)于油井清蠟采取平均每口井一個(gè)月清洗一次蠟的措施,按照人工計(jì)劃進(jìn)行,出現(xiàn)了許多問(wèn)題。比如,一些井還沒(méi)有結(jié)蠟就已被清洗,有些井已經(jīng)結(jié)蠟,卻沒(méi)有得到及時(shí)清洗。這樣既浪費(fèi)大量的人力物力,而且還對(duì)油田的生產(chǎn)效率產(chǎn)生不利影響。若是利用因子分析法,將收集的關(guān)于結(jié)蠟周期、清蠟方式、清蠟用量、油井狀況等數(shù)據(jù)進(jìn)行分析,建立油井Y蠟?zāi)P?,再利用回歸分析法對(duì)建立的模型建立曲線方程,進(jìn)行預(yù)測(cè),找到結(jié)蠟時(shí)間,推斷出結(jié)蠟周期,更好的指導(dǎo)油田清蠟工序的進(jìn)行,提高油田的精細(xì)化管理。

5 結(jié)束語(yǔ)

總之,對(duì)比以前利用人工進(jìn)行油田生產(chǎn)可以發(fā)現(xiàn)大數(shù)據(jù)對(duì)于油田生產(chǎn)是非常必要的,可以更快的挖掘油田的生產(chǎn)作業(yè)規(guī)律,解決油田生產(chǎn)的困難。而且,可以利用油田數(shù)據(jù)進(jìn)行可視化分析,關(guān)注問(wèn)題的主要影響因素找到管理中存在的不足,預(yù)防未來(lái)問(wèn)題的出現(xiàn)。大數(shù)據(jù)的核心價(jià)值就是通過(guò)以往大量數(shù)據(jù)進(jìn)行分析,預(yù)測(cè)出未來(lái),從而更好地指導(dǎo)油田的生產(chǎn)工作。

大數(shù)據(jù)分析論文:大數(shù)據(jù)分析在企業(yè)管理中的應(yīng)用

自改革以來(lái),我國(guó)社會(huì)經(jīng)濟(jì)取得了巨大的發(fā)展,同時(shí)也帶動(dòng)了各行各業(yè)的迅猛崛起和發(fā)展,市場(chǎng)競(jìng)爭(zhēng)日益激烈。而隨著大數(shù)據(jù)時(shí)代的到來(lái),大數(shù)據(jù)分析逐漸成為當(dāng)今社會(huì)各界的談?wù)摕狳c(diǎn),各大企業(yè)也想通過(guò)大數(shù)據(jù)分析來(lái)使自身的競(jìng)爭(zhēng)力得到有效提升。但是每個(gè)企業(yè)對(duì)大數(shù)據(jù)分析的理解和應(yīng)用等方面均存在部分差異,我們?cè)撊绾问勾髷?shù)據(jù)分析充分發(fā)揮它應(yīng)用的作用,進(jìn)而有效提升企業(yè)的管理水平,這點(diǎn)成為企業(yè)需要解決的首要任務(wù)之一。本文將大數(shù)據(jù)分析在企業(yè)管理中的應(yīng)用作為論述的重點(diǎn),希望能為廣大的管理人員提供幫助,進(jìn)而有效促進(jìn)我國(guó)企業(yè)管理水平的提升。

由于大數(shù)據(jù)時(shí)代的到來(lái),大數(shù)據(jù)分析漸漸成為社會(huì)各界關(guān)注的重點(diǎn)之一,各個(gè)行業(yè)都或多或少地涉及以及正在應(yīng)用大數(shù)據(jù)分析。有人曾說(shuō):在二十一世紀(jì)中,如果不緊跟大數(shù)據(jù)時(shí)代的發(fā)展步伐,就很可能與時(shí)代脫軌,在市場(chǎng)競(jìng)爭(zhēng)中毫無(wú)優(yōu)勢(shì)可言。但現(xiàn)代很多企業(yè)對(duì)大數(shù)據(jù)的相關(guān)含義以及作用等的理解不夠科學(xué)和全面,在這一前提下,要想使大數(shù)據(jù)分析真正發(fā)揮應(yīng)有的效用是很難的?;诖耍疚牟坏珜?duì)大數(shù)據(jù)的含義做了簡(jiǎn)要介紹,還從企業(yè)管理方面出發(fā),說(shuō)明了大數(shù)據(jù)分析應(yīng)用時(shí)需要注意的相關(guān)事項(xiàng),旨在提高國(guó)內(nèi)企業(yè)的管理水平。

大數(shù)據(jù)分析簡(jiǎn)述

近些年來(lái),信息技術(shù)得到了驚人的發(fā)展和成熟,同時(shí)它也真正走入了人們的生產(chǎn)、生活中,各行業(yè)的日常運(yùn)作和發(fā)展也離不開(kāi)現(xiàn)代信息系統(tǒng)的支持。特別是上世紀(jì)90年代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)產(chǎn)生后,給各行業(yè)的發(fā)展帶來(lái)了翻天覆地的變化,同時(shí)信息、數(shù)據(jù)規(guī)模開(kāi)始呈PB級(jí)增長(zhǎng)的趨勢(shì)。從前的企業(yè)僅僅將信息系統(tǒng)視為企業(yè)運(yùn)行程序的一類輔佐系統(tǒng),對(duì)其中龐大信息、數(shù)據(jù)并沒(méi)有足夠的重視,所以數(shù)據(jù)的作用并未得到真正的發(fā)揮。但通過(guò)長(zhǎng)期的觀察和研究,企業(yè)發(fā)現(xiàn)利用數(shù)據(jù)分析不但能減少工作人員的任務(wù)量,還能夠?qū)蛻舻亩鄻踊枨筮M(jìn)行全面、準(zhǔn)確地分析,進(jìn)而有利于企業(yè)效益的增長(zhǎng),因此,“大數(shù)據(jù)分析”的概念就產(chǎn)生了。大數(shù)據(jù)分析的根本是在龐大的數(shù)據(jù)中尋找并發(fā)現(xiàn)價(jià)值,利用大數(shù)據(jù)分析充分挖掘潛藏的商業(yè)機(jī)遇與價(jià)值。但如果企業(yè)對(duì)大數(shù)據(jù)分析的理解僅僅停留在分析數(shù)據(jù)與數(shù)據(jù)分析的話,就會(huì)掉進(jìn)技術(shù)的陷阱中,進(jìn)而嚴(yán)重影響企業(yè)的經(jīng)濟(jì)效益。大數(shù)據(jù)分析中的“大”是由企業(yè)數(shù)據(jù)分析的原點(diǎn)和數(shù)據(jù)處理的方法共同決定的,因此大數(shù)據(jù)中的重點(diǎn)不該單單放在“大”上。大數(shù)據(jù)擁有“4V”的特性,也就是Variety多樣、Vohame大量、Value價(jià)值、Velocity高速。

大數(shù)據(jù)分析的中心理念是脫離以往數(shù)據(jù)分析的方式,并在龐大的數(shù)據(jù)里深入尋找和挖掘企業(yè)的潛在價(jià)值和機(jī)遇,進(jìn)而提升企業(yè)的經(jīng)濟(jì)效益。當(dāng)使用者脫離了信息系統(tǒng)的傳統(tǒng)視角。所關(guān)心的重點(diǎn)從系統(tǒng)自身成功轉(zhuǎn)移到信息篩選的數(shù)據(jù)上時(shí),就可以在龐大的數(shù)據(jù)中充分發(fā)現(xiàn)潛在的企業(yè)價(jià)值和商機(jī)。

為了更加清晰全面的了解大數(shù)據(jù)分析在企業(yè)管理中的作用,下面將以CapitalOne公司為例進(jìn)行說(shuō)明。長(zhǎng)時(shí)間以來(lái),Capital One都是通過(guò)對(duì)客戶行為數(shù)據(jù)的分析來(lái)針對(duì)客戶具體情況制定產(chǎn)品以及相應(yīng)服務(wù)方案的,大數(shù)據(jù)分析系統(tǒng)會(huì)對(duì)客戶的人口統(tǒng)計(jì)特征及消費(fèi)模式等進(jìn)行分析,從而為用戶指定針對(duì)性的服務(wù)方案。大數(shù)據(jù)分析技術(shù)在Capital One公司的應(yīng)用不僅提升了Capital One的利潤(rùn)提升空間,同時(shí)對(duì)提升其在同類企業(yè)中的綜合競(jìng)爭(zhēng)實(shí)力也具有積極的意義。大數(shù)據(jù)分析技術(shù)應(yīng)用之前,Capital One公司制定客戶服務(wù)項(xiàng)目過(guò)程中存在著一定的盲目性,針對(duì)性不高,經(jīng)常出現(xiàn)客戶與產(chǎn)品不對(duì)應(yīng)的情況,不僅公司利潤(rùn)增加不明顯。同時(shí)部分客戶也會(huì)對(duì)產(chǎn)品或者是服務(wù)產(chǎn)生一定的反感,對(duì)企業(yè)長(zhǎng)遠(yuǎn)發(fā)展是十分不利的。如表1所示為Capital One公司大數(shù)據(jù)分析前后數(shù)據(jù)對(duì)比。

企業(yè)管理中大數(shù)據(jù)分析的作用

提高企業(yè)內(nèi)部數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性。通常來(lái)說(shuō),企業(yè)內(nèi)部需要收集的信息、數(shù)據(jù)是和企業(yè)管理或者運(yùn)營(yíng)有關(guān)的,以利于企業(yè)活動(dòng)的正常開(kāi)展。在以前,企業(yè)收集的數(shù)據(jù)均采用傳統(tǒng)的人工統(tǒng)計(jì),并使用報(bào)表方式,這樣大大降低了數(shù)據(jù)統(tǒng)計(jì)的工作效率,也存在許多人為失誤,導(dǎo)致數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性始終得不到提高。數(shù)據(jù)統(tǒng)計(jì)結(jié)果的目的是為了幫助企業(yè)管理層做出正確、科學(xué)、合理的有關(guān)決策,但由于數(shù)據(jù)統(tǒng)計(jì)的可信度不高,所以很可能造成管理層的決策失誤,進(jìn)而影響企業(yè)的運(yùn)營(yíng)效益。但自從大數(shù)據(jù)分析出現(xiàn)后,操作人員能夠?qū)?shù)據(jù)統(tǒng)計(jì)結(jié)果的真實(shí)性開(kāi)展再次檢驗(yàn),并從多方位出l針對(duì)數(shù)據(jù)統(tǒng)計(jì)的結(jié)果開(kāi)展深層次的解析,以有效保障統(tǒng)計(jì)數(shù)據(jù)的可靠性和真實(shí)性。

從前企業(yè)中各個(gè)部門為了增加自身的效益和績(jī)效難免會(huì)擅自改動(dòng)上報(bào)數(shù)據(jù),由于采用的是單口徑方式,所以最終將出現(xiàn)多種數(shù)據(jù)統(tǒng)計(jì)結(jié)果的現(xiàn)象,存在很大的干擾性。但如果利用了大數(shù)據(jù)分析,就可以從多方位對(duì)數(shù)據(jù)進(jìn)行分析,不同部門的上報(bào)數(shù)據(jù)將彼此牽制和影響,從而有效保障了數(shù)據(jù)的真實(shí)性。需要注意的是,要想充分達(dá)到數(shù)據(jù)彼此牽制的目的,就必須利用數(shù)據(jù)結(jié)果的最終效益進(jìn)行調(diào)節(jié)。

例如,當(dāng)生產(chǎn)車間定時(shí)上報(bào)自身的產(chǎn)量數(shù)據(jù)時(shí),應(yīng)當(dāng)完成當(dāng)天的產(chǎn)量?jī)冬F(xiàn)率、當(dāng)周兌現(xiàn)率以及當(dāng)月兌現(xiàn)率,而要想達(dá)到上報(bào)數(shù)據(jù)產(chǎn)量,就一定要按時(shí)達(dá)到產(chǎn)量。然后當(dāng)月的上報(bào)總產(chǎn)量就將自動(dòng)求和每天的產(chǎn)量,一旦中間過(guò)程產(chǎn)生沖突就說(shuō)明車間上報(bào)數(shù)據(jù)存有問(wèn)題,最后將準(zhǔn)確地反映在企業(yè)的財(cái)務(wù)成本口徑中,進(jìn)而有效提高企業(yè)內(nèi)部數(shù)據(jù)統(tǒng)計(jì)的真實(shí)性。

給企業(yè)管理提供情報(bào)支持。通常來(lái)說(shuō),大中型的企業(yè)均將設(shè)立情報(bào)部門,它們的工作核心是深入、準(zhǔn)確地探究企業(yè)產(chǎn)業(yè)的前沿情況、市場(chǎng)競(jìng)爭(zhēng)情況等方面。從前企業(yè)的情報(bào)分析工作一般僅依靠情報(bào)員的相關(guān)經(jīng)驗(yàn)與專業(yè)知識(shí)技能,由情報(bào)員自身的觀察力與直覺(jué)進(jìn)行情報(bào)收集和判斷,進(jìn)而得出情報(bào)探究的最終結(jié)果。盡管傳統(tǒng)的人工情報(bào)分析可以獲得一定成果結(jié)論,但其中的不確定性和風(fēng)險(xiǎn)性較大,因?yàn)榍閳?bào)員的主觀洞察力和判斷力的準(zhǔn)確性是個(gè)未知數(shù),不能有效保障結(jié)論的可靠性。然而由于近代科學(xué)信息技術(shù)的飛速發(fā)展和成熟,人的主觀能動(dòng)性所具有的局限性愈加突出,企業(yè)對(duì)情報(bào)員的相關(guān)標(biāo)準(zhǔn)和要求也在逐漸提升。

這時(shí)大數(shù)據(jù)分析的產(chǎn)生給現(xiàn)代企業(yè)的情報(bào)分析工作提供了無(wú)限可能,在一定程度上促進(jìn)了企業(yè)管理水平的提高。大數(shù)據(jù)所具有的“4V”特征和現(xiàn)代企業(yè)情報(bào)分析的高標(biāo)準(zhǔn)、高要求等完全符合。具體來(lái)說(shuō)就是高速化特征符合現(xiàn)代企業(yè)情報(bào)分析的時(shí)間性要求,數(shù)據(jù)分析注重?cái)?shù)據(jù)的時(shí)效性;大規(guī)模特征符合現(xiàn)代企業(yè)情報(bào)分析的廣泛性,數(shù)據(jù)分析注重?cái)?shù)據(jù)的數(shù)量;多樣化特征符合現(xiàn)代企業(yè)情報(bào)分析的來(lái)源廣泛性。數(shù)據(jù)分析注重收集的多渠道化;價(jià)值特征符合現(xiàn)代企業(yè)情報(bào)分析的終極目標(biāo),也是大數(shù)據(jù)分析的本質(zhì),從數(shù)據(jù)中充分挖掘數(shù)據(jù)的價(jià)值。

国产成人精品久久二区二区| 一二区不卡不卡在线观看| 亚洲日本久久国产精品久久| 青青操在线视频精品视频| 91亚洲人人在字幕国产| 亚洲国产欧美精品久久| 日韩精品一区二区毛片| 久久免费精品拍拍一区二区 | 亚洲最新av在线观看| 欧美精品一区二区水蜜桃| 欧美大胆美女a级视频| 美女露小粉嫩91精品久久久| 日韩一级免费中文字幕视频| 亚洲欧洲一区二区中文字幕| 日韩一区二区三区18| 日韩国产亚洲欧美另类| 亚洲精选91福利在线观看| 国产欧美日韩在线精品一二区| 日韩性生活片免费观看| 国产精品一区二区传媒蜜臀| 美女被草的视频在线观看| 91精品视频免费播放| 激情三级在线观看视频| 日本二区三区在线播放| 亚洲专区一区中文字幕| 东京热加勒比一区二区三区| 日韩一区二区三区观看| 欧洲日本亚洲一区二区| 太香蕉久久国产精品视频| 青青久久亚洲婷婷中文网| 国产精品一区二区日韩新区| 午夜精品久久久免费视频| 伊人天堂午夜精品草草网| 加勒比人妻精品一区二区| 欧美日韩国产午夜福利| 午夜精品成年人免费视频| 欧美激情一区二区亚洲专区| 黄色国产自拍在线观看| 欧美日韩乱一区二区三区| 污污黄黄的成年亚洲毛片 | 国产一区国产二区在线视频|