發(fā)布時間：2022-05-21 11:05:38
序言：寫作是分享個人見解和探索未知領域的橋梁，我們?yōu)槟x了1篇的數(shù)據存儲技術論文樣本，期待這些樣本能夠為您提供豐富的參考和啟發(fā)，請盡情閱讀。
【摘要】 計算機科學技術的快速發(fā)展同時也帶動了網絡數(shù)據存儲技術的蓬勃發(fā)展，網絡數(shù)據存儲技術作為一種重要的數(shù)據存數(shù)技術，被廣泛的應用在多個領域。不斷發(fā)展和改進網絡數(shù)據存數(shù)技術，推動網絡數(shù)據存儲技術的快速發(fā)展。本文分析了傳統(tǒng)網絡數(shù)據存儲技術的分析和應用和現(xiàn)代化網絡數(shù)據存儲技術的分析和應用。
【關鍵詞】 網絡數(shù)據存儲技術 分析 應用
數(shù)據存數(shù)作為計算機系統(tǒng)中一個獨立的模塊，網絡數(shù)據存數(shù)技術的發(fā)展目標是高智能化、低成本化，通過深入分析和研究網絡數(shù)據存儲技術，不斷地進行改進和完善，使網絡數(shù)據存儲技術更加強大和安全，推動網絡數(shù)據技術的快速發(fā)展。
一、傳統(tǒng)網絡數(shù)據存儲技術的分析和應用
1、SAN。SAN是一種計算機存儲區(qū)域的數(shù)據存儲技術，將計算機網絡服務器和存儲設備聯(lián)系起來，服務器使用SAN接入網絡系統(tǒng)[1]。SAN存儲區(qū)域基于LAN層次一下，是一種高效的存儲網絡，利用SAN數(shù)據存儲技術，可以有效地緩解大容量數(shù)據傳輸對計算機網絡的影響，能夠優(yōu)化大容量數(shù)據的分配。但是這種技術在日常的應用中操作性較差，在維護和構建SAN架構時，技術人員必須具有豐富的操作經驗和專業(yè)知識積累，再加上SAN技術的網絡互聯(lián)裝置價格昂貴，增加了這種技術的運行成本，使得SAN技術難以發(fā)展和普及。
2、DAS。DAS是一種和計算機網絡直接相連的數(shù)據存儲技術，它利用SCSI接口或光纖通道將網絡服務器和存儲設備直接相連，這種直接相連的數(shù)據存儲技術，系統(tǒng)的運行成本相對較小，被廣泛的應用在計算機網絡集群環(huán)境中，具有良好的擴展性。例如，計算機網絡中的服務器分布比較分散，利用普通的網絡數(shù)據存儲技術進行連接在技術上有很大的困難，這時可以利用DAS技術。但是這種技術最大的缺點是不具有共享性，需要計算機網絡系統(tǒng)中每一個客戶終端配置一個單獨的服務器，給網絡的管理存儲維護帶來了很大的難度，服務器一旦發(fā)生故障，存儲數(shù)據信息很難進行恢復，網絡數(shù)據存儲的容量空間難以進行拓展，在這種背景下，網絡數(shù)據存儲技術的普及受到了很大程度的限制。
3、NAS。NAS是一種計算機網絡系統(tǒng)中重要的數(shù)據存儲附加技術，計算機網絡數(shù)據存儲附加技術能夠直接將計算機磁盤序列和計算機網絡系統(tǒng)連接起來，NAS技術的服務器主要由計算機存儲硬件和計算機操作系統(tǒng)共同組成[2]，在應用過程中，具有很強的拓展性，并且SAN技術和計算機網絡互聯(lián)的設備價格相對較低，安裝操作簡單便捷，具有可靠、安全、高容、高效等特點，被廣泛的應用在法律環(huán)境、電子出版以及圖像教育等領域，這些領域都對于數(shù)據存儲容量有著很高的要求。與此同時，NAS技術的網絡協(xié)議開銷較大，在數(shù)據文件訪問過程中，NAS技術很難適應高訪問速度的網絡應用，例如計算機網絡數(shù)據庫的存儲應用，NAS會占據大量的帶寬，并且NAS難以兼容多種不同存儲設備，無法對設備進行統(tǒng)一的管理和控制，這樣就限制了NAS技術在某些領域的應用。
二、現(xiàn)代化網絡數(shù)據存儲技術的分析和應用
1、云存儲。云存儲技術是依托云計算應用技術發(fā)展而來的，云存儲技通過計算機網絡中的相關軟件將多種存數(shù)設備集合和聯(lián)系在一起，協(xié)調運行和工作，充分運用了網絡技術和集群應用等功能，實現(xiàn)了對外的數(shù)據存儲和業(yè)務訪問等功能。云存儲是電子信息時代的一種非常具有代表性的存儲技術，和其他的網絡存儲技術相比，不僅具有很大的價格優(yōu)勢，有效地降低了計算機網絡系統(tǒng)數(shù)據儲存的運行成本，還提高了計算機網絡數(shù)據存儲的拓展性和靈活性。
2、OBS。OBS是一種基于計算機應用對象的網絡數(shù)據存儲技術，其包含著存儲屬性可拓展的數(shù)據存儲容器和存儲長度可變的存儲模塊[3]，是一種重要的組織邏輯方式，能夠提供多種類似于文件的訪問方式，如文件的關閉、讀寫、打開等，OBS數(shù)據存儲技術融合了SAN和NAS技術的優(yōu)點，利用計算機網絡系統(tǒng)統(tǒng)一的對象接口，有效地提高了網絡數(shù)據存儲技術的拓展性，提高了計算機網絡系統(tǒng)的運行性能。OBS技術最主要的特點就是將計算機網絡系統(tǒng)中相關的物理數(shù)據存儲圖標放置在系統(tǒng)的存儲設備中，當前OBS技術是計算機網絡數(shù)據存儲領域關注的重點技術，其較強的拓展性和高性能，使得OBS技術廣泛的應用在計算機網絡數(shù)據存儲領域。
三、結束語
無論是傳統(tǒng)的網絡數(shù)據存儲技術還是現(xiàn)代化的網絡存儲技術，都需要不斷地改進和發(fā)展，不斷提高網絡數(shù)據存儲技術的可靠性、安全性和拓展性，推動網絡數(shù)據存儲技術的廣泛應用。
云技術是當前先進的技術，把實時數(shù)據存儲檢索技術以云技術結合起來創(chuàng)新實時數(shù)據庫高性能數(shù)據庫存儲檢索機制是今后未來發(fā)展的必然趨勢，加強對這一趨勢的研究有重要意義。本文將以云計算技術為基礎，通過分布式通訊服務平臺結合應用需求來重點研究數(shù)據存儲和數(shù)據檢索機制。
【關鍵詞】云計算 數(shù)據庫 存儲 檢索
隨著信息技術的快速發(fā)展，數(shù)據存儲和處理技術也隨之取得了快速發(fā)展。云計算技術也應運而生。與傳統(tǒng)的數(shù)據處理方式相比基于云計算的分布式高性能數(shù)據庫優(yōu)勢更加明顯。基于云計算分布式實時數(shù)據庫能夠實現(xiàn)數(shù)據的永久存儲，同時它還能夠盡可能地在同一地點處理數(shù)據，這樣可以有效降低數(shù)據傳輸時間的消耗。
基于云技術的分布式實時數(shù)據庫能充分利用高性能廣域網絡。這種掛數(shù)據庫主要是通過數(shù)據流的形式來對存儲云中的數(shù)據來進行專業(yè)化地處理，通過這種方式定義的計算函數(shù)就能夠對存儲云所管理的刷數(shù)據進行有針對性處理。
1 云計算技術介紹
研究分布式數(shù)據庫高性能數(shù)據存儲檢索機制，首先就需要掌握云計算技術。了解云計算技術是研究的重要前提。近些年來云計算技術獲得了迅猛發(fā)展，依托于云計算技術本身的產品也獲得了較快發(fā)展。云計算技術主要是將效用計算、網絡存儲、網格計算以及負載均衡等領域進行綜合而形成的一種專業(yè)性技術。
通常情況下云計算技術本身包含海量數(shù)據的分布式存儲技術、分布式實時事務提交協(xié)議、網絡動態(tài)路由與負載均衡技術、事務實時調度機制等核心技術。這幾種技術對于分布式實時數(shù)據庫的構建具有重要意義。
2 分布式實時數(shù)據庫的框架
分布式實時數(shù)據庫是云計算技術與實時數(shù)據庫技術深度融合的產物，該數(shù)據庫主要是通過計算機集群來進行構建。該數(shù)據庫具有可擴展、系統(tǒng)性、可靠性、可維護性高等特點。負載均衡、事務調度、沖突處理、數(shù)據存儲等是其主要內容。分布式實時數(shù)據庫主要是通過分布式通訊服務平臺的客戶端結構接入到該平臺中的。某個節(jié)點在接入分布式應用服務之后就可以實現(xiàn)與同樣服務的其他節(jié)點的有效連接。
多臺數(shù)據服務器的數(shù)據存儲，檢索組件則是通過接入平臺結成一個統(tǒng)一的數(shù)據存儲以及數(shù)據檢索服務來向外提供服務的。這樣一種服務機制實際上打破了原來那種單臺實時數(shù)據處理服務器的孤島。對于數(shù)據的查俊則是用平臺接口把客戶端同服務平臺連接起來實現(xiàn)的。
3 分布式實時數(shù)據庫存儲機制
針對基于云計算分布式實時數(shù)據庫存儲機制的設計，重點是要在規(guī)模動態(tài)調整能力、數(shù)據一致性、分布式冗余存儲等方面來進行調整和設計。在實際設計過程中必須要能夠達到以下目的：一是適當增加服務器節(jié)點從而實現(xiàn)系統(tǒng)并發(fā)處理能力，最終提升數(shù)據存儲容量。二是系統(tǒng)數(shù)據存儲的實時性和高可用性得到增強。三是實現(xiàn)高效的數(shù)據備份冗余，從而來有效避免數(shù)據讀寫失敗情況的出現(xiàn)。有的條件下甚至是可以用一致性維護機制來保證備份數(shù)據的一致。四是服務器節(jié)點可崩潰，恢復以及在線加入。
存儲云結構主要是由主管服務器、安全服務器、客戶端以及從屬節(jié)點等構成。這些設備在系統(tǒng)中承擔的功能各有不同。主管服務器主要是維持系統(tǒng)內的元數(shù)據，提供目錄服務、響應用戶請求、控制從屬節(jié)點運行等。從屬節(jié)點主要指的是那些存儲數(shù)據的文件，這些節(jié)點通常是基于存儲云客戶端的請求而需要處理數(shù)據的節(jié)點。從屬節(jié)點一般只接受主服務器的指令，客戶端、從屬節(jié)點的關系以及從屬節(jié)點之間的關系則主要是由主節(jié)點來進行協(xié)調。
存儲云結構能夠實現(xiàn)高速緩存數(shù)據連接，這樣就能夠有效改變同一隊節(jié)點間，數(shù)據傳輸需要多次連接的現(xiàn)狀。該系統(tǒng)的安全機制主要是通過存取控制列表來實現(xiàn)的。存儲云結構中的數(shù)據需要由存取控制列表來進行控制，客戶端IP地質也需要在服務器內部。數(shù)據的組織和處理是按照以下方式來實現(xiàn)的：在存儲云結構中每個數(shù)據文件一般都附有一個索引文件，數(shù)據文件和索引文件都存在與相同節(jié)點中。復制數(shù)據文件的同時，牽引文件也將會被復制。索引文件本身包含每個記錄的起始地址以及末端地址。那些沒有索引文件的數(shù)據文件則主要是通過文件為單位的方式來進行處理。此時就需要通過特定函數(shù)來解析以及提取數(shù)據。
數(shù)據服務器在加入分布式通訊服務平臺之后就會形成一個分布式系統(tǒng)整體，服務器節(jié)點加入之后就可以通過平臺來轉發(fā)數(shù)據并進行備份。在存儲云結構中點歌服務節(jié)點只需要關注自身的數(shù)據接手法以及存儲。通過該結構能夠實現(xiàn)單個節(jié)點數(shù)據處理同復雜分布式架構邏輯的分離。這對于最大程度利用實時數(shù)據庫存儲技術具有重要意義。
4 分布式實時數(shù)據庫檢索機制
高性能數(shù)據檢索具有明顯特點，它的查詢耗時和結果正確率是影響數(shù)據庫性能的重要指標。分布式實時數(shù)據庫檢索機制有以下幾個特點：一是數(shù)據最終的一致性。通常情況下數(shù)據在同步完成之前，數(shù)據備份之間往往存在不一致情況，此時系統(tǒng)通過一致性維護機制就可以實現(xiàn)數(shù)據的最終一致性。二是數(shù)據一致性修復。系統(tǒng)中數(shù)據一致性恢復主要是通過數(shù)據一致性對比、修復機制來實現(xiàn)備份數(shù)據間的一致性，從而最終達到分布式的最終一致性。三是查詢的一致性等級。所謂查詢的一致性等級主要指的是用戶指定查詢結果的一致性等級。對于那些一致性要求較高的一般四通過數(shù)據點的主備份節(jié)點來進行查詢處理，對于那些一致性要求不高的請求則是要盡可能降低數(shù)據檢索耗時。
分布式數(shù)據查詢，按照查詢位置不同可以分為當前節(jié)點數(shù)據查詢和備份節(jié)點數(shù)據查詢兩種情況。針對備份節(jié)點的數(shù)據查詢主要是通過當前節(jié)點數(shù)據查詢來實現(xiàn)的。本地節(jié)點數(shù)據查詢本身又可以分為實時數(shù)據查詢和歷史數(shù)據查詢兩種方式。歷史數(shù)據的查詢則可分為存檔緩存查詢和磁盤數(shù)據查詢。
云計算技術是當前一種先進的信息技術，這種技術在分布式實時數(shù)據庫中的應用是時展的必然要求。在今后應該不斷加強云計算技術的研究。本文首先分析了云計算技術，而后分析了分布式實時數(shù)據庫的總框架，之后重點分析了存儲結構和檢索機制?；谠萍夹g的分布式實時數(shù)據庫中數(shù)據存儲和檢索是其中的重要功能。加強這兩方面的研究有重要意義。
【摘要】 XML的良好的可擴展性和能夠進行自我描述的特性使得它的應用范圍越來越廣泛，本文將對基于XML技術的數(shù)據存儲技術進行總結與歸納，整理出不同數(shù)據存儲技術的技術特征與要點。
【關鍵詞】XML數(shù)據存儲
Web應用的發(fā)展帶動了XML技術的發(fā)展，XML已經成為了網絡上的數(shù)據交換標準中的一種。XML技術的發(fā)展與其優(yōu)秀的數(shù)據表達能力有關，它可以用來表達各種不同類型的數(shù)據，有鑒于此，XML數(shù)據存儲技術對發(fā)揮XML數(shù)據表達特性非常重要。目前常見的XML的數(shù)據存儲方式主要有三種，分別是文本文件方式、關系數(shù)據庫方式以及面向對象數(shù)據庫方式，本文將分析這三種存儲技術的特點。
一、 文本文件方式
XML文檔本質就是文本文件，所以以文本文件方式進行數(shù)據存儲是最為常見的XML存儲數(shù)據方式，這種方式存儲的數(shù)據可以直接使用文本編輯工具查看，非常易于參看與修改。使用文本文件方式存儲數(shù)據并不意味著只能存儲文本，此種方式同樣可以存儲二進制數(shù)據，也就是能夠存儲任意數(shù)據，只是數(shù)據不能以一種直觀的展現(xiàn)方式呈現(xiàn)，需要其他的工具支持。
XML文檔一般是通過DOM或者是SAX等接口進行存取，應用這些接口可以很方便的管理XML中存儲的數(shù)據。實現(xiàn)XML文檔操作接口的商業(yè)產品有許多種，也可以自行實現(xiàn)接口，針對性的提升XML數(shù)據存取性能。
應用文本文件方式進行數(shù)據存儲的優(yōu)點：
* 方便查看與修改，對于一些輕量級XML文檔，可以直接使用各類文檔編輯工具進行編輯。
* 操作簡單，可使用相關接口方便的對數(shù)據進行存取，不需要對原始數(shù)據進行處理。
由于XML存儲數(shù)據的結構是半結構化式，所以以文本文件方式存取數(shù)據存在著一定的局限性，對于結構復雜的數(shù)據難以清晰、準確的操作。
二、 關系型數(shù)據庫方式
XML文件存儲的數(shù)據是半結構化式的，在實際工程中，所用到的數(shù)據往往需要關系型數(shù)據庫的支持，為了達到將XML文件中存儲的數(shù)據作為關系型數(shù)據庫使用的目的，通常在XML文件和關系型數(shù)據庫中添加一個映射層，它將承擔對XML文件數(shù)據的存取任務，同時也承擔為數(shù)據庫提供數(shù)據以及映射數(shù)據庫數(shù)據到XML文檔中的任務。
映射層的工作流程可以分為以下四個步驟：
1） 提取XML文檔中的數(shù)據，按照映射規(guī)則組織數(shù)據，生成可以供關系型數(shù)據庫使用的模式。
2） 依據填充規(guī)則將數(shù)據向關系型數(shù)據庫中的表中填充。
3） 將XML查詢方式轉換為數(shù)據庫使用的SQL查詢方式。
4） 將關系型數(shù)據庫的數(shù)據重新轉化，寫入XML文檔。
這種數(shù)據存儲技術最為關鍵的部分是映射層，映射層的工作中最為重要的部分是將XML文件這種文檔結構映射為關系模式的任務，映射策略的優(yōu)劣對整體性能有著至關重要的影響，按照映射策略的不同，可以分為模型映射與結構映射。模型映射的策略是建立數(shù)據模型，根據模型的特征先行定義出一個關系型數(shù)據庫模式，無需模式文件的幫助。而結構映射是依靠如Schema等模式文件的幫助，完成到關系模式的轉換，整個過程中無需定義關系模式。
三、 面向對象數(shù)據庫方式
除以上兩種較為常見的方式外，還有面向對象數(shù)據庫的存儲方式。與關系數(shù)據庫相反，這種方式中將數(shù)據庫作為底層存儲者，將XML文檔作為一個對象、作為數(shù)據的載體，存儲在數(shù)據庫中。
在XML文檔與數(shù)據庫映射過程中，一般情況下需要Schema或者是DTD的輔助，XML文檔中的元素對應數(shù)據庫中的類、元素屬性值對應列，元素與元素之間的關系對應數(shù)據庫中類于類的關系。
在將XML文檔映射進面向對象數(shù)據庫中時，具體步驟如下：
1） 依據XML文檔創(chuàng)建DOM樹，按照先樹根后樹葉的方式進行遍歷搜索。
2） 對搜索到的元素進行校驗，提取元素信息。
3） 將得到的元素填入面向對象數(shù)據庫中對應的對象的相應域中。
當從數(shù)據庫中提出數(shù)據，重新映射為XML文檔時，具體步驟如下：
1） 提取數(shù)據庫中的對象，并生成XML文檔中的對應元素。
2） 將對象的數(shù)據域映射為元素的屬性值，寫入XML文檔中。
3） 遍歷對象里的子對象域，重復進行步驟1和2。
4） 將所有的對象轉換完成后，封閉根元素，結束映射。
這種存儲方法可以方便的建立起XML文檔中所攜數(shù)據的對象模式，通過面向對象數(shù)據庫對數(shù)據進行結構化操作，有著較出色的存儲效率。
四、 結束語
正是因為XML的應用范圍廣泛，不同的應用方向對數(shù)據的存儲要求不同，所以XML有多種數(shù)據存儲技術，文中提到的數(shù)據存儲方式是較為常見的幾種，每種都有自己的特性，究竟使用何種存儲手段取決于具體的使用需求。
摘要：討論了Web多媒體數(shù)據的存儲方式，重點研究了圖片文件在SQL Server 2005中的存儲方法，并實現(xiàn)了利用對二進制數(shù)據文件的讀取及顯示方法，最后討論了其他多媒體文件存儲方式所需要考慮的多方面問題，為Web應用中多媒體數(shù)據存儲提供了參考。
關鍵詞：數(shù)據庫；多媒體數(shù)據存儲；SQL Server 2005；web應用
早期因特網瀏覽器僅支持文本，甚至被限制為單一顏色的單一字體。隨著Internet的快速發(fā)展以及網絡傳輸率的提高，人們對Web上的媒體需求越來越多，文本、書籍、圖片、音頻、視頻等各種各樣的多媒體資源目前在瀏覽器中已經得到了很好的支持。
在Web應用程序開發(fā)和使用過程中，有相當多的場合需要使用多媒體內容表達程序，因此對多媒體的數(shù)據進行存儲就顯得非常重要了。例如在人事管理系統(tǒng)中，需要存儲員工照片、掃描并存儲員工學歷證書獲獎證書并能夠通過應用程序顯示。又如在教學資源管理系統(tǒng)中，需要存儲文字資源、圖片資源、課件資源、音頻資源及視頻資源以供查閱。再如在多媒體論壇上，需要由用戶上傳多種多媒體資源，包括圖片、聲音、視頻等。
在web應用程序中引用的多媒體資源存儲方式一般有兩種方式，一種是存儲文件到指定路徑下，將文件與應用程序的相對路徑以及文件名存儲到數(shù)據庫中，數(shù)據庫中存儲的內容相對較少。這種存儲方式的特點是數(shù)據讀取比較容易，但是對數(shù)據管理不方便，多媒體的信息完全暴露在機器設備之上，信息容易被刪除、修改或者替換，數(shù)據的安全性和可靠性得不到保證，這種方式不利于保存重要的媒體信息。另外一種就是把多媒體信息直接保存在數(shù)據庫中，保證了數(shù)據的一致性和安全性，這也是目前多媒體數(shù)據庫的發(fā)展趨勢，但這種方式的數(shù)據讀取比較麻煩，因為一般多媒體數(shù)據都是以二進制的數(shù)據存儲方式存儲在數(shù)據庫中，需要通過第三方的工具來完成數(shù)據的存儲和讀取。該文主要研究以多媒體數(shù)據庫實現(xiàn)圖片的二進制存儲和讀取方法，并比較其他類型多媒體文件存儲方式的應用。
1 SQL Server 2005數(shù)據表的建立
1.1數(shù)據類型選擇
圖片數(shù)據要存儲在數(shù)據庫中實際上就是用二進制數(shù)據的形式將圖片數(shù)據存儲在數(shù)據庫中，需要使用的時候利用二進制讀取方式讀取文件。在SQL Server 2000中，有Image、Binary和varbinary三種數(shù)據類型可以用來存儲二進制文件。在SQL Server 2005中，有Image、Binary、VarBinary（n）和VarBianry（max）這幾種數(shù)據類型都能夠用來存儲二進制數(shù)據。初學者一般都會選擇Image這個數(shù)據類型來進行圖片存儲，這是由于該數(shù)據類型名稱的誤解，Image數(shù)據類型的文件大小可變，最大可存儲2GB的文件，若系統(tǒng)需要高精度的圖片存儲，對于該數(shù)據類型無法存儲大容量的圖片數(shù)據。雖然該圖像數(shù)據類型也包含在SQL Server 2000、SQL Server 2005和SQL Server 2008之中，但微軟稱，目前還保留Image圖像數(shù)據類型是未來向下兼容的需要，但在將來某個時候可能就會將其舍棄，因此對于圖片存儲Image數(shù)據類型建議盡量少用。Binary數(shù)據類型要求固定的數(shù)據長度，最大長度可達8000字節(jié)，對于系統(tǒng)中要存儲不同圖片來說是不理想的。VarBinary（n）數(shù)據類型其文件大小可變，最大長度可達8000字節(jié)，對于文件較小的圖片來說可以使用。而VarBianry（max）數(shù)據類型其文件大小可變，不限文件大小的上限，對于系統(tǒng)中有大容量的圖片來說該數(shù)據類型是非常合適的。
2 存儲圖片到SQL Server2005的實現(xiàn)
2.1二進制數(shù)據的插入
2.3.2 建立上傳數(shù)據后臺頁面
1）主要實現(xiàn)方法分析
上傳數(shù)據頁面的主要功能是先啟用數(shù)據緩沖區(qū)，獲取圖像文件的路徑和文件名，若文件大小不為空數(shù)據，建立文件流對象，然后用二進制讀取方式將圖片文件讀取到緩沖區(qū)中，最后連接數(shù)據源生成記錄集，建立參數(shù)插入新紀錄。
3 讀取圖片并在web中顯示
顯示存儲在數(shù)據庫中的圖片文件首先需要把數(shù)據庫中的二進制數(shù)據轉換為計算機內存中的二進制流，然后再把內存流的數(shù)據轉換為圖像數(shù)據，最后把圖片放到頁面中顯示。
3.1讀取圖片數(shù)據流程
從數(shù)據庫讀取圖片數(shù)據的流程如下：
4 其他多媒體文件存儲方式分析
在考慮存儲各類多媒體文件方式的時候，我們需要從多個方面考慮，來選擇合適的存儲方式。
1）性能方面要求：二進制對象對性能要求并不高，如果多媒體文件對性能要求較高，特別是視頻流之類，那么將多媒體文件保留在文件系統(tǒng)中會比二進制文件存儲會獲得更高的性能。
2）數(shù)據大小要求：如果需要經常檢索二進制對象，文件大小又非常大，比如大型的視頻文件，那么利用文件系統(tǒng)來檢索和讀取的效率比從SQL Server顯示和讀取的效率更高。
3）安全性要求：二進制對象是存儲在SQL Server中的，可以通過常規(guī)的數(shù)據庫訪問方式來管理其安全性。但如果文件存儲在文件系統(tǒng)中，那么其安全性就相對要低，需要考慮用其他的代替方式來進行保證其安全性，例如增加安全性軟件，安全性管理機制等。
4）客戶訪問方式：客戶對數(shù)據庫的訪問方式也會直接決定多媒體文件的存儲形式，若數(shù)據庫采用ODBC方式連接，那么對于大型的視頻流存儲可能會出現(xiàn)連接超時或連接失敗的情況。因此ODBC的連接方式下建議采用文件系統(tǒng)來進行存儲，以免對web應用產生影響。
5）碎片處理：如果需要經常對二進制文件對象進行修改操作，又或者文件非常巨大，文件系統(tǒng)處理碎片的能力高于SQL Server，這種情況下利用文件系統(tǒng)存儲會比較優(yōu)越。
6）事務控制：如果web系統(tǒng)需要進行事務控制，那么利用SQL Server內置事務解決方案能更好的處理事務控制，比文件系統(tǒng)要更好的得到事務的控制及各類事務處理機制。
在分析多媒體數(shù)據存儲方式的時候，不能夠單一的只考慮某一方面的問題，應該從多個方面來進行綜合性考慮，特別是大文件視頻流或音頻流文件，處理起來比圖片要更復雜，要考慮的問題更多，應該根據實際應用的需要進行選擇。
5 結束語
本文通過對Web下多媒體數(shù)據存儲技術進行研究，分析了多媒體數(shù)據存儲的兩種情況，重點討論了BLOB文件存儲方式存儲圖片的方法，并實現(xiàn)了在SQL Server 2005中建立數(shù)據庫存儲圖像的過程，利用查詢T-SQL查詢數(shù)據的方法，并介紹利用實現(xiàn)圖片存儲、讀取并在web中顯示，實現(xiàn)了在web中圖片存儲的主要技術。最后討論了其他多媒體文件存儲時要考慮的問題，包括性能、數(shù)據大小、安全性要求、訪問方式等多方面的建議，從而對其他web系統(tǒng)中各類多媒體數(shù)據的存儲提供有效的參考。
摘 要：隨著計算機網絡技術在人們的日常生活中的廣泛應用，計算機數(shù)據存儲安全技術已經引起了國內外學者的廣泛關注。本文通過相關參考文獻的閱讀分析，對計算機數(shù)據存儲安全技術進行了比較深入的研究，有助于人們對數(shù)據存儲安全的認識，對于計算機網絡數(shù)據的維護具有一定的指導作用。
關鍵詞：數(shù)據存儲；計算機；安全廣泛
隨著計算機網路信息技術的不斷發(fā)展，為了便于實現(xiàn)人與企業(yè)之間的信息交流，網絡之技術已經深入到企業(yè)發(fā)展的過程之中，所以網絡安全問題已經成為信息安全領域的關鍵問題。本文通過相關參考文獻的閱讀分析，對計算機數(shù)據存儲安全技術進行了比較深入的研究，有助于人們對數(shù)據存儲安全的認識，對于計算機網絡數(shù)據的維護具有一定的指導作用。
1 影響計算機數(shù)據存儲安全的軟件與硬件因素
1.1 硬件因素分析。影響計算機數(shù)據存儲的物理因素主要包括以下幾個方面：（1）自然因素，隨著現(xiàn)代信息技術的不斷發(fā)展，計算機網絡已經成為人們日常生活不可缺少的一部分。對于計算機而言硬盤中存儲著很多人們日常生活所需要的數(shù)據信息。在計算機網絡運營的過程中，會因為可能的各種自然災害導致了數(shù)據傳輸線路的中斷，將會造成各種數(shù)據的丟失。（2）網絡硬件方面，隨著計算機網絡硬件技術的不斷更新?lián)Q代，，但是數(shù)據的增長量卻會呈現(xiàn)出爆發(fā)性的增長，結果導致了目前的數(shù)據存儲硬件無法滿足實際的存儲需要。所以要對存儲數(shù)據的硬件技術進行優(yōu)化升級，能夠滿足對數(shù)據存儲的需求。在過去的網路傳輸中由于設備的老化，導致了數(shù)據傳輸?shù)乃俣容^慢，網絡數(shù)據傳輸?shù)难舆t時間較長，導致了數(shù)據傳輸?shù)谋罎ⅲ斐闪藬?shù)據的丟失。（3）數(shù)據的操作失誤，數(shù)據管理人員無論在進行怎樣的軟件操作時，都有可能會出現(xiàn)數(shù)據管理操作失誤的情況，有一些不良的操作會導致數(shù)據系統(tǒng)的安全性受到很大的沖擊。
1.2 影響計算機數(shù)據安全的軟件因素。影響計算機數(shù)據安全技術的軟件技術主要有以下三個方面：（1）電磁波的輻射，在計算機存儲的各種數(shù)據在一定程度上會被電磁波帶出，非法分子通過使用一些無線數(shù)據接收器，就能獲得相應的數(shù)據信息；（2）網絡安全因素：計算機網路使得各個電腦硬盤內存儲的數(shù)據實現(xiàn)了共享，在用戶與主機之間以及用戶和用戶之間將會出現(xiàn)大量的漏洞，使得計算機存儲的數(shù)據遭到了黑客的攻擊；（3）現(xiàn)代計算機網路在運營的過程中雖然有防火墻的作用，但是防火墻目前由于存在狠毒偶的漏洞遭到了很多計算機病毒的入侵。這些病毒程序是可以通過網上下載以及電子郵件和盜版光盤的形式潛入計算機網絡。
2 計算機數(shù)據存儲安全防范技術
2.1 數(shù)據存儲安全的物理防范措施。目前比較常用的物理防范措施主要體現(xiàn)在以下幾個方面：（1）數(shù)據備份，原始數(shù)據一旦丟失以后，那么應該按照原始的副本進行原始數(shù)據的維護。當前比較經常使用的數(shù)據本分技術有快照技術、數(shù)據鏡像技術、Raid技術以及云共享技術。一旦遇到自然災害或者是人為的破壞數(shù)據，可以通過上述方法實現(xiàn)數(shù)據的恢復。（2）數(shù)據安全刪除技術，隨著最近幾年數(shù)據恢復技術的不斷發(fā)展，在計算機上通過操作系統(tǒng)對文件進行刪除已經變的不再可靠，如何實現(xiàn)有效的對信息進行清除對計算機的數(shù)據安全威脅，去除計算機上有用的信息，正在成為當今信息安全領域的新的研究熱點。所謂的數(shù)據安全刪除就是指對刪除數(shù)據的恢復過程進行破壞，使得比較重要的數(shù)據一旦刪除以后，就無法進行恢復。尤其是對于企業(yè)的發(fā)展而言，一些比較敏感數(shù)據的刪除是十分必要的。眾所周知高級格式化無法對數(shù)據內的數(shù)據信息進行覆蓋處理，因此也不能叫做安全處理。
2.2 軟件安全對策分析。計算機操作系統(tǒng)安全識別的策略主要體現(xiàn)在以下幾個方面。首先盡量使用安全性比較高的網絡操作系統(tǒng)，關閉一些不經常使用以及存在安全隱患的應用程序。對于一些有用的信息進行加密處理，在文檔的打開以及讀寫設施方面應該有口令登錄設置。在網絡應用系統(tǒng)的安全設置方面應該盡量不要開放陌生的網絡端口。在上網建設方面，加強身份登錄口令的認證，確保用戶上網的合法性。充分維護系統(tǒng)上網的日志功能，對用戶的網絡信息訪問進行信息記錄，為日后的審查作為依據。
2.3 數(shù)據傳輸安全策略分析。數(shù)據的傳輸安全因素通常包括兩個方面，數(shù)據的發(fā)出端A，數(shù)據的接收端B，數(shù)據的傳輸通道。在數(shù)據傳輸?shù)倪^程中通常會有兩種情況導致傳輸數(shù)據的丟失。一種是非法用戶對數(shù)據的發(fā)送端和接收端進行更改，獲得需要的數(shù)據；另外一種就是非法用戶在數(shù)據傳輸?shù)缆飞线M行數(shù)據的截取。
針對網絡數(shù)據傳輸中的安全問題，可以采用以下兩個方面的安全策略，首先使用數(shù)據加密技術對數(shù)據進行加密，為數(shù)據的傳輸提供一個安全的通道；其次利用公共密鑰和數(shù)據證書對用戶段和服務器進行身份驗證?，F(xiàn)在比較常用的數(shù)據加密技術主要有對稱密鑰加密、非對稱密鑰加密以及hash加密三種。網路數(shù)據的存儲的實現(xiàn)過程主要是通過服務器中的數(shù)據備份來實現(xiàn)的。為了結局數(shù)據安全的可靠性問題，可以將風險分散到兩個服務器上，從而保證整個網絡數(shù)據系統(tǒng)的安全性。
3 計算機數(shù)據存儲技術安全防范技術發(fā)展趨勢
3.1 未來數(shù)據的存儲介質發(fā)展的趨勢。隨著數(shù)據存儲技術的不斷發(fā)展，人類已經進入了大數(shù)據時代。谷歌公司每天要處理數(shù)據的量達到了20000TB。為了保證這些信息的安全性，分別存儲在4800個硬板之中。目前很多科學家開始研究新的存儲介質。2007年日本科學家發(fā)現(xiàn)了細菌DNA存儲技術，存儲的數(shù)據時間可以達到上千年。這種存儲介質的主要優(yōu)點為存儲密度比較大，一個DN段里含有無數(shù)個堿基對；其次是DNA存儲數(shù)據的體積比較小，一個堿基序列只有原子的大小。研究發(fā)現(xiàn)，1克DNA能夠存儲的數(shù)據達到700TB，DNA存儲介質的體積只有一滴水珠的大小。
3.2 未來計算機數(shù)據存儲的安全技術。在目前的學術界數(shù)據的安全存儲技術已經引起了廣大學者的注意。具體的研究方向主要分文數(shù)據的機密性、完整性以及可用性三個方面進行展開。比如可以通過在客戶端安裝數(shù)據加密技術使得客戶有一定的訪問權限來直接提取客戶端的數(shù)據。另外虛擬專用網絡技術也是目前比較常用的數(shù)據安全技術。這種技術的特點就是把數(shù)據傳輸?shù)耐ǖ肋M行加密，然后將這種數(shù)據通道從公共網絡中分離出來，從而使得數(shù)據信息能夠得到有效的保護。也就是路由器數(shù)據過濾技術和隧道技術，路由器數(shù)據過濾技術就是將流出的IP數(shù)據包使用路由器進行動態(tài)監(jiān)控。
4 結束語
本文從實際應用的角度闡述了計算機數(shù)據存儲安全隱患及其防范及技術。首先結合相關參考文獻，分析了影響計算機數(shù)據存儲的物理硬件因素與邏輯軟件因素；其次從數(shù)據物理存儲安全、軟件防范以及數(shù)據傳輸三個角度對數(shù)據存儲安全技術進行了深入的分析，最后探討了未來計算機數(shù)據存儲介質和安全防范技術的發(fā)展方向。因此只有采取多種技術手段，從系統(tǒng)的角度進行分析，才能從根本上維護計算機數(shù)據安全與網絡穩(wěn)定。
摘 要 隨著我國經濟的快速發(fā)展，信息技術也取得了重大突破。在網絡時代里，人們越來越關注科技的進步，以及科技發(fā)展帶來的更加便捷的應用。云計算自提出以來，得到了業(yè)內眾多學者的深入研究，作為未來計算機技術發(fā)展的一個重要方向，云計算有著獨特的優(yōu)勢與潛力。做好云計算環(huán)境下的數(shù)據存儲關系到云計算技術更好的應用。文章首先對云計算及云存儲進行簡要闡述，其次就如何在云計算環(huán)境下構建數(shù)據存儲體系進行探討，最后分析了數(shù)據安全性。
關鍵詞 云計算；數(shù)據存儲；分析；計算機
近年來，云計算越來越多的出現(xiàn)在大家的視野里，人們給予了云計算極大的關注。云計算會代替?zhèn)鹘y(tǒng)的計算機算法，這一理論也被認為是未來發(fā)展的必然趨勢。在傳統(tǒng)的模式下，工作人員為了使信息進行交互，一般都會在本地進行數(shù)據的存儲和處理。為了更好的保證數(shù)據調取的穩(wěn)定性，企業(yè)需要購買各種硬件、軟件基礎設施，而且還需要對這些設施進行維護。但是由于存儲和處理的數(shù)據量在不斷的加大，所需要的存儲空間就越來越大，這樣就會大大提高企業(yè)的成本。但是這些并不是企業(yè)需要直接面對的，為了完成他們需要完成的業(yè)務，卻不得不為此投入大量的成本。
隨著計算機技術，信息處理技術不斷的發(fā)展，人們可以不用把大量的數(shù)據技術放在自己的計算機上，可以放在別人的計算機上或者是遠程的服務器上，因此企業(yè)就不需要投入大量的資金購買存儲設備，完全可以通過互聯(lián)網根據自己的需求找到存儲在遠程設備上的數(shù)據，于是云計算初步模型就出現(xiàn)了。
1 云計算與云儲存
1）云計算。在互聯(lián)網的技術條件下提供了云計算的一種技術形式，云計算可以提供動態(tài)變化的能夠伸縮的并且以虛擬為特點的計算模式?！霸啤本褪且环N比喻，是一個抽象的概念，實際上是計算機和互聯(lián)網在起作用。
通過云計算把大量的數(shù)據都放在計算機上，這個計算機不是指本地的計算機，而是遠程的服務器，企業(yè)可以根據自己的實際需求，對計算機的存儲系統(tǒng)進行訪問，企業(yè)可以把大量的信息資源都轉換到客觀應用上去。也就是說，計算機只是成為了一個簡單的終端，不需要進行任何的計算或者是存儲，直接把主機功能交給云端。
2）云存儲。在云概念的基礎上延伸出了一個新的概念那就是云存儲，云存儲與云概念十分相似，它以分布式文件系統(tǒng)以及網格技術作為基礎，以集群應用，借助應用軟件把計算機中的各種存儲設備進行有效的集中，讓彼此能夠協(xié)同合作。它的功能就是對外提供相關的數(shù)據存儲以及業(yè)務訪問。本質上說來，對于當前存儲模式的創(chuàng)新就是云存儲。云存儲也是特殊的構架服務，具體來說，一些廣域網或者是互聯(lián)網對于應用者來說具有透明性。相關的應用程序軟件是云存儲的關鍵之處，在存儲設備之間進行有機的結合，通過這些有效的軟件使設備與設備之間進行服務的轉變。
2 構建在云環(huán)境下的數(shù)據存儲體系
在實際操作的過程中，數(shù)據存儲體系包括數(shù)據中心和云服務接口以及服務協(xié)議等，數(shù)據中心是在云環(huán)境下實現(xiàn)數(shù)據存儲的基礎，由存儲管理、分布式文件體系和存儲備份組成。云存儲設備既可以是在企業(yè)的發(fā)展過程中所專門應用的存儲設備，也可是PC，這個系統(tǒng)的設計依據的基礎是客戶機和服務器模式。經過檢驗這些確實可以完成大量數(shù)據的存儲工作，并且效果也非常理想。
1）服務器的結構。云計算的組成部分中最重要的是存儲服務器架構。在云存儲體系構建之前，應該首先構建云存儲服務器架構，這個可以根據架構技術來實現(xiàn)，這些架構技術是多樣化的。在NAS這個文件存儲系統(tǒng)中，每一個節(jié)點都是一個相互獨立的個體，文件是這個系統(tǒng)中最小的單位。在集群中，如果文件可以完整的保留，那么其數(shù)據信息也會有效的保存在集群的特定的點上，文件雖然比較多，但是會被重新定義到一些另外的節(jié)點上，這樣信息就顯得太過繁雜了。在實踐的過程中，人們可以發(fā)現(xiàn)，SNA作為存儲系統(tǒng)的一塊兒，如果有某一個文件發(fā)出請求，每一個節(jié)點都會對該文件的不同數(shù)據塊進行訪問，它能夠有效的對用戶的某一種需求進行及時的處理。這種存儲結構比較適合在云服務器當中使用，它可以在一定的范圍內進行擴展，而且傳輸?shù)男室脖容^高。
2）服務器之間的數(shù)據傳遞。在當前的存儲系統(tǒng)的環(huán)境下，一些存儲系統(tǒng)可以進行數(shù)據之間的傳送協(xié)議，異構的平臺之間的信息可以進行有效的資源共享。在計算機的網絡系統(tǒng)當中，程序和數(shù)據庫的優(yōu)化問題是需要我們共同考慮的。在使用數(shù)據庫的時候，存儲過程是必不可少的，它提供了一種更加高級的特性。它可以傳遞一些函數(shù)或者是邏輯表達方式，這樣就可以幫助程序人員來處理一些比較復雜的任務。它的存儲過程也比一些別的程序快很多，如果存儲的過程發(fā)生在本地的服務器上，那就可以減少在執(zhí)行和操作過程中的寬帶傳輸和執(zhí)行命令的時間。數(shù)據庫系統(tǒng)可以分頁顯示數(shù)據，執(zhí)行一個命令會產生幾萬種結果，這些結果是不可能一次性的直接輸出到客戶端上，可以采用分頁顯示來解決這個問題。分頁顯示主要有兩種，一種是在數(shù)據庫的查詢所匹配的記錄一下子存儲在內存儲器當中。另一個是根據用戶的需求，從這些匹配的記錄當中顯示指定的記錄。這兩者是有一定的區(qū)別的，前一種是把所有的記錄一次性的寫到內存里，再使用分頁顯示，后一種是指通過指定數(shù)量的查詢互相匹配的記錄然后寫入到內存當中，接著分頁顯示。這個系統(tǒng)使每一個要求只需要返回一個頁面的數(shù)據，效率大大的提高了。
3 關于企業(yè)的存儲構建方案
1）商業(yè)化的云存儲系統(tǒng)。在一些數(shù)據領域數(shù)據庫已經研發(fā)出一系列的商業(yè)化存儲產品，主要建立在云存儲的相關理論基礎上。一些最早就致力于云存儲研發(fā)的公司推出數(shù)項擁有自主知識產權的存儲技術，而且還提出了云存儲系統(tǒng)的構架方案。從用戶的角度出發(fā)，在相關協(xié)議下可以實現(xiàn)自身數(shù)據的存儲和提取?？梢蕴峁┮恍┖唵蔚年犃蟹?，在一些虛擬的主機之間信息可以互相發(fā)送好接收，而且一些支持的服務可以為用戶提供專業(yè)的存儲接口。一些公司希望他們提出的數(shù)據庫分布式的編程環(huán)境，可以適用于本公司的具體情況，還可以適用于云存儲的應用開發(fā)商提出的關于存儲的一些應用服務，可以起到一箭雙雕的作用。
2）構建企業(yè)自身的數(shù)據中心。對于許多大型企業(yè)來說，數(shù)據的安全性是最重要的，數(shù)據中包含著許多客戶的信息，這些客戶的信息一定不能泄露，泄露了以后就會面臨重大的信譽問題，這個時候如果選擇的是租用的云存儲服務的話，企業(yè)許多的數(shù)據資料都需要存儲在云服務提供的云數(shù)據中心，會面臨一定的風險性，所以有一些大型的企業(yè)轉向一些私有的云存儲的云服務提供商提供的云數(shù)據的中心，借助這個存儲設備也需要大量的資金投入，它是借助私云存儲提供的存儲設備以及冗余備份系統(tǒng)，所以這種結構并不靈活。作為企業(yè)可以選擇混合云存儲方案，可以把與之相關的關鍵性的數(shù)據作為首要的存儲，存到私云存儲當中，對于其它的一些數(shù)據就可以存儲在租用的云存儲當中，借用這種存儲的方法可以實現(xiàn)存儲效用利用的最大化。
4 云計算的環(huán)境下關于數(shù)據安全問題
為了保證數(shù)據的安全性能我們可以采用加密的方式，對于加密的方法有兩種：對稱加密和非對稱加密。實踐證明，對稱加密的算法還比較成熟，所以應用的范圍比較廣泛，這種加密的算法、加密和解密都比較容易實現(xiàn)，所以廣泛的應用于大量的數(shù)據傳輸，對于非對稱加密來說，可以把傳統(tǒng)的密鑰分為公開密鑰和私有密鑰，把加密算法和解密算法分開控制，這樣可以在計算方法的復雜程度上確保其的安全性。
1）關于加密。當想要對某一個數(shù)據進行加密的時候可以通過對稱加密算法密匙生成器，通過密匙生成器來隨機生成含有校驗信息的密匙，再通過非對稱加密算法對所包含的效驗信息的密匙進行加密。這樣就可以把密文統(tǒng)一打包以后發(fā)到用戶端供用戶們使用，這個密文是經過加密算法處理的。除這些以外，對于一些數(shù)據量十分大的用戶的數(shù)據可以通過對稱的加密算法對其進行加密。但是對于一些數(shù)據量用戶較小的用戶可以考慮對一些非對稱算法進行加密，將這兩種密匙和密文數(shù)據一塊兒存儲起來放到云存儲中心，對于那些非加密的密匙以及解密的密匙僅僅需要進行保存就行。
2）關于解密。既然可以加密處理，那么就應該對密匙進行解密，這樣密碼的設立才會更有意義。在對數(shù)據解密的過程中，用戶首先需要對對稱加密的算法進行解密，這種算法是跟非對稱加密相關的。這樣就可以對密匙進行還原，然后，被還原的密匙根據對稱算法對所提供的數(shù)據包進行解密，這樣可以把所需要的文件進行還原。兩種算法需要配合使用，這樣才能最大限度的發(fā)揮各自的優(yōu)點，避免某一種算法的不足導致文件不能安全的進行保密。我們的目的是對數(shù)據的安全進行保密，可以通過對稱密匙對所有的數(shù)據進行加密也可以利用非對稱密匙僅僅對一部分密匙進行加密。這兩種算法互相結合，有效地解決了云計算中所面臨的安全問題。
5 結束語
在云計算環(huán)境下的數(shù)據存儲技術給人們帶了許多的方便，釋放了個人計算機終端的數(shù)據存儲任務，優(yōu)化了網絡系統(tǒng)結構。云計算環(huán)境下數(shù)據存儲中把對稱密匙和非對稱密匙結合起來使用，為云環(huán)境下的存儲技術帶來了一定的安全性。這是一種解決安全問題比較可行的方法。隨著科技的不斷進步，云計算環(huán)境下的存儲技術一定會有更大的突破，實踐應用也一定會更加廣泛。
摘要：隨著計算機技術和網絡技術的迅猛發(fā)展，將大量數(shù)據進行分散存儲和管理的方式已經得到相關行業(yè)的廣泛認可，然而由此帶來的弊端也隨之產生，數(shù)據存儲結構，存儲環(huán)境的不同，以及數(shù)據并發(fā)處理等問題。該文針對如何在分布式環(huán)境中提高數(shù)據存儲能力這一課題進行深入研究，對當前數(shù)據存儲技術進行分析，對分布環(huán)境下數(shù)據存儲的特性進行分析，總結出分布式數(shù)據庫的設計要求，為行業(yè)內分布式數(shù)據存儲能力標準化提供理論支持。
關鍵詞：分布式；數(shù)據存儲；數(shù)據庫
1 數(shù)據存儲技術的現(xiàn)狀
近年來，隨著計算機技術和網絡技術的迅猛發(fā)展，依靠先進的技術進行網絡化辦公已經成為現(xiàn)實。越來越多的企業(yè)、政府機構、社會團體借助計算機技術將業(yè)務主體進行科學的專項設計和應用，用戶只需要少量的終端設備就可以對大量的數(shù)據進行處理和分析。另一方面，隨著人們對互聯(lián)網依賴程度的逐步加深，伴隨“大數(shù)據”等新概念的提出和發(fā)展，產生的數(shù)據量也呈現(xiàn)爆炸式增長。新數(shù)據的產生和原始數(shù)據的不斷積累，導致占用的存儲容量越來越大。因此，如何擴展服務提供商器的存儲能力已經成為當前科研領域的重要研究熱點。
目前，能夠有效提高數(shù)據存儲能力的方式主要有兩類解決方案。一類是新增硬件的方法提高存儲能力。由服務提供商采購新的存儲設備來拓展服務器的存儲能力。另一類是在不改變現(xiàn)有硬件設備的條件下，服務提供商改善數(shù)據存儲軟件，優(yōu)化存儲信息的方式，通過分類和分解數(shù)據的形式提高存儲能力。第一類解決方案存在明顯的弊端，服務提供商的購買能力是有限的，無法從根本上解決難題。另一類目前已經得到國內外行業(yè)的普遍認可，各大數(shù)據服務提供商投入大量人力和物力，加快了數(shù)據管理軟件的研發(fā)腳步，一系列的數(shù)據庫產品營運而生，像Google Spanner，Cassandra，MongoDB，MySQL Cluster等[1]優(yōu)秀的產品為分布式環(huán)境下有效的管理數(shù)據，優(yōu)化存儲提供了先決條件。
2 分布式環(huán)境下數(shù)據存儲的應用特性分析
通過大量實踐可以看出，對于大量數(shù)據的處理效率往往與數(shù)據本身的可操作性有著緊密聯(lián)系，所以有必要對分布式環(huán)境下的數(shù)據應用特性進行合理的分析和總結。分布式數(shù)據庫主要有以下三個特點：
2.1 數(shù)據庫存儲的數(shù)據在邏輯上是集中的，在地理位置上是分散的
分散的數(shù)據單元所在的物理位置是透明的，通過通訊線路和協(xié)議進行相互溝通。這點有力的說明分布式數(shù)據庫存在數(shù)據的“分散性”。
2.2 用戶對數(shù)據進行的任何操作都有一個統(tǒng)一的DBMS進行調度
用戶不必關心數(shù)據的并發(fā)處理、副本調度等問題，即使局部數(shù)據單元發(fā)生數(shù)據故障，統(tǒng)一的DBMS仍可以進行調度和工作。這點有力的說明分布式數(shù)據庫存在管理上的“集中性”。
2.3 用戶對任何數(shù)據進行例如添加、刪除和查詢操作時，每個數(shù)據單元都各有一個小型的數(shù)據管理系統(tǒng)，都有各自的DBMS，多數(shù)處理就地完成
這點有力的說明分布式數(shù)據庫存在操作上的“自治性”。
3 分布式數(shù)據庫系統(tǒng)的設計
在分布式環(huán)境下，對于數(shù)據庫的設計要求還沒有統(tǒng)一的標準。該文通過總結和分析整理國內外相關資料，認為一個可操作的分布式數(shù)據庫系統(tǒng)，應具備四個功能，如圖1所示。
3.1 數(shù)據分發(fā)[2]
數(shù)據分發(fā)的建立打破了傳統(tǒng)數(shù)據存儲模式，它使物理上分散的數(shù)據單元成為邏輯上統(tǒng)一的整體，數(shù)據模塊之間通過數(shù)據鏈路進行連接，通過形式統(tǒng)一的數(shù)據接口和協(xié)議進行通訊。合理的數(shù)據分發(fā)模塊能夠解決數(shù)據在遠距離存儲上存在的異構問題。
3.2 并行處理
由于數(shù)據存儲過程中的分散性和自治性的特點，使得并發(fā)處理功能就顯得尤為重要。并行處理問題發(fā)生的情況分為三種：時間并行，空間并行以及時間和空間同時并行。并行處理功能要求數(shù)據庫要有很好的事務機制處理辦法，提供有效的并發(fā)解決方案。
3.3 SQL解析
由于大量數(shù)據庫管理系統(tǒng)和操作系統(tǒng)存在異構的特點，SQL解析功能就顯得尤為重要。SQL的語句首先被數(shù)據庫管理軟件轉化為ASCII碼，然后由解析器分三個環(huán)節(jié)進行解析。首先是語法解析，通常會從數(shù)據字典、對象比較、游標等方面檢查用戶輸入的語法是否存在錯誤；其次是語義解析，為用戶輸入的語句建立語法樹，對語義中提到的程序、表、字段等方面進行檢查；最后是執(zhí)行語法過程，將操作結果進行打包后傳遞給DBMS。[3]
3.4 匯總處理
匯總處理的目標是從分散的數(shù)據模塊中提取用戶需要的數(shù)據，并進行必要的處理后呈現(xiàn)在用戶面前，形成一個完整的、統(tǒng)一的大型數(shù)據庫。
4 總結
分布式數(shù)據存儲能夠不改變現(xiàn)有硬件設備的條件下，充分利用現(xiàn)有資源為用戶服務，為用戶提供快速靈活的體驗，同時可以減少投入，提高設備利用率。隨著數(shù)據存儲技術的不斷發(fā)展和成熟，能夠在不同領域中得到更廣闊的發(fā)展。
摘要：改革開放以來，我國的社會經濟得到了迅猛的發(fā)展。社會經濟的進步，同時也推動了我國科學技術的發(fā)展?？茖W技術的發(fā)展，對于我國的社會經濟也有相應促進作用。在所有的科學技術的發(fā)展中，要數(shù)計算機的發(fā)展最為迅速。21世紀是一個信息的時代，其中的典型就是計算機，隨著社會的發(fā)展，各式各樣的計算形式層出不窮，在這樣一個更新周期短的時代趨勢的影響下，在計算機領域出現(xiàn)了一種新型的計算形式，這種新型的計算機形式稱為云計算。對于互聯(lián)網模式，我們都不陌生，而對于云計算是十分陌生的。其實，所謂的云計算，指的就是互聯(lián)網技術的升級，云計算這種新型計算模式的出現(xiàn)，對于現(xiàn)代大量的數(shù)據沖擊來說是一個機遇，云計算中的數(shù)據存儲技術也成為了計算機技術的重要的技術領域。
關鍵詞：云計算 數(shù)據存儲 技術 研究
云計算是一種現(xiàn)代的架構體系，這種體系主要是以服務作為其主體運運而生的。為了可以很好地區(qū)分云計算的服務方式，在計算機領域把云計算分為了兩種最為基本的服務形式，這兩種服務形式為云計算，以及云存儲。云計算作為一種新型的技術手段被廣泛的運用到現(xiàn)代的網絡系統(tǒng)，以及現(xiàn)代的金融服務領域；作為計算機技術快速發(fā)展的一種形式的云計算，是一種以服務為主體的現(xiàn)代運用系統(tǒng)。為了能夠在各種各樣的環(huán)境下對計算機的數(shù)據進行相應的處理，就需要加入另一種服務形式，這種服務方式就是云存儲。為了能夠適應社會的發(fā)展需求，有必要對云計算進行更加深入的研究。
1 云計算，以及云存儲
1.1 云計算
云計算是一種新型的技術形式，它通過向對象提供提供技術服務來實現(xiàn)的。云計算提供的計算模式可以分為兩種，一種是動態(tài)化的可伸縮的計算模式，另一種是動態(tài)化的虛擬資源計算模式。雖然說云計算是一種新型的技術形式，但是從它的本質來說，云計算指的就是互聯(lián)網，以計算機網絡，所以說云計算中的云是一種比喻性的說法。在以往的電信行業(yè)中，也存在云的概念，當時的云指的就是電信網。但是隨著近幾年計算機網絡的不斷發(fā)展，為了滿足互聯(lián)網，以及基礎設施抽象表達的要求，才逐漸把云的概念擴大到互聯(lián)網等方面。在計算機中使用云計算，可以很好地滿足現(xiàn)實的需求。傳統(tǒng)的數(shù)據信息基本上是以本地的計算機，或者遠程服務器為載體進行存儲。而云計算的使用，則是將大量的數(shù)據存儲到計算機之上。大部分的企業(yè)可以很方便的把資源信息轉換到比較客觀的應用上，這主要是由于這些企業(yè)的數(shù)據系統(tǒng)與計算機互聯(lián)網比較相似，所以，可以很容易的對存儲體系，以及計算機進行相應的訪問。
1.2 云存儲
隨著云計算的推廣，為了適應這一發(fā)展趨勢，就從云計算中總結出了一個全新的概念，這個全新的概念就是云存儲。云計算具有一定的基礎功能，而由于云存儲是從云計算當中延伸出來的，所以，云存儲具有與云計算相類似的功能，即計算機的網格技術，以及計算機的集群應用，還有就是計算機的分布式文件系統(tǒng)。以上的這些基本功能對于云存儲發(fā)揮其功效具有重要的作用。通過相應的應用軟件，可以把計算機網絡當中的各式各樣的存儲設備有效的集中起來，以保證這些存儲設備可以進行有效的協(xié)同合作。云存儲的這種新型的存儲模式，是在原有的原有的存儲模式的基礎之上，進行相應改進的一種存儲模式，但是這種新型的存儲模式還可以提供一種特別的架構服務。由于云具有廣域網，以及互聯(lián)網的特性，所以具有相對比較的形象特征，而對待遇使用云存儲的人來說，云存儲具有一定的透明性。把一些有關聯(lián)的存儲設備，以及應用程序軟件進行有效的而結合起來，因為存儲設備的服務轉換抓喲是要通過相關的應用軟件來進行實現(xiàn)的。
2 云計算的環(huán)境下數(shù)據存儲體系的構建
在實際的云計算的操作過程當中，對于云計算環(huán)境下數(shù)據存儲體系的建立是十分的必要的。建立云計算環(huán)境下數(shù)據存儲體系，通常會涉及到很多方面的內容，比如說，云計算的數(shù)據中心，以及云服務的接口，還有就是云的用戶和與計算的服務協(xié)議等等各方面的內容。首先，我們先來了解一下什么是數(shù)據中心。所謂的數(shù)據中心，實質上指的就是數(shù)據的存儲基礎，數(shù)據中心是要通過云計算的環(huán)境下來進行實現(xiàn)的。數(shù)據中心所涉及的內容，包括了數(shù)據的存儲管理，以及數(shù)據的存儲設備，還有就是計算機中分布式的文件系統(tǒng)等等。云存儲可以有很多不同的類型，一種是根據企業(yè)發(fā)展的不同程度會采用的專門的存儲設備，另一種是運用于個人的存儲設備，還有一種就是把專門的存儲設備與個人的存儲設備進行有機的結合起來。雖然有以上的三種分類，但是對于云存儲設備來說，并沒有硬性的規(guī)定說要根據那個條件進行分類。根據客戶機，或者服務器的模式可以對分布式的文件系統(tǒng)進行相應的設計。運用網絡節(jié)點之間的聯(lián)接可以很好地吧文件系統(tǒng)管理當中的一些物理存儲紫玉進行有效的存儲。
3 云計算服務器架構的構建
云計算存儲服務器在云計算中占據著關鍵性的作用，所以對與計算服務器的架構的構建顯得至關重要。對于云存儲服務器架構的建立，一定要保證是在進行建立云儲存體系之前進行建立。比較常見的云存儲服務器架構有兩種，一種是存儲區(qū)域網，另一種就是附網存儲。對于云存儲服務器架構的建立，可以通過多變的架構技術來實現(xiàn)云存儲服務器架構的建立的。
附網存儲是一種文件存儲系統(tǒng)，附網存儲是依附于分布式架構系統(tǒng)而存在的。在附網存儲當中，是相互獨立，而且又相互統(tǒng)一的。所以說，附網存儲是一種松散結合型集群，說附網存儲是獨立的，主要是因為在附網存儲中的每一個節(jié)點都是相互獨立的；而說附網存儲是相對統(tǒng)一的，主要是因為附網存儲是以系統(tǒng)集群的形式存在著的。附網存儲是一種結合比較緊密的集群系統(tǒng)。一旦有一個文件產生請求，附網存儲中的熱河一個節(jié)點都會對這個文件中的不同數(shù)據進行同時的訪問，與此同時，云計算還會對于用戶的相關要求進行相應的處理。一般的存儲系統(tǒng)不同的是，附網存儲系統(tǒng)的性能不會由于請求越多而越弱，相反的是，附網存儲是隨著用戶的訪問請求越多，就會具有越強的性能，因為用戶的請求越多，會使得節(jié)點數(shù)越來越多，所以附網存儲系統(tǒng)的性能越強。
4 結語
總的來說，作為現(xiàn)代計算模式的代表的云計算，在實踐當中具有很大的數(shù)據集群，因此云計算具有最優(yōu)化的服務功能。云計算中的數(shù)據存儲，可以通過冗余存儲方式來進行數(shù)據的存儲，進而可以確保數(shù)據的安全性，以及可靠性。
摘要：現(xiàn)代數(shù)字圖書館存儲系統(tǒng)有高可靠性、高可用性、高性能、動態(tài)可擴展性、易維護性和開放性等眾多方面的需求，而目前使用的存儲系統(tǒng)還遠不能滿足這些需求。本文著重介紹網格的數(shù)據存儲技術在數(shù)字圖書館中的應用。
關鍵詞：網格 數(shù)據存儲 Grid FTP 數(shù)字圖書館
1 綜述
隨著網絡技術和分布式計算技術的發(fā)展，網格應運而生，有望成為第三代互聯(lián)網。宏觀上講，網格是信息社會的網絡基礎設施，它把整個因特網整合成一臺巨大的超級虛擬計算機，實現(xiàn)互聯(lián)網上所有資源的互聯(lián)互通，實現(xiàn)計算資源、存儲資源、通信資源、軟件資源、信息資源、知識資源等資源的全面共享。
網格是由分布在本地或廣城范圍的若干異構子系統(tǒng)組成的虛擬系統(tǒng)。網格通?？梢苑譃槿?，即存儲網格，計算網格和服務網格。存儲網格實現(xiàn)了虛擬的統(tǒng)一存儲，例如可將不同系統(tǒng)不同目錄下的文件通過網格軟件組合成一個虛擬的單一文件目錄，對此網格的用戶來說，他不必關心他所需要的文件具體存放在那一物理位置，而可以通過一個單一的文件目錄結構存取或檢索所需要的文件。他還可以適用于傳統(tǒng)購工具相類似的網格變種，如FTP.來將自己的文件傳送到這一虛擬的單一文件目錄結構中去，或將虛擬存儲中的某一文件傳送到自己的本地非共享目錄中。可見存儲網格改變了人們分享數(shù)據信息的方式。
利用存儲網格技術，一個大型復雜數(shù)字圖書館系統(tǒng)可以將各自的計算機組成一個慮擬的單一存儲網格，所有的子系統(tǒng)界面信息均可實時地被他人所共享，不管這些單位位于世界的哪一個角落，也不管他們用的是什么系統(tǒng)。傳統(tǒng)上完成類似目標需要建立并維護一個集中的數(shù)據服務系統(tǒng)，在很多時候是無法實現(xiàn)或者極不經濟的。而存儲網格技術通過建立開放標準將這一需求變?yōu)楝F(xiàn)實。
網格存儲是網格技術發(fā)展的重要組成部分，它將存儲和存儲引擎整合成內部相連的網格。它通過網格以一種靈活的、透明的方式分配資源，依照單位的存儲策略和程序，高效地管理存儲資源，以保護大容量信息的安全。網格存儲能很好地解決各類資源的自動優(yōu)化、自動配置、自我保護和自動恢復等功能。
2 基于網格的數(shù)據存儲技術在數(shù)字圖書館中的應用
2.1 數(shù)據網格存儲方式
數(shù)字圖書館是綜合運用多方面高新技術支持的數(shù)字信息資源系統(tǒng)，將分散于不同載體、不同地域的數(shù)字化信息資源以網絡化方式互相聯(lián)結起來，實現(xiàn)資源共享。數(shù)字圖書館是計算機可處理的、有序組織的信息集合，是存儲數(shù)字信息的倉儲。數(shù)字圖書館通過數(shù)字技術進行信息資源的組織和管理，能夠儲存海量信息，用戶可以通過互聯(lián)網絡高效方便地進行查詢、檢索服務。數(shù)字圖書館具有信息資源數(shù)字化、信息組織非線性化、結構復雜化、信息傳遞網絡化、服務方式多樣化等特點。而網格是高性能計算機、數(shù)據源、因特網三種技術的有機組合，它具有高性能、一體化、知識生產、資源共享、異地協(xié)同工作、支持開放標準、功能動態(tài)變化等優(yōu)點，為數(shù)字圖書館建設提供了有利的條件。
在網格中最常用的資源是數(shù)據存儲。網格對數(shù)據存儲提供了一個集成的視圖，有時被稱為“數(shù)據網格”。通常，網格中的每臺機器會提供一定數(shù)量的存儲給網格使用，即使是暫時的。存儲可以是配屬于處理器的內存，也可以是硬盤或者其他永久性的存儲介質。配屬于處理器的內存通常速度非?？?，但是不穩(wěn)定，最好應用作緩沖數(shù)據。網格中的第二存儲可以以合適的方法使用來增加容量、性能、共享和數(shù)據可靠性。許多網格系統(tǒng)使用網絡文件系統(tǒng)，如AFS、NFS、DFS或者GPFS。這些文件系統(tǒng)在性能，安全和可靠性方面存在差異。
多臺機器的存儲使用統(tǒng)一的文件系統(tǒng)，容量可以增加。任一獨立的文件或者數(shù)據庫可以擴展到多臺存儲設備和機器，利用操作系統(tǒng)的文件系統(tǒng)可以消除最大空間的限制。統(tǒng)一的文件系統(tǒng)可以為網格存儲提供統(tǒng)一的命名空間。這對用戶使用網格中的存儲變得相對容易，可以不用考慮其確切的位置。類似的，特殊的數(shù)據庫軟件可以聯(lián)合獨立的分類數(shù)據和文件，形成一個更大的，更全面的數(shù)據庫，可以使用數(shù)據庫查詢功能操作。
網格文件系統(tǒng)也能實現(xiàn)日志功能，因而在某些操作失敗后，數(shù)據也可以被可靠地刪除。另外，當數(shù)據共享或者很多用戶更新時，有些文件系統(tǒng)實行高級的同步機制來減少沖突。
2.2 GridFTP在數(shù)字圖書館數(shù)據存儲技術中的應用
網格存儲是以節(jié)點之間的備份為基礎，可以在多重節(jié)點上進行內容管理與儲存；也可以把存儲環(huán)境下的多重節(jié)點進行資料轉移與傳輸。正因為這樣，它可以將網絡連接存儲（NAS）和存儲局域網（SAN）兩種不同的技術、不同的管理工具、不同的存儲應用融合在一起。網格存儲使存儲簡單化，兼容不同的網絡協(xié)議，支持不同的系統(tǒng)平臺，在各個分布系統(tǒng)上遠行而且同步。
訪問、分析和處理分布在不同邏輯位置、存儲系統(tǒng)上的數(shù)據，應用程序要么選擇只支持某些存儲系統(tǒng)，要么使用多種方法來獲取不同存儲系統(tǒng)上的數(shù)據。Grid FTP提供了一種在異構系統(tǒng)上的公共互用層，避免性能上的損失和過大的復雜性。
Grid FTP作為網格環(huán)境中安全高效的數(shù)據傳輸協(xié)議，是對標準FTP協(xié)議的擴展。Grid FTP擴展了標準FTP協(xié)議，這是因為FTP協(xié)議是目前因特網上使用最普遍的數(shù)據傳輸協(xié)議，有大量的技術基礎，也是在網絡環(huán)境中最規(guī)范的數(shù)據傳輸協(xié)議，并且易于擴展。
GridF TP在不同的網格主機之間提供了安全的、可依賴的數(shù)據傳輸，使用擴展的FTP協(xié)議，提供了網格的功能。Grid FTP是標準的服務器/客戶端應用，支持兩種類型的文件傳輸標準和第三方參與的文件傳輸。
為了管理分布式通信中的大數(shù)據集，Grid FTP提供了經過鑒別的由第三方控制的數(shù)據傳輸功能。這種功能允許第三方用戶或應用程序啟動、監(jiān)視和控制共他兩地之間的數(shù)據傳輸，為使用多個地點的資源提供了保障。Grid FTP在保留FTP的第二方數(shù)據傳輸功能上增加了GSS-API安全認證。
當前，由于網格技術的發(fā)展，數(shù)字圖書館技術正面臨著一場新的技術革命。采用網格技術能增加數(shù)字圖書館成本的有效性，也能增強數(shù)字圖書館服務的適應性，真正解決數(shù)字圖書館資源的信息資源存儲問題。數(shù)字圖書館只有借助于先進的網格技術，才能真正推動數(shù)字圖書館研究和建設的更深人發(fā)展。
【摘要】網絡技術的運用是現(xiàn)階段的主流技術手段，由于互聯(lián)網的普及和發(fā)展直接導致互聯(lián)網相關技術持續(xù)升溫。而網絡數(shù)據存儲技術是實現(xiàn)替代傳統(tǒng)存儲技術的新方法，通過技術手段的實現(xiàn)，達到網絡存儲的目的。選擇安全合理的技術手段實現(xiàn)網絡數(shù)據存儲是保證數(shù)據安全，實現(xiàn)數(shù)據備份的主要手段。
【關鍵詞】網絡；存儲技術；數(shù)據安全；備份
一、前言
在網絡技術持續(xù)發(fā)展的今天，實現(xiàn)網絡數(shù)據存儲是解決現(xiàn)階段數(shù)據流失的主要手段，通過網絡對數(shù)據實現(xiàn)備份可以很好的實現(xiàn)數(shù)據的移動化。本文針對現(xiàn)階段的三種主要的網絡數(shù)據存儲方式進行分析研究，確定其技術實現(xiàn)方式，了解實現(xiàn)原理。使得對網絡數(shù)據存儲有進一步的認識。
二、RAID存儲技術
1、RAID存儲技術介紹
RAID是指廉價(獨立)磁盤陣列，所謂“磁盤陣列”是指多張磁盤連成一個陣列上，然后，以某種方式書寫磁盤，這種方式可以在一張或多張磁盤組之間提供數(shù)據。
從主機的角度看，控制器使得整個磁盤組就像一片又快、又大、又可靠的虛擬磁盤。它的初衷主要是為大型網絡服務器提供高端的存儲功能和冗余的數(shù)據安全，在系統(tǒng)中RAID被看作是一個邏輯分區(qū)，但它是由多個硬盤組成的，通過在多個硬盤上同時儲存和讀取數(shù)據來大幅度提高存儲系統(tǒng)的數(shù)據吞吐量。而且在很多RAID模式中都有較為完備的、相互校驗與恢復的措施，甚至是直接相互的鏡像存儲。當數(shù)據災難發(fā)生時可以自動修復，從而大大提高了RAID系統(tǒng)的容錯度，穩(wěn)定了系統(tǒng)的冗余性。
2、RAID技術規(guī)范
RAID技術是一種工業(yè)標準。通常將組成磁盤陣列的不同方式分為RAID級別。隨著RAID技術的不斷發(fā)展?，F(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級別。另外，還有一些基本RAID級別的組合形式，如RAID 1 0、RAID 5 0等?，F(xiàn)將RAID級別在應用中的實現(xiàn)作進一步的研究。
(一)、RAID 0：是連續(xù)以位或字節(jié)為單位分割數(shù)據，并行讀寫于多個磁盤上。因此具有很高的數(shù)據傳輸速率，但它沒有數(shù)據冗余。它只是單純地提高性能，而且其中的一個磁盤失效將影響到所有數(shù)據。因此，它不能應用于數(shù)據安全性高的場合。
(二)、RAID 1：通常被稱為RAID鏡像，是通過磁盤數(shù)據鏡像實現(xiàn)數(shù)據冗余，在成對的獨立磁盤上產生互為備份的數(shù)據，即所有數(shù)據都進行百分之百的備份。當原始數(shù)據繁忙時，可直接從鏡像磁盤上讀寫，而不需要重組失效數(shù)據。
(三)、RAID0+1：也稱為RAID 1 0標準，至少需要4塊硬盤才可以實現(xiàn)，不過它綜合了RAID 0和RAID 1的特點，將獨立磁盤配置成RAID 0，兩套完整的RAID 0互換鏡像。但構建RAID 0+1陣列的成本投入大，數(shù)據空間利用率只有50%。
(四)、RAID 2：是按位分配數(shù)據到多個驅動器的，在寫入數(shù)據時一個磁盤上保存數(shù)據的各個位。同時把一個數(shù)據不同的位運算到海明校驗碼保存在另一組磁盤上，在數(shù)據發(fā)生錯誤的情況下將錯誤校正。這種編碼技術需要多個磁盤存放檢查及恢復信息，使得RAID 2技術實施更復雜、速度最慢，因此在商業(yè)環(huán)境中很少使用，最適合用于諸如圖像之類的應用。
(五)、RAID 3：通常是按字節(jié)將數(shù)據劃分為條紋分配在許多驅動器上，雖然也可按位劃分．但它在陣列時專用一個驅動器保存奇偶校驗信息，因此它同RAID 2非常類似，區(qū)別在于它使用簡單的奇偶校驗，并用單塊磁盤存放奇偶校驗信息。如果一塊磁盤失效，奇偶盤及其他數(shù)據盤可以重新產生數(shù)據；如果奇偶校驗失效，則不影響數(shù)據使用，但奇偶盤會成為寫操作的瓶頸。
(六)、RAID 4：除了按扇區(qū)而不是按字節(jié)對數(shù)據劃分條紋外，RAID 4與RAID 3相似，同樣也將數(shù)據條塊化并分布于不同的磁盤上，但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗盤，這時奇偶校驗盤會成為寫操作的瓶頸。因此它在商業(yè)環(huán)境中也很少使用。
(七)、RAID 5：是把數(shù)據和相對應的奇偶校驗信息存儲到組成RAID 5的各個磁盤上，并且奇偶校驗信息和相對應的數(shù)據分別存儲在不同磁盤上。它使用一種特殊算法，可以計算出任何一個區(qū)域校驗塊的存儲位置。這樣就可以確保對校驗塊的任何讀寫操作都會在所有RAID磁盤中進行均衡．從而消除產生瓶頸的可能。它讀出效率很高，寫入效率一般．塊式的集體訪問效率較佳，但控制器的設計也相當困難。
(八)、RAID 6：與RAID 5相比，它增加了第二個獨立的奇偶校驗信息塊。兩個獨立的奇偶校驗系統(tǒng)使用不同的算法．數(shù)據的可靠性非常高，即使兩塊磁盤同時失效也不會影響數(shù)據的使用。相對于RAID 5有更大的寫“損失”，因此“寫性能”非常差。
(九)、RAID 7：這是一種新RAID標準，其自身帶有智能化實時操作系統(tǒng)和用于存儲管理的軟件工具，可完全獨立于主機運行，不占用主機CPU資源。它采用優(yōu)化的高速數(shù)據傳送磁盤結構，所有的I/O傳送均是同步進行的，可以分別控制．這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問數(shù)據的速度；每個磁盤都帶有高速緩沖存儲器，實時操作系統(tǒng)可以使用任何操作芯片．達到不同實時系統(tǒng)需要。當多用戶訪問系統(tǒng)時?？梢赃B續(xù)多臺主機，訪問時間幾乎接近于零。
三、IP存儲技術
ＩＰ存儲技術作為新興的網絡存儲技術得到了迅猛的發(fā)展，越來越多的企業(yè)選擇了ＩＰ存儲作為存儲解決方案。另一方面，隨著信息化建設的迅猛發(fā)展，計算機系統(tǒng)已成為各企事業(yè)單位的基礎設施，數(shù)據成為關系到企業(yè)生存的重要資源，是企業(yè)賴以生存的命脈，其價值遠遠大于設備的價值。然而，病毒木馬、軟件故障、及人為誤操作等不確定因素時刻威脅著數(shù)據的安全，數(shù)據安全性問題愈來愈突出。
各個層次的計算機信息系統(tǒng)的使用者也積極關注自己系統(tǒng)的安全問題，對數(shù)據存儲安全更加重視，備份系統(tǒng)成為保障數(shù)據安全的重要系統(tǒng)。數(shù)據備份是一種數(shù)據安全策略，是保護數(shù)據安全的有力措施，已成為信息安全領域一個備受矚目的研究方向。IP數(shù)據存儲系統(tǒng)能夠根據用戶自身業(yè)務的需要設計備份方案。分別由備份服務器、存儲服務器、備份實現(xiàn)三方交互協(xié)議。物理上各子系統(tǒng)獨立安裝運行，邏輯上備份服務器主導整個系統(tǒng)的運行，備份和存儲服務器接受備份服務器發(fā)送的命令運行任務，用戶從Ｗｅｂ界面發(fā)出命令并發(fā)送給備份服務器處理。
四、無限傳感存儲技術
無線傳感器網絡的根本任務是準確、高效地提取環(huán)境中有價值的信息發(fā)送給用戶。無線傳感器網絡是一個數(shù)據為中心的網絡,無論其應用場景和底層硬件部署如何,應用層用戶最為關心的問題是如何將各個傳感器節(jié)點感知的監(jiān)測數(shù)據進行有效傳輸和存儲,從而保證后期高效、可靠、實時的訪問。因此數(shù)據存儲是無線傳感器網絡一個重要的研究領域。當前的數(shù)據存儲算法根據存儲策略的不同主要分為本地存儲、外部存儲、數(shù)據為中心存儲三種。
地理信息路由是數(shù)據為中心的存儲中應用最廣泛的一種經典路由,周界轉遞模式在尋找存儲節(jié)點時存在著轉遞次數(shù)過多引起的能量浪費,提出了一種可以減少周界轉遞的位置逼近算法。該算法的思想是:在數(shù)據轉遞中,當節(jié)點距離目的位置足夠近時,則修剪掉后面的周界轉遞過程。地理位置逼近算法可以有效減少周界轉遞造成的能量消耗,從而提高網絡能量利用率。 基于網格的存儲節(jié)點動態(tài)分配算法 GBMT,使事件數(shù)據更加均勻的存儲在節(jié)點上。該算法主要思想是:把事件映射到一個網格中,根據節(jié)點的當前的存儲空間和能量,該網格動態(tài)的分配存儲該事件的節(jié)點。通過設置閾值和虛擬坐標兩個機制,防止某個節(jié)點過多的擔任存儲的任務,避免熱點問題。該算法使數(shù)據在網內存儲分布更加均勻,進而提高網絡服務質量,延長網絡使用壽命。
五、結束語
通過對現(xiàn)階段已有的三種網絡數(shù)據存儲方式進行深入研究可以清楚的知道，現(xiàn)階段的移動網絡數(shù)據存儲已經可以通過這三種方式實現(xiàn)，針對數(shù)據的安全等方面也做了相應的研究，保障用戶的數(shù)據安全是實現(xiàn)網絡數(shù)據存儲最關鍵的一步。相信通過不斷的研究，網絡數(shù)據存儲必將開啟新的篇章。
作者簡介：趙春燕（1984—），女， 北京人，工程師，研究方向：高性能計算系統(tǒng)管理維護、軟件配置管理（E-mail：）；孫英銳（1973—），男，河北遷交人，高級工程師，碩士，研究方向：氣象數(shù)據存儲管理。
摘要：為了滿足氣象數(shù)據快速增長和高效應用的業(yè)務需求，設計采用基于SAN和GPFS的高性能存儲集群進行數(shù)據存儲，并隨著數(shù)據量的快速增長，實現(xiàn)靈活在線擴展以滿足數(shù)據存儲需求。結合國家級氣象資料存儲檢索系統(tǒng)、省級風能資源數(shù)據庫共享服務系統(tǒng)和風能資源數(shù)值模擬系統(tǒng)的存儲設計，闡述基于SAN和GPFS技術的存儲集群架構，并重點介紹存儲集群的在線擴展技術的實現(xiàn)。基于SAN和GPFS的存儲集群在線擴展技術包含在線擴展服務器節(jié)點、在線擴展存儲容量和在線擴展文件系統(tǒng)容量三方面，實現(xiàn)了氣象數(shù)據存儲系統(tǒng)隨著業(yè)務數(shù)據變化的靈活擴展，使系統(tǒng)具備優(yōu)秀的擴展性和適應性。
關鍵詞：氣象數(shù)據存儲；存儲集群；SAN；GPFS集群；在線擴展
1引言
隨著氣象事業(yè)和科技水平的迅速發(fā)展，氣象數(shù)據的種類、數(shù)量也隨之迅速增長，目前氣象數(shù)據的存儲采用數(shù)據庫和共享文件系統(tǒng)兩種技術，根據數(shù)據特點和服務方式將數(shù)據按照在線、近線和離線三種方式進行存儲。由于氣象數(shù)據種類多、數(shù)量大、格式多樣，除通用數(shù)據庫、專題數(shù)據庫存儲的數(shù)據之外，還有大量的數(shù)據采用高性能的共享文件系統(tǒng)實現(xiàn)在高速磁盤陣列上的直接在線存儲，以滿足業(yè)務應用、服務和安全備份的需求。隨著業(yè)務的不斷豐富，數(shù)據量呈現(xiàn)快速增長，大量數(shù)據庫系統(tǒng)也采用高性能共享文件系統(tǒng)作為底層存儲，如何高效的訪問存儲，保障業(yè)務應用的數(shù)據訪問效率，同時考慮滿足不斷增長的數(shù)據存儲需求，靈活的在線擴展，成為存儲系統(tǒng)設計和實現(xiàn)中必須考慮的問題。
我國氣象部門應用廣泛采用GPFS（General Parallel File System）[1]、NFS（Network File System）[2]等共享文件系統(tǒng)。GPFS是一個可擴展、高性能、安全的通用并行文件系統(tǒng)，在性能和安全性上優(yōu)于NFS[3]，結合SAN（Storage Area Network）[4] 高速高可靠網絡互聯(lián)技術，構成高性能的數(shù)據存儲集群[5]，實現(xiàn)大容量數(shù)據庫存儲和直接的在線存儲，廣泛的應用于氣象信息系統(tǒng)數(shù)據庫、共享數(shù)據存儲系統(tǒng)建設中。
針對基于SAN和GPFS的存儲集群架構，探討了在數(shù)據計算和處理能力、存儲容量、文件系統(tǒng)容量變更等三方面的在線擴展技術，對氣象數(shù)據存儲系統(tǒng)的靈活擴展具有重要意義。
2高性能氣象數(shù)據存儲集群設計
基于SAN和GPFS的存儲集群物理架構包含三層，1）存儲層：高速磁盤陣列；2）SAN存儲網絡層：冗余鏈路配置的高速SAN存儲區(qū)域網；3）服務器層：至少兩臺的服務器作為冗余的數(shù)據訪問處理節(jié)點。
2.1存儲集群架構設計
2.1.1.物理架構 本實例采用三臺服務器作為集群節(jié)點，配置兩臺冗余SAN光纖交換機，四臺磁盤陣列。每臺服務器配置兩塊HBA卡，冗余連接至兩臺SAN交換機。每臺光纖交換機配置2個控制器，每個控制器兩個端口，將每個控制器冗余連接到兩臺SAN交換機。如圖1所示，為存儲集群的物理架構，冗余配置保證了在Zone劃分后集群的高可靠性。服務器節(jié)點間通過以太網連接，服務器節(jié)點和存儲之間的連接鏈路采用光纖線，磁盤陣列采用高端磁盤陣列，構成高性能數(shù)據存儲管理集群，根據業(yè)務數(shù)據訪問性能需求和磁盤陣列的光纖出口速率，可對集群性能進行精細化分析，在此不詳細探討。
2.1.2邏輯架構
使集群節(jié)點訪問存儲設備的路徑唯一，需要對連接到SAN中的服務器和存儲劃分Zone，實現(xiàn)設備的隔離。Zone劃分好以后，配置GPFS集群，形成邏輯上的存儲集群。存儲集群的邏輯架構如圖2所示，GPFS將物理磁盤映射形成虛擬設備NSD（Network Share Disk），將一個或多個NSD作為邏輯文件設備掛載到服務器節(jié)點上提供給文件系統(tǒng)使用。
2.2存儲集群構建
2.2.1物理結構配置
1）將三臺服務器連接至以太網絡，配置光纖交換機，配置Domain。
SAN1：Domain為1，SAN2：Domain為2
2）規(guī)劃服務器節(jié)點和存儲占用的交換機端口，并按規(guī)則為每個控制器進行編號，在交換機中配置。
（1）服務器節(jié)點
控制器A：I-SRV-1-A-1：1，1 ；
控制器B：I- SRV-1-B-2：2，1 ；
各項含義為：交換-服務器-服務器編號-控制器-Domain：Domain，端口號
（2）磁盤陣列
控制器A：I-DS42-1-A-1：1，4 ；
控制器A：I-DS42-1-A-2：2，4 ；
控制器B：I- DS42-1-B-1：1，5 ；
控制器B：I- DS42-1-B-2：2，5 ；
各項含義為：交換-陣列名稱-陣列編號-控制器-Domain：Domain，端口號
3）物理連線：按照圖1所示結構和端口規(guī)劃，用光纖線連接服務器、SAN交換機和磁盤陣列。
4）Zone劃分：創(chuàng)建Zone，并指定該Zone所包含的端口，將Zone添加到配置中，保存配置，并使其生效。
5）LUN Mapping：基于存儲管理軟件，將LUN與集群節(jié)點的端口進行綁定，使LUN與主機建立一對一或者多對一的映射關系。
2.2.2GPFS集群構建
如圖3所示，在物理架構搭建后，對各個服務器節(jié)點做互信配置，并在每個節(jié)點上安裝GPFS軟件包，創(chuàng)建GPFS集群。根據應用需求創(chuàng)建文件系統(tǒng)，提供給文件存儲使用或數(shù)據庫應用，則構成GPFS高性能存儲集群。
3存儲集群在線擴展技術
圖2所示GPFS存儲集群的邏輯結構分為三層，服務器節(jié)點層、文件系統(tǒng)層、磁盤存儲層。GPFS存儲集群的擴展包含這三方面：在線擴展服務器節(jié)點、在線擴展磁盤容量和在線擴展文件系統(tǒng)。
3.1在線擴展服務器節(jié)點
風能資源數(shù)值模擬系統(tǒng)[6，7，8]基于SAN和GPFS的集群架構，由7臺服務器節(jié)點構成高性能數(shù)據存儲處理集群，但風能資源數(shù)值模擬業(yè)務涉及大量的計算和數(shù)據處理，隨著業(yè)務計算需求的增加，7個節(jié)點的處理能力逐漸顯得不足，需要在不影響現(xiàn)有應用的情況下在線擴展集群節(jié)點至16個。圖4所示，將G07至G15節(jié)點在線增加至GPFS集群，流程與新建GPFS集群流程相似，如圖5所示，在物理連接配置環(huán)節(jié)，將新增的節(jié)點逐一加入到已有的Zone中，并使配置生效，在集群配置環(huán)節(jié)將節(jié)點增加至集群。集群節(jié)點的擴展包括剔除節(jié)點，直接執(zhí)行最后一個環(huán)節(jié)：從GPFS集群刪除節(jié)點操作。
3.2在線擴展磁盤容量
國家級氣象資料存儲檢索系統(tǒng)[9，10]（簡稱“存儲系統(tǒng)”）中采用了基于SAN和GPFS的集群架構，提供高性能計算機用戶無法在高性能計算機上長期在線保存而又需要保存的各類數(shù)據以及需要備份和歸檔的數(shù)據。
擴容前存儲能力為337.8TB，可用磁盤容量以所有文件系統(tǒng)平均90%為可用上限計算為304.02TB，僅有20TB左右的余量，無法滿足數(shù)據量的增長，通過在線擴展磁盤陣列，實現(xiàn)系統(tǒng)無業(yè)務影響擴容80TB，如圖6所示。
集群中存儲容量的擴展，需要將新增的磁盤設備用光纖連線加入SAN中，并加入Zone的配置使其生效，將LUN與集群中的節(jié)點進行綁定。
流程如圖7所示，將已連接集群的該存儲設備創(chuàng)建為虛擬的NSD，并創(chuàng)建文件系統(tǒng)，分配這些空閑的NSD給掛載的文件系統(tǒng)。
3.3在線擴展文件系統(tǒng)容量
省級風能資源數(shù)據庫共享服務系統(tǒng)[11，12]基于基礎地理信息、風能資源專業(yè)觀測網數(shù)據、詳查區(qū)數(shù)值模擬結果與綜合評估數(shù)據，為決策部門、業(yè)務用戶、行業(yè)用戶以及公眾用戶提供不同層次的風能數(shù)據共享服務，其數(shù)據庫存儲基于SAN和GPFS的集群架構設計實現(xiàn)。
表1所示為省級風能資源數(shù)據庫共享服務系統(tǒng)文件系統(tǒng)容量擴展前的參數(shù)值，系統(tǒng)共建立四個文件系統(tǒng)，業(yè)務流程調試過程中發(fā)現(xiàn)/dev/gpfs_DB文件系統(tǒng)容量預估過小，不能滿足應用需求，擬在不影響現(xiàn)有系統(tǒng)數(shù)據存儲的情況下，對系統(tǒng)進行調整。
表2所示調整后情況，與表1所示調整前文件系統(tǒng)容量分布比較可以看出，/dev/gpfs_mysql文件系統(tǒng)容量由調整前的5.5TB縮減為2.2TB，/dev/gpfs_DB文件系統(tǒng)的容量由調整前的2.2TB，增加至5.5TB，而調整前后系統(tǒng)總容量未改變。調整過程在線進行，對用戶和應用透明，未對現(xiàn)有數(shù)據發(fā)生影響。
該方法是在線實現(xiàn)容量調整的，但在實踐中需要注意三點：1）GPFS在刪除磁盤前會自動遷移走該盤上的數(shù)據，前提是該刪除的磁盤是好的、可用的；2）除去要刪除的磁盤之外，是否剩余足夠的磁盤空間存儲文件系統(tǒng)中的數(shù)據。3）在執(zhí)行調整命令后留出一定的時間供GPFS元數(shù)據同步，防止元數(shù)據不一致導致的性能下降的問題。
3.4系統(tǒng)擴展效果
以上三套系統(tǒng)所采用的基于SAN和GPFS架構的存儲集群，其分層的存儲架構和靈活的在線擴展技術使得系統(tǒng)具有良好的業(yè)務適應性，能夠提供高效的數(shù)據存儲訪問，并能夠隨著業(yè)務需求變化而快速、安全、無縫的擴展。
4總結
本文介紹了國家級氣象資料存儲檢索系統(tǒng)、省級風能資源數(shù)據庫共享服務系統(tǒng)和風能資源數(shù)值模擬系統(tǒng)的存儲架構和在線擴展的實施，闡述了基于SAN和GPFS技術的高性能氣象數(shù)據存儲集群架構及其在線擴展技術，實現(xiàn)了存儲集群數(shù)據處理能力、數(shù)據存儲容量及文件系統(tǒng)容量隨著氣象數(shù)據和業(yè)務需求變化的靈活擴展。經過實踐的檢驗，該存儲架構具備靈活的可擴展性和適應性，能夠在不影響已有數(shù)據應用服務的前提下實現(xiàn)在線擴展，適用于快速增長的氣象數(shù)據存儲管理的需求。
摘 要 社會經濟的快速發(fā)展帶動了科學技術的進步，尤其是計算機技術的發(fā)展可謂突飛猛進，目前已經出現(xiàn)了新的計算形式，即云計算。該種計算模式的出現(xiàn)，實際上就是對互聯(lián)網技術的一種升華和體現(xiàn)，在此背景下的數(shù)據存儲技術也成為非常重要的一個技術領域。本文將對云計算與數(shù)據存儲問題進行簡單闡釋，并在此基礎上就云計算環(huán)境下的數(shù)據存儲技術談一下自己的認識，以供參考。
關鍵詞 云計算；數(shù)據存儲；研究
所謂云計算，實際上就是一種以服務為主體的現(xiàn)代架構體系，基本服務形式有兩種，一種是云計算，另一種是云存儲。云計算是計算機技術快速的一種新形式，這種基于云計算服務體系的現(xiàn)代應用程序，在現(xiàn)代金融服務領域、網絡系統(tǒng)中扮演著非常重要的角色，幾乎在所有的環(huán)境下都需要云存儲來滿足數(shù)據處理要求。因此，在當前的形勢下，加強對云計算環(huán)境下的數(shù)據存儲技術問題研究，具有非常重大的現(xiàn)實意義。
1 云計算與云存儲
1.1 云計算
云計算主要是基于Internet技術提供服務的一種技術形式，它可以提供動態(tài)化的可伸縮、虛擬資源計算模式。其中，云是一種比喻性的說法，實質是計算機網絡和互聯(lián)網。傳統(tǒng)意義上的“云”代表的是電信網，近年來才用于互聯(lián)網、基礎設施抽象表達。云計算通過計算，使大量的數(shù)據信息分布于計算機之上，并非本地計算機、遠程服務器之中，而企業(yè)數(shù)據中心的實際運行與計算機互聯(lián)網非常相似，這在很大程度上可以使企業(yè)將資源信息切換至客觀應用上，并且根據實際需求，對計算機及其存儲系統(tǒng)進行訪問。簡單地說，正如從傳統(tǒng)的單臺發(fā)電機模式向現(xiàn)代的電廠集中供電模式轉變一樣，這意味著計算能力已經作為商品在流通，并且像水電一樣，利用方便而費用低廉，主要區(qū)別在于它是借助互聯(lián)網技術進行傳輸。
1.2 云存儲
所謂云存儲，實際上基于云計算概念延伸出來的新概念，它與云計算非常相似，以集群應用、分布式文件系統(tǒng)以及網格技術等功能為基礎，將計算網絡中的各種存儲設備借助應用軟件進行有效集中，從而使其協(xié)同作業(yè)，具體功能是對外提供相關的數(shù)據存儲以及業(yè)務訪問。從本質上來講，云存儲是對當前存儲模式的一種創(chuàng)新，同時也是特殊的架構服務之一。形象地說，就像是云一樣的廣域網、互聯(lián)網，對應用者而言，具有透明性；云存儲的關鍵在于相關應用程序軟件、存儲設備之間的有機結合，并且通過這些應用軟件來實現(xiàn)存儲設備之間的服務轉變。
2 云計算環(huán)境下的數(shù)據存儲體系構建
實踐中，云計算環(huán)境下的數(shù)據存儲體系，主要包括數(shù)據中心、云服務接口、云用戶以及服務協(xié)議等內容，其中數(shù)據中心主要由存儲管理、分布式文件系統(tǒng)以及存儲設備等構成，同時它也是云計算環(huán)境下實現(xiàn)數(shù)據存儲的基礎。云存儲設備通常沒有特殊的規(guī)定的類型，既可以是個人PC，也可是企業(yè)發(fā)展過程中所應用的專門存儲設備，甚至是二者的結合體。分布式文件系統(tǒng)，即文件系統(tǒng)管理中的物理存儲資源是通過網絡節(jié)點之間相互連接的，該系統(tǒng)的設計主要是依據客戶機、服務器模式。
2.1 服務器架構
云存儲體系構建之前，應當先構建云存儲服務器架構，它是云計算IAAS中重要組成部分，可通過多樣化的架構技術實現(xiàn)，常見的是附網存儲（NAS）以及存儲區(qū)域網（SAN）。
NAS屬于分布式架構系統(tǒng)的文件存儲系統(tǒng)，是一種松散結合型集群，實踐中可有效滿足以云存儲為主體的環(huán)境要求，而且在該系統(tǒng)集群中，任何一個節(jié)點都是相對獨立的實體。在此系統(tǒng)中，最小單位即為文件。當文件被保存在該集群之中時，其數(shù)據信息會被有效地保存在集群中的特定節(jié)點上，雖然文件副本很多，也可能會被重新定位到另外的節(jié)點上，從而形成冗余，但該節(jié)點提供的文件單實例卻是唯一的。下圖為NAS存儲架構示意圖如圖1所示。
實踐中可以看到，SAN為集群架構塊存儲系統(tǒng)的一種，即為緊密結合型集群系統(tǒng)。當文件請求產生時，每一個節(jié)點都會訪問該文件中的不同數(shù)據塊，并對用戶的請求進行及時的處理。用戶請求越多，SAN響應請求可用節(jié)點數(shù)量就越多，此時其性能也就越強。實踐證明，該存儲架構比較適合于云服務器，而且其可擴展性非常的好，數(shù)據傳輸效率較高，若配合P2P以及重復數(shù)據刪除技術使用，可有效滿足一級存儲要求。
2.2 服務器之間的數(shù)據信息傳送
針對當前的存儲結構體系，NFS、CIF即為NAS存儲系統(tǒng)的數(shù)據傳送協(xié)議，將NFS、CIF作為數(shù)據傳送口，可實現(xiàn)異構平臺間的信息資源有效共享。NFS在Windows客戶端加載了NFS客戶端軟件，這樣就可以確保Windows客戶端能夠有效融入到UNIX基礎的計算機網絡系統(tǒng)之中；CIF在UNIX服務器上也加載了CIFS服務器端軟件，這樣就可以使UNIX服務器與本地Windows服務器一樣。NFS與CIF，使NAS服務器間形成一個統(tǒng)一的整體，實現(xiàn)了云存儲服務的統(tǒng)一化，并且在集群環(huán)境下，表現(xiàn)非常的突出。ISCSI也是一種SAN數(shù)據傳送協(xié)議，它可以實現(xiàn)單客戶端有效應用程，像本地客戶端使用服務器資源一樣，操作結果對另外客戶端不透明。
3 結束語
云計算作為一種典型的現(xiàn)代計算模式，擁有較大規(guī)模的數(shù)據集，可向廣大用戶提供最優(yōu)質的服務。云計算環(huán)境下的數(shù)據存儲，采用的是冗余存儲方式來確保存儲數(shù)據的安全可靠性，未來云存儲將向著安全性、共享性以及便捷性方向發(fā)展。
【摘 要】隨著IT系統(tǒng)向云計算技術方向演進，數(shù)據存儲應用需求也出現(xiàn)了顯著的變化特點，傳統(tǒng)的數(shù)據存儲已不能滿足云時代的需要。為解決云時代的數(shù)據存儲問題，首先分析了傳統(tǒng)數(shù)據存儲應用技術現(xiàn)狀，接著在此基礎上分析了塊存儲、分布式存儲、對象存儲、表存儲等非結構化和結構化存儲技術在云計算環(huán)境中的不同應用及性能特點，為云時代的數(shù)據存儲技術提供建議。
【關鍵詞】云計算 云存儲 塊存儲 結構化存儲
1 傳統(tǒng)數(shù)據存儲應用現(xiàn)狀
隨著社會信息時代的快速發(fā)展，用戶對存儲的需求增長迅速。在進入云環(huán)境的時代，傳統(tǒng)IT系統(tǒng)存儲技術面臨建設成本高、運維復雜、擴展性有限等問題的挑戰(zhàn)，系統(tǒng)存儲擴容壓力很大，主要表現(xiàn)在以下幾個方面：首先，傳統(tǒng)存儲開放性不足，通常采用軟硬件一體化解決方案，標準化程度低，不同廠家系統(tǒng)無法混合使用；其次，成本較高，且市場壟斷嚴重，建設成本居高不下，擴容成本尤其高；再者，擴展性能較差，其單點擴展存在容量上限和接口帶寬等限制，面對云時代PB級的海量存儲需求，在容量和性能的擴展上無法滿足。
長期以來，傳統(tǒng)IT系統(tǒng)存儲一直存在諸多資源配置不合理的狀況，帶來資源浪費。一些系統(tǒng)不考慮數(shù)據的價值和訪問方式，統(tǒng)一放在磁盤陣列或NAS中，相對于云存儲缺少性能、擴展性和低成本的優(yōu)勢。而另有一些系統(tǒng)對磁盤I/O性能要求并不太高，卻仍然采用FC SAN建設，造成建設成本的浪費。大部分系統(tǒng)沒有區(qū)分應用對磁盤可靠性的要求，統(tǒng)一使用SAS磁盤，將SATA盤排除在外，造成一定的浪費。
傳統(tǒng)的塊存儲承載傳統(tǒng)關系數(shù)據庫，在應對大數(shù)據環(huán)境下高性能應用系統(tǒng)，特別是超大規(guī)模和高并發(fā)的業(yè)務系統(tǒng)已經顯得力不從心，暴露出很多難以克服的問題。傳統(tǒng)關系數(shù)據庫穩(wěn)定性高，使用簡單，功能強大，久經歷史考驗，積累了大量的成功案例。但是，隨著網絡技術和軟件技術的飛速發(fā)展，網站也開始快速發(fā)展，近幾年比較火爆的論壇、博客、SNS、微博逐漸引領Web領域的潮流。隨著訪問量的急劇上升，幾乎大部分使用傳統(tǒng)數(shù)據庫的網站都開始出現(xiàn)了性能問題。Web程序也不再僅僅專注在功能上，同時也在追求性能，雖然后來MySQL的集群技術和Memcache的緩存技術使得MySQL架構在一定程度上緩解了性能的壓力，但最終還是因為其擴展性差（需要比較復雜的技術來實現(xiàn)），承受著大數(shù)據下的I/O壓力，因此依然面臨著很大的問題。
傳統(tǒng)的關系型數(shù)據庫系統(tǒng)并不能提供這些應用所需要的高可擴展性，新型的網絡應用又不像金融等領域那樣需要嚴格的數(shù)據一致性和很強的事務特性，而是對海量數(shù)據的松散結構表示以及可用性與可擴展性提出了更高的要求。很多研究學者與互聯(lián)網公司早已開始尋求新的數(shù)據存儲和管理架構，并試著弱化數(shù)據管理系統(tǒng)在一致性和事務性方面的要求，向著系統(tǒng)可用性和可擴展性方面努力，使之成功運用到后端系統(tǒng)中。
2 云環(huán)境下數(shù)據存儲需求特點
隨著現(xiàn)代信息網絡技術發(fā)展，數(shù)據信息總量正呈指數(shù)級爆炸式增長，在如此大量數(shù)據產生的時代，用戶的數(shù)據存儲需求具有全新的特點：
（1）對數(shù)據庫高并發(fā)讀寫的需求
隨著互聯(lián)網應用的發(fā)展，Web 2.0應用強調的是以用戶為主，需要根據用戶個性化信息來實時生成動態(tài)頁面和提供動態(tài)的信息，目前比較流行的微博就是如此。該類應用對數(shù)據庫的并發(fā)訪問的負載就非常高，往往能達到每秒上萬次的讀寫請求，甚至更多。從已有的優(yōu)秀的數(shù)據庫產品看來，對于上萬次SQL查詢還能勉強應付，但是應付上萬次SQL寫數(shù)據請求時，I/O成了瓶頸。
（2）對海量數(shù)據的高效率存儲和訪問的需求
以Facebook為例，它一個月就達到了2.5億條用戶動態(tài)，對于關系數(shù)據庫來說，在一張擁有2.5億條記錄的表里面進行SQL查詢，效率是極其低下乃至無法忍受的。在未來大數(shù)據時代，海量數(shù)據的高效存儲和訪問是必須要解決的問題。
（3）對數(shù)據庫的高可擴展性和高可用性的需求
在基于Web的架構中，數(shù)據庫是最難進行橫向擴展的，當一個Web應用的用戶量和訪問量與日暴增時，數(shù)據庫服務器卻沒辦法像Web Server那樣簡單地通過更多的硬件和服務節(jié)點來進行性能擴展與負載分擔。對于很多需要不間斷提供服務的網站來說，由于這樣的升級需要停機維護和數(shù)據遷移，將使用戶體驗值急劇降低。
（4）支持非結構化數(shù)據的處理能力的需求
傳統(tǒng)的關系型數(shù)據庫對數(shù)據的處理和數(shù)據類型有比較明確的限制，只針對某些數(shù)據類型，如整型數(shù)字、字符、字符串等，而對類似圖片、音視頻的非結構化數(shù)據的支持不夠，無法滿足未來用戶對各種各樣類型數(shù)據的需求。
對于以上數(shù)據存儲應用需求，傳統(tǒng)存儲應用技術是無法勝任云計算環(huán)境下應用需求的。云存儲技術的發(fā)展結合了各種存儲技術應用的特點，在容錯、吞吐量、冗余、讀寫分布、數(shù)據劃分、負載均衡等特性方面進行技術提升，并綜合多種存儲技術以適應復雜的不同的數(shù)據存儲需求。
3 數(shù)據存儲技術在云計算環(huán)境中的應用特性分析
現(xiàn)有的IT環(huán)境正逐步向云計算環(huán)境演進，在未來云時代，塊存儲、分布式存儲、對象存儲、表存儲等非結構化和結構化存儲技術有各自的應用特點，可區(qū)分不同應用需求，實現(xiàn)云環(huán)境下存儲能力最優(yōu)化應用。
3.1 塊存儲技術
塊存儲基于傳統(tǒng)的磁盤陣列實現(xiàn)，主要為現(xiàn)有各種應用提供通用的存儲能力，將存儲區(qū)域劃分成固定大小的小塊，使傳統(tǒng)裸存儲設備的存儲空間對外暴露，將大量磁盤設備通過SCSI/SAS或FC SAN與存儲服務器連接，服務器直接通過SCSI/SAS或FC協(xié)議控制和訪問數(shù)據。塊存儲方式由于不存在數(shù)據打包/解包過程，可提供更高的性能，數(shù)據訪問延遲低、帶寬較高，但可擴展性差。因此可采用彈性塊存儲降低傳統(tǒng)磁盤盤陣的使用比例，以滿足快速分配和靈活擴展的場景。
塊存儲本身可以通過多個設備堆疊出更大的空間，但受限于數(shù)據庫的能力，通常只能支持TB級數(shù)據庫應用。主要為一些高性能、高I/O的企業(yè)關鍵業(yè)務系統(tǒng)（如企業(yè)內部數(shù)據庫）提供存儲，也可為虛擬機提供集中存儲，包括鏡像和實例的存儲。
在云計算環(huán)境中，塊存儲的使用可根據數(shù)據的重要性、訪問頻率、保留時間、容量、性能等指標，進行分級存儲管理。一般可進行動態(tài)、靜態(tài)存儲分級，基于文件級和塊級分級，基于主機和盤陣等類型分級，將數(shù)據采取不同的存儲方式分別存儲在不同性能的存儲設備上，以實現(xiàn)數(shù)據客體在存儲設備之間的自動遷移。同時，為提高存儲利用率，還可以使用存儲瘦供給技術，當存儲真正開始使用時才開始實際分配物理空間，可達到減少每GB可用空間的成本的目的。
3.2 非結構化存儲技術
在云計算環(huán)境下引入非結構化云存儲技術可降低傳統(tǒng)盤陣/NAS的采購成本，滿足業(yè)務系統(tǒng)海量非結構化數(shù)據存儲處理需求。在互聯(lián)網類業(yè)務等具有海量冷數(shù)據存儲需求的業(yè)務中，可逐步采用基于X86架構本地硬盤的分布式文件、對象、彈性塊等云存儲產品，代替NAS和傳統(tǒng)盤陣設備，并開展和推動云存儲接口標準化和規(guī)范化，推動上層業(yè)務軟件適應底層新型云存儲系統(tǒng)，最終在業(yè)務系統(tǒng)中大規(guī)模引入非結構化云存儲技術。目前非結構化存儲技術主要包括分布式文件存儲和對象存儲兩種。
（1）分布式文件存儲
分布式文件存儲提供文件存儲能力，把分布在局域網內各個計算機上的共享文件夾集合成一個虛擬共享文件夾，將整個分布式文件資源以統(tǒng)一的視圖呈現(xiàn)給用戶，最終以標準文件系統(tǒng)接口形式，向應用系統(tǒng)提供海量非結構化數(shù)據存儲空間，支持隨機讀寫、復雜目錄結構。
對于數(shù)據增長量快的文件存儲型業(yè)務，分布式文件存儲提供NFS、CIFS、POSIX等文件訪問接口，但整體協(xié)議開銷較高、響應延遲比塊存儲長，存儲能力和性能水平有待擴展。分布式文件存儲適合TB～PB級文件存儲，可支持文件頻繁修改和刪除，例如存儲圖片、文件、視頻、郵件附件、MMS內容等，同時它在文件在線備份和文件共享具有較強優(yōu)勢，但上層業(yè)務需要考慮支持跨多個文件系統(tǒng)的系統(tǒng)結構。
（2）對象存儲
對象存儲與分布式文件存儲都屬于非結構化存儲類型，對象存儲操作簡單、無需頻繁修改，對于一次寫入、多次讀取的數(shù)據，優(yōu)先考慮對象數(shù)據存儲系統(tǒng)。對象存儲為海量非結構化數(shù)據提供Key-Value這種通過鍵-值查找數(shù)據文件的存儲模式，提供基于對象訪問的REST/SOAP接口，協(xié)議開銷較高，且響應延遲較文件存儲長，應用系統(tǒng)跟存儲系統(tǒng)的耦合程度松散。
在對象存儲中引入對象元數(shù)據描述對象特征，所存儲的對象是附帶各種屬性信息的文件，屬性包括圖片尺寸、拍攝時間等，一般采用“桶”作為對象的容器來劃分應用和用戶。由于對象存儲系統(tǒng)同時管理用戶信息和實際數(shù)據，上層業(yè)務設計時需考慮支持跨多個對象存儲的場景。對象存儲屬PB級文件在線存儲，用于在線訪問的文件存儲（包括縮略圖、音樂視頻、大文件）。數(shù)據存儲后很少改動，對于文件索引所容納的條目數(shù)量不受限制。對象存儲是企業(yè)能夠以低成本的簡易方式實現(xiàn)對大規(guī)模數(shù)據存儲和訪問的方案。同時，對象存儲使得“混合云”和“公有云”成為可能，也使以互聯(lián)網服務的方式進行廣域歸檔或遠程數(shù)據備份成為可能。
3.3 結構化存儲技術
針對傳統(tǒng)數(shù)據庫對非一致性數(shù)據存儲及不能靈活擴展等技術壁壘，在云存儲技術中用表存儲以管理結構化數(shù)據或者半結構化數(shù)據，并通過設置鍵值對映射模型采用Hadoop框架等技術，向應用系統(tǒng)提供高可擴展的表存儲空間，主要包括交易型（OLTP）數(shù)據庫和分析型（OLAP）數(shù)據庫。
交易型應用每次更新或查找少量記錄，并發(fā)量大，響應時間短，主要應用在大規(guī)?；ヂ?lián)網社交網絡、博客、微博、在線詳單查詢等。在新型互聯(lián)網業(yè)務和詳單查詢業(yè)務中，針對交互性海量數(shù)據查詢需求，可引入NoSQL存儲，提升系統(tǒng)可擴展性和數(shù)據處理能力，消除系統(tǒng)瓶頸。
分析型應用特點則是更新少，批量導入，每次針對大量數(shù)據進行處理，并發(fā)量小。主要應用在大規(guī)模日志存儲處理、信令系統(tǒng)XDR數(shù)據存儲和分析預處理、經分系統(tǒng)ETL等場景。并且可引入逐步成熟的日志詳單類存儲，系統(tǒng)的性能、穩(wěn)定性及安全性將得到全面提升，這可以作為數(shù)據倉庫的補充，承擔ETL、數(shù)據挖掘和非結構化數(shù)據處理，緩解現(xiàn)有數(shù)據倉庫的壓力。
4 結束語
在云環(huán)境中積極探索和引入大數(shù)據處理和云存儲技術，開展和推動云存儲接口標準化和規(guī)范化，將有效推動上層業(yè)務軟件適應底層新型云存儲系統(tǒng)。在云存儲技術發(fā)展的另一方面，存儲網絡技術和存儲介質技術的進步也必將推動云存儲的有效規(guī)模部署，共同推動云時代的加速發(fā)展。
摘要：隨著Web2.0技術的發(fā)展，用戶對數(shù)據的計算和存儲需求激增，往往通過購置更多數(shù)量的服務器來增加計算和存儲能力。通過互聯(lián)網租用計算能力和存儲資源，就可以大大減少對自有硬件資源的依賴。因此，將云計算技術應用到存儲領域可以大大提高資源的利用率。本文主要分析基于云計算的數(shù)據存儲技術。
關鍵詞：云計算，數(shù)據存儲，技術
云計算是一種基于服務的架構體系，有兩種基本服模式：云計算和云存儲。 基于云計算服務的應用程序，無論是金融服務還是網絡角色扮演游戲，幾乎在所有情況下都需要高性能的云存儲來滿足數(shù)據處理的需求[1]。網絡時代是一個信息時代，隨著 Web2.0 技術的成熟，大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網上，如何應對這種信息爆炸式的增長速度，如何對這些信息進行有效存儲和管理，云存儲是否能夠應對這種情況，如何才能保證云存儲的高性能，如何才能保證云存儲的靈活性，這些是本文探討的問題。
1、云計算與云存儲
1.1 云計算的概念
云計算（cloud computing）是分布式計算技術的一種，是分布式處理、并行處理和網格計算的發(fā)展。其最基本的概念是通過網絡將龐大的計算處理程序自動拆分成無數(shù)個較小的子程序，再交給由多部服務器組成的運算系統(tǒng)，經過計算分析之后將處理結果回傳給用戶。
1.2 云存儲的概念
云存儲是在云計算概念基礎上延伸和發(fā)展出來的一個新概念。與云計算類似，它是通過集群應用、網格技術或分布式文件系統(tǒng)等功能，將網絡中不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據存儲和業(yè)務訪問功能的一個系統(tǒng)。云存儲是對現(xiàn)有存儲方式的一種變革，是一種特殊形式的架構服務。如同云狀的廣域網和互聯(lián)網一樣，云存儲對使用者來講是透明的，不是指某一個具體的設備，而是指分布在不同物理地域的多臺存儲設備所構成的集合體。云存儲的核心是應用程序軟件與存儲設備相結合，通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。
2、云存儲系統(tǒng)的結構模型
與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個由網絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網和客戶端程序等多個部分組成的復雜系統(tǒng)。它以存儲設備為核心，通過應用軟件對外提供數(shù)據存儲和業(yè)務訪問服務。自下而上分別為存儲層、基礎管理層、應用接口層和訪問層。
2.1 存儲層
存儲層是云存儲的基礎部分。各個存儲設備通過網絡設備連接在一起，存儲設備可以是FC光纖通道存儲設備，也可以是NAS和iSCSI等IP存儲設備。在存儲設備層之上是一個統(tǒng)一的存儲設備管理系統(tǒng)，可以實現(xiàn)存儲設備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設備的狀態(tài)監(jiān)控和故障維護[2]。
2.2 基礎管理層
基礎管理層是云存儲的核心部分，也是云存儲中最難實現(xiàn)的部分?；A管理層通過集群、分布式文件系統(tǒng)和網格計算等技術，實現(xiàn)云存儲系統(tǒng)中多個存儲設備之間的協(xié)同工作，使多個存儲設備可以對外提供強大的數(shù)據訪問功能。使用CDN（Content Delivery Network）進行內容分發(fā)，數(shù)據加密技術保證云存儲中的數(shù)據不會被未授權的用戶所訪問。同時，通過各種數(shù)據備份和容災技術可以避免云存儲中的數(shù)據不會丟失，保證云存儲系統(tǒng)自身的安全和穩(wěn)定。
2.3 應用接口層
云存儲運營單位可以根據實際業(yè)務類型開發(fā)不同的應用服務接口并提供不同的應用服務。比如視頻監(jiān)控應用平臺、IPTV和視頻點播應用平臺及遠程數(shù)據備份應用平臺等。
2.4 訪問層
任何一個授權用戶都可以通過公用應用接口登錄云存儲系統(tǒng)，享受云存儲服務。不同的云存儲運營單位提供的訪問類型和訪問手段也不盡相同。
云計算是一種新型的計算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據集、基于該數(shù)據集,向用戶提供服務。為保證高可用、高可靠和經濟性,云計算采用分布式存儲的方式來存儲數(shù)據,采用冗余存儲的方式來保證存儲數(shù)據的可靠性,即為同一份數(shù)據存儲多個副本。
三、云存儲未來發(fā)展趨勢
云存儲已經成為未來存儲發(fā)展的一種趨勢，目前，云存儲廠商正在將各類搜索、應用技術和云存儲相結合，以便能夠向企業(yè)提供一系列的數(shù)據服務。但是，未來云存儲的發(fā)展趨勢，主要還是要從安全性、便攜性及數(shù)據訪問等角度進行發(fā)展。
四、結束語
云計算是一種新型的計算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據集、基于該數(shù)據集，向用戶提供服務。為保證高可用、高可靠和經濟性，云計算采用分布式存儲的方式來存儲數(shù)據，采用冗余存儲的方式來保證存儲數(shù)據的可靠性，即為同一份數(shù)據存儲多個副本。另外，云計算系統(tǒng)需要同時滿足大量用戶的需求，并行地為大量用戶提供服務。未來云存儲的發(fā)展還是要從安全性、便攜性及數(shù)據訪問等角度進行深入發(fā)展。
