日韩a级无码免费一级视频_亚洲综合小说另类图片五月天_香蕉啪视频在线观看视频久_亚洲AAV秘 一区二区三区

新聞 > 新聞詳情

大數(shù)據(jù)浪潮下科研機(jī)構(gòu)存儲(chǔ)發(fā)展新方向

公司動(dòng)態(tài)|發(fā)布于2020-12-02 14:07:39


在大數(shù)據(jù)分析的浪潮下,我國(guó)科研機(jī)構(gòu)近年來(lái)的數(shù)據(jù)量呈現(xiàn)明顯的爆發(fā)性增長(zhǎng)。大數(shù)據(jù)的搜集與分析能夠從龐大的數(shù)據(jù)源中剔選出過去難以察覺的趨勢(shì)與方向,為科研領(lǐng)域的探索和突破指明了一條新的道路。然而,大數(shù)據(jù)對(duì)信息及數(shù)據(jù)的存儲(chǔ)與管理也帶來(lái)了諸多新的難題。首先,爆發(fā)性增長(zhǎng)的海量信息對(duì)存儲(chǔ)設(shè)備的讀寫性能及擴(kuò)展能力都提出了更高的要求。其次,大數(shù)據(jù)分析所帶來(lái)的龐大歷史數(shù)據(jù)的安全問題也變得尤為重要。過去傳統(tǒng)的存儲(chǔ)基礎(chǔ)架構(gòu)是否在新時(shí)代已顯得捉襟見肘,而基礎(chǔ)架構(gòu)的改造升級(jí)又該何去何從?我們將從存儲(chǔ)虛擬化這一角度入手,來(lái)探討在大數(shù)據(jù)時(shí)代下我國(guó)科研機(jī)構(gòu)數(shù)據(jù)存儲(chǔ)的未來(lái)發(fā)展方向之一。

1我國(guó)科研機(jī)構(gòu)數(shù)據(jù)存儲(chǔ)架構(gòu)的現(xiàn)狀與問題

隨著我國(guó)科研機(jī)構(gòu)的不斷發(fā)展,各種信息化相關(guān)應(yīng)用及大數(shù)據(jù)搜集平臺(tái)的快速增加,加之原有的網(wǎng)站系統(tǒng)、OA系統(tǒng)等都同樣運(yùn)行、存儲(chǔ)在本地的業(yè)務(wù)中心,原有的基礎(chǔ)架構(gòu)早已不堪重負(fù)。在數(shù)據(jù)爆發(fā)性增長(zhǎng)及信息系統(tǒng)的安全性、連續(xù)性要求越來(lái)越高的雙重壓力下,原有的存儲(chǔ)體系架構(gòu)及其運(yùn)維管理逐漸跟不上發(fā)展的腳步,主要體現(xiàn)在以下幾個(gè)方面:

第一, 在現(xiàn)有的存儲(chǔ)網(wǎng)絡(luò)架構(gòu)下,隨著數(shù)據(jù)量的快速增長(zhǎng),服務(wù)器和磁盤陣列數(shù)量都隨之快速增長(zhǎng),對(duì)于這些不同品牌、型號(hào)、容量、性能的磁盤陣列的管理越來(lái)越復(fù)雜,導(dǎo)致存儲(chǔ)資源利用效率不高、存儲(chǔ)讀寫性能瓶頸、存儲(chǔ)空間擴(kuò)展困難、數(shù)據(jù)跨存儲(chǔ)存放和遷移困難等。

第二, 早期的業(yè)務(wù)連續(xù)性(高可用性)多采用服務(wù)器端雙機(jī)集群來(lái)保障,而數(shù)據(jù)則存放在一臺(tái)共用存儲(chǔ)中,存儲(chǔ)的單點(diǎn)故障往往被忽視了。尤其是,近年來(lái)隨著服務(wù)器虛擬化、云計(jì)算技術(shù)的迅速發(fā)展,絕大多數(shù)電力企業(yè)內(nèi)配置了虛擬化服務(wù)器,將大量應(yīng)用遷移到虛擬機(jī)上運(yùn)行,而虛擬機(jī)以文件的形式集中存放在一臺(tái)公共存儲(chǔ)中。如此一旦存儲(chǔ)設(shè)備發(fā)生故障,業(yè)務(wù)應(yīng)用往往要花較長(zhǎng)時(shí)間恢復(fù),甚至大量運(yùn)行在虛擬機(jī)上的應(yīng)用將無(wú)法恢復(fù)。

第三, 由于業(yè)務(wù)數(shù)據(jù)重要性提高,傳統(tǒng)的依托備份軟件的數(shù)據(jù)備份方式已無(wú)法滿足數(shù)據(jù)安全保護(hù)的要求。采用備份軟件定期對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行備份,備份周期較長(zhǎng),備份數(shù)據(jù)的正確性無(wú)法驗(yàn)證,一旦發(fā)生故障,不但恢復(fù)時(shí)間長(zhǎng),而且數(shù)據(jù)丟失量較大。

因此,結(jié)合以上問題,我們希望能夠找到一種方法,在能夠?qū)υ性O(shè)備、系統(tǒng)進(jìn)行最大化程度利用的前提下,改變存儲(chǔ)管理模式,簡(jiǎn)化存儲(chǔ)分配,提升存儲(chǔ)的讀寫性能、安全性與可用性,而存儲(chǔ)虛擬化無(wú)疑是一種不錯(cuò)的選擇與方向。


2存儲(chǔ)虛擬化技術(shù)及其分類

權(quán)威組織SNIA(存儲(chǔ)網(wǎng)絡(luò)工業(yè)協(xié)會(huì))對(duì)存儲(chǔ)虛擬化的定義:通過對(duì)存儲(chǔ)(子)系統(tǒng)或存儲(chǔ)服務(wù)的內(nèi)部功能進(jìn)行抽象、隱藏或隔離,使存儲(chǔ)或數(shù)據(jù)的管理與應(yīng)用、服務(wù)器、網(wǎng)絡(luò)資源的管理分離,從而實(shí)現(xiàn)應(yīng)用和網(wǎng)絡(luò)的獨(dú)立管理。通俗點(diǎn)說(shuō),存儲(chǔ)虛擬化就是把多個(gè)、多種存儲(chǔ)設(shè)備通過一定的方式統(tǒng)一管理起來(lái),提供大容量、高數(shù)據(jù)傳輸性能的存儲(chǔ)系統(tǒng)。這種技術(shù)帶來(lái)的好處主要有:減少存儲(chǔ)設(shè)備數(shù)量,提高資產(chǎn)利用率,增加可管理性、靈活性和可擴(kuò)展性,降低成本、綠色運(yùn)營(yíng)。


根據(jù)在網(wǎng)絡(luò)中實(shí)現(xiàn)位置的不同,目前存儲(chǔ)虛擬化技術(shù)主要分為三種:基于主機(jī)側(cè)、基于存儲(chǔ)設(shè)備側(cè)、基于網(wǎng)絡(luò)層實(shí)現(xiàn)的存儲(chǔ)虛擬化技術(shù)。


基于主機(jī)側(cè)的存儲(chǔ)虛擬化

基于主機(jī)側(cè)的存儲(chǔ)虛擬化的實(shí)現(xiàn)方式是由主機(jī)操作系統(tǒng)下的邏輯卷管理軟件或者安裝專門卷管理軟件方式來(lái)實(shí)現(xiàn)。這種技術(shù)可以使服務(wù)器的存儲(chǔ)空間跨越多個(gè)異構(gòu)的磁盤陣列,常用于在不同磁盤陣列之間做數(shù)據(jù)鏡像保護(hù)。這一方式的缺點(diǎn)是主機(jī)需要安裝卷管理軟件和數(shù)據(jù)保護(hù)軟件,系統(tǒng)運(yùn)行需要占用主機(jī)資源,對(duì)現(xiàn)有業(yè)務(wù)沖擊大,且后續(xù)維護(hù)和擴(kuò)展比較復(fù)雜。


基于存儲(chǔ)設(shè)備側(cè)的存儲(chǔ)虛擬化

基于存儲(chǔ)設(shè)備側(cè)的存儲(chǔ)虛擬化實(shí)現(xiàn)方式是在存儲(chǔ)控制器上添加虛擬化功能,常見于中高端存儲(chǔ)設(shè)備。這一技術(shù)主要優(yōu)點(diǎn)是與主機(jī)無(wú)關(guān),不占用主機(jī)資源,其缺點(diǎn)是要求存儲(chǔ)設(shè)備必須具備所需功能,一般要求組網(wǎng)存儲(chǔ)設(shè)備為同一廠家甚至同一系列的,擴(kuò)展性較差。


基于網(wǎng)絡(luò)層實(shí)現(xiàn)存儲(chǔ)虛擬技術(shù)

基于網(wǎng)絡(luò)層實(shí)現(xiàn)存儲(chǔ)虛擬技術(shù)是通過在存儲(chǔ)域網(wǎng)(SAN)中添加虛擬化硬件實(shí)現(xiàn),這一技術(shù)被用來(lái)整合異構(gòu)存儲(chǔ)系統(tǒng)和統(tǒng)一數(shù)據(jù)管理。其優(yōu)點(diǎn)是與主機(jī)無(wú)關(guān),不占用主機(jī)資源,且支持異構(gòu)主機(jī)、異構(gòu)存儲(chǔ)設(shè)備。采用基于網(wǎng)絡(luò)層實(shí)現(xiàn)存儲(chǔ)虛擬技術(shù)可以顯著提高存儲(chǔ)設(shè)備總的利用率,簡(jiǎn)化管理,系統(tǒng)可擴(kuò)展性好。


3虛擬化存儲(chǔ)改造方案

我國(guó)科研機(jī)構(gòu)服務(wù)器數(shù)量較多,普遍存在Windows2003、Windows2008、Linix等操作系統(tǒng),且一般都有2個(gè)以上不同品牌的存儲(chǔ)設(shè)備。因此,基于提高異構(gòu)存儲(chǔ)統(tǒng)一管理能力,消除存儲(chǔ)設(shè)備單點(diǎn)故障的目標(biāo),我基于網(wǎng)絡(luò)層實(shí)現(xiàn)存儲(chǔ)虛擬技術(shù)是最合適的選擇,具體方案如下:

存儲(chǔ)虛擬化管理:采用兩臺(tái)存儲(chǔ)虛擬化網(wǎng)關(guān)(雙活,互為主備),實(shí)現(xiàn)對(duì)異構(gòu)存儲(chǔ)設(shè)備(磁盤陣列)的虛擬化管理。存儲(chǔ)虛擬化網(wǎng)關(guān)將所有的存儲(chǔ)設(shè)備資源池化,存儲(chǔ)設(shè)備可隨意移入或退出虛擬化,虛擬化過程不破壞數(shù)據(jù),沒有數(shù)據(jù)遷移過程,大幅減小停機(jī)時(shí)間(分鐘級(jí))。存儲(chǔ)系統(tǒng)的LUN不是直接映射給服務(wù)器,而是映射給存儲(chǔ)虛擬化網(wǎng)關(guān)。存儲(chǔ)虛擬化網(wǎng)關(guān)把不同存儲(chǔ)系統(tǒng)多個(gè)虛擬磁盤進(jìn)行統(tǒng)一管理后再將存儲(chǔ)卷映射給服務(wù)器。通過存儲(chǔ)虛擬化網(wǎng)關(guān),可以完成對(duì)企業(yè)現(xiàn)有的存儲(chǔ)及今后采購(gòu)的存儲(chǔ)統(tǒng)一管理以及統(tǒng)一數(shù)據(jù)保護(hù),同時(shí)支持跨存儲(chǔ)在線遷移,零停機(jī),大大簡(jiǎn)化了存儲(chǔ)區(qū)域網(wǎng)絡(luò)架構(gòu),而且通過對(duì)存儲(chǔ)虛擬化網(wǎng)關(guān)的緩存大小控制,可顯著提升了吞吐性能。拓?fù)湟娤聢D。

存儲(chǔ)高可用容災(zāi):

通過存儲(chǔ)虛擬化網(wǎng)關(guān)進(jìn)行存儲(chǔ)虛擬化整合后,虛擬化網(wǎng)關(guān)本身互為熱備,一旦其中一臺(tái)發(fā)生故障,另一臺(tái)可立即接管其存儲(chǔ)管理功能,從而不影響前端的應(yīng)用。此外,存儲(chǔ)虛擬化網(wǎng)關(guān)支持鏡像、快照、持續(xù)數(shù)據(jù)保護(hù)、卷復(fù)制等功能,可實(shí)現(xiàn)對(duì)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的容災(zāi)保護(hù)。在信息中心,可通過存儲(chǔ)虛擬化網(wǎng)關(guān)的同步鏡像功能、卷復(fù)制功能,將一份數(shù)據(jù)同時(shí)寫入兩臺(tái)存儲(chǔ)(兩個(gè)卷),實(shí)現(xiàn)存儲(chǔ)系統(tǒng)間的高可用。使用存儲(chǔ)虛擬化網(wǎng)關(guān)進(jìn)行跨存儲(chǔ)系統(tǒng)鏡像后,對(duì)于服務(wù)器獲得的存儲(chǔ)卷來(lái)說(shuō),不會(huì)因?yàn)槿魏我粋€(gè)磁盤存儲(chǔ)系統(tǒng)的故障而導(dǎo)致業(yè)務(wù)宕機(jī)或數(shù)據(jù)丟失,有效避免存儲(chǔ)設(shè)備單點(diǎn)故障所導(dǎo)致的數(shù)據(jù)丟失和計(jì)劃外停機(jī)。

邏輯錯(cuò)誤的恢復(fù):

在部署虛擬化網(wǎng)關(guān)前,原有存儲(chǔ)系統(tǒng)缺少了對(duì)業(yè)務(wù)系統(tǒng)邏輯錯(cuò)誤的防護(hù),實(shí)際上無(wú)法解決概率最高的人工錯(cuò)誤型的災(zāi)難。虛擬化網(wǎng)關(guān)具有“連續(xù)快照功能”,快照頻率可達(dá)分鐘級(jí)甚至秒級(jí),實(shí)現(xiàn)了對(duì)業(yè)務(wù)系統(tǒng)“邏輯錯(cuò)誤”的防范及糾錯(cuò)功能,對(duì)業(yè)務(wù)系統(tǒng)的正常運(yùn)轉(zhuǎn)提供有力保障。一旦發(fā)生誤刪除、病毒感染等任何邏輯錯(cuò)誤,管理人員都可以找到最近的版本立即恢復(fù)??煺栈謴?fù)與數(shù)據(jù)量無(wú)關(guān),大數(shù)據(jù)量提取即刻可用。

存儲(chǔ)虛擬化逃生:

實(shí)施存儲(chǔ)虛擬化改造后,萬(wàn)一存儲(chǔ)虛擬化網(wǎng)關(guān)發(fā)生故障,會(huì)不會(huì)對(duì)存儲(chǔ)及數(shù)據(jù)造成影響?這是所有人都很關(guān)心的問題。虛擬化網(wǎng)關(guān)應(yīng)支持快速的接入和遷出組網(wǎng)環(huán)境的方案。該方案提供了一種雙向的操作網(wǎng)絡(luò)部署環(huán)境的功能,能夠通過對(duì)實(shí)施存儲(chǔ)環(huán)境的控制而達(dá)到快速把虛擬化網(wǎng)關(guān)接入到存儲(chǔ)網(wǎng)絡(luò)中,啟動(dòng)存儲(chǔ)虛擬化功能;或者當(dāng)虛擬化網(wǎng)關(guān)故障或其它需要把存儲(chǔ)系統(tǒng)遷出虛擬化平臺(tái),屏蔽虛擬化功能,恢復(fù)原用存儲(chǔ)網(wǎng)絡(luò)。具體來(lái)說(shuō),就是在虛擬化網(wǎng)關(guān)出現(xiàn)故障后,對(duì)原有存儲(chǔ)原始磁盤鏡像重新分配。去除存儲(chǔ)與原有存儲(chǔ)的鏡像關(guān)系,把“虛擬磁盤”分離為原始磁盤,并重新指定存儲(chǔ)系統(tǒng)磁盤映射掛載到服務(wù)器上,服務(wù)器即可識(shí)別新加入磁盤,恢復(fù)系統(tǒng)業(yè)務(wù)。

應(yīng)用容災(zāi)保護(hù):

通過存儲(chǔ)虛擬化網(wǎng)關(guān)的卷復(fù)制、CDP等應(yīng)用保護(hù)功能,可以對(duì)關(guān)鍵業(yè)務(wù)物理服務(wù)器進(jìn)行實(shí)時(shí)鏡像和快照保護(hù)。當(dāng)被保護(hù)服務(wù)器發(fā)生故障或數(shù)據(jù)丟失時(shí)可直接掛載存儲(chǔ)虛擬化網(wǎng)關(guān)上的同步數(shù)據(jù)或歷史快照數(shù)據(jù),5分鐘內(nèi)即可恢復(fù)業(yè)務(wù)運(yùn)行。

4實(shí)施效果

通過架設(shè)存儲(chǔ)虛擬化網(wǎng)關(guān),對(duì)原有的SAN存儲(chǔ)區(qū)域網(wǎng)絡(luò)實(shí)施優(yōu)化改造,使得存儲(chǔ)系統(tǒng)具備了資源池化、按需分配、彈性擴(kuò)展、統(tǒng)一維護(hù)等云計(jì)算特性,同時(shí),也去除了存儲(chǔ)單點(diǎn)故障,建立了一套開放的、高效的本地災(zāi)難保護(hù)系統(tǒng),有效的提高信息系統(tǒng)的實(shí)時(shí)數(shù)據(jù)保護(hù)能力和抗災(zāi)能力,保證業(yè)務(wù)系統(tǒng)的連續(xù)性。對(duì)比實(shí)施前后,效果如下:

  • 虛擬化整合異構(gòu)存儲(chǔ):將不同廠商、不同架構(gòu)(ISCSI、FC、SCSI、SAS)存儲(chǔ)資源整合為開放、標(biāo)準(zhǔn)的存儲(chǔ)資源池,統(tǒng)一調(diào)度資源給應(yīng)用主機(jī),提高資源利用率,突破單臺(tái)存儲(chǔ)設(shè)備性能瓶頸,降低維護(hù)成本;
  • 靈活管理:虛擬存儲(chǔ)池?cái)U(kuò)展及調(diào)配的靈活性,存儲(chǔ)資源自由選擇加入和退出虛擬化,集中統(tǒng)一管理存儲(chǔ)池;
  • 存儲(chǔ)設(shè)備高可用:通過存儲(chǔ)虛擬化網(wǎng)關(guān)的鏡像和卷復(fù)制,數(shù)據(jù)可以在存儲(chǔ)設(shè)備間一對(duì)一、一對(duì)多、多對(duì)一的復(fù)制,單臺(tái)存儲(chǔ)設(shè)備故障不會(huì)導(dǎo)致應(yīng)用停機(jī)和數(shù)據(jù)丟失,消除了存儲(chǔ)單點(diǎn)故障;
  • 虛擬化平臺(tái)的支持:可實(shí)現(xiàn)虛擬化平臺(tái)容災(zāi),支持P2V/V2V/V2P恢復(fù);
  • 快速數(shù)據(jù)遷移:支持跨存儲(chǔ)在線遷移,按業(yè)務(wù)需求進(jìn)行數(shù)據(jù)遷移,虛擬化過程不破壞數(shù)據(jù),沒有數(shù)據(jù)遷移過程,大幅減小停機(jī)時(shí)間;
  • 智能數(shù)據(jù)保護(hù):虛擬化容災(zāi)網(wǎng)關(guān)提供統(tǒng)一的高級(jí)數(shù)據(jù)管理功能(復(fù)制、鏡像、快照、CDP),在各種故障情況下(硬件故障、病毒攻擊、軟件故障、誤刪除等)均能快速有效地恢復(fù)數(shù)據(jù),實(shí)現(xiàn)智能數(shù)據(jù)保護(hù);
  • 數(shù)據(jù)自動(dòng)接管:核心存儲(chǔ)故障時(shí),生產(chǎn)中心業(yè)務(wù)系統(tǒng)可進(jìn)行無(wú)縫接管;
  • 隨時(shí)演練:備份卷、快照均可以方便快速地掛載給物理服務(wù)器或虛擬機(jī),可隨時(shí)驗(yàn)證和恢復(fù),非常簡(jiǎn)單快捷。

科研機(jī)構(gòu)的成果關(guān)系到國(guó)家各個(gè)環(huán)節(jié)的發(fā)展與未來(lái),而能否利用好大數(shù)據(jù)分析這一新時(shí)代的新武器,對(duì)科研成果的影像也舉足輕重。工欲善其事,必先利其器,對(duì)舊有的存儲(chǔ)基礎(chǔ)架構(gòu)進(jìn)行升級(jí)改造,將大數(shù)據(jù)分析這一利器發(fā)揮其應(yīng)有的威力,無(wú)疑是各科研機(jī)構(gòu)IT負(fù)責(zé)人員必須考慮的問題。推進(jìn)存儲(chǔ)虛擬化解決方案的導(dǎo)入,實(shí)現(xiàn)“池”化管理和統(tǒng)一再分配,可以有效提高我國(guó)科研機(jī)構(gòu)的運(yùn)行支撐能力。存儲(chǔ)虛擬化不失為我國(guó)科研單位基礎(chǔ)架構(gòu)完善的新方向與新選擇。