趨勢已經(jīng)很明顯了:不管你的應用是什么,云、Hadoop或者是文件系統(tǒng),一體化都是你的未來之選。如果你遇到了一個存儲難題,至少有一家廠商可以提供能即插即用的解決方案。
數(shù)據(jù)中心整合,不管是在企業(yè)內(nèi)部還是到公共云,都是當前IT場景的一部分。那么,你應該如何做以保證未來不會丟掉工作呢?
建議是:加入一體化大軍,走在趨勢前沿。
當企業(yè)將IT基礎設施的全部或者部分外包了,這是因為有其他人可以從中賺到錢。據(jù)了解和聽到的消息,這種外包的利潤最高可以達到25%。試問一下自己,為什么其他一些公司或者其他一些云提供商可以購買到所需的所有硬件和軟件,同時仍然可以通過公司內(nèi)部IT部門獲得利潤?部分原因是內(nèi)部政策往往阻礙著數(shù)據(jù)中心的效率提高。每個部門都希望以自己希望的方式做事。
但是一體化模式正在改變著人們思考IT的方式,它將改變企業(yè)機構的組織結構。
如果你的IT基礎設施,沒有存儲、虛擬化和計算的集成,那么未來幾年你的環(huán)境就需要迅速改變,否則,你可能需要尋找一份新工作了,因為很多廠商會進來,通過外包或者IT承包商的形式交給云提供商,從而讓你的環(huán)境現(xiàn)代化。
你需要有計劃和有準備,因為“隧道盡頭的一點光也許是一輛疾馳的火車”。讓我們來談一談你可能需要熟悉的幾種存儲一體機吧:
Hadoop一體機
就目前來說,這些類型的一體機主要分為三種:
1、標準Hadoop
2、共享文件系統(tǒng)Hadoop
3、高速存儲一體機Hadoop
標準Hadoop
如果是標準的一體機,你可以購買預加載、預配置、針對Hadoop硬件優(yōu)化了的節(jié)點。
你可以從很多廠商那種購買到這種類型的硬件和軟件。在有些情況下,你只是為你自己的集群購買軟件,在其他情況下,你從一家集成商那里購買硬件和軟件。無論哪一種途徑,這都是標準的Hadoop,帶有針對運行Hadoop優(yōu)化配置了的硬件和軟件。
共享文件系統(tǒng)Hadoop
共享文件系統(tǒng)一體機通常有Lustre或者GPFS文件系統(tǒng),優(yōu)化了Hadoop中的Shuffle階段。這起到了一定效果,因為用戶可以從各個節(jié)點全局訪問數(shù)據(jù),而不用跨網(wǎng)絡分布數(shù)據(jù)或者讀取數(shù)據(jù)。所有節(jié)點都是連接到這個共享文件系統(tǒng)的,可以直接從存儲中讀取數(shù)據(jù),而不用從服務器到網(wǎng)絡到服務器再到存儲。
這已經(jīng)被證明在某些情況下要比標準配置的Hadoop明顯更快一些。此外,你獲得了RAID的可靠性和故障轉移功能(如果架構是這么設計的)。廠商對可靠性的研究顯示,如果是RAID化了,那么在存儲中就不要三重復制機制了。
高速存儲一體機
不少廠商都有或者正在開發(fā)用戶Hadoop的固態(tài)盤,已經(jīng)有很多產(chǎn)品出現(xiàn)未來還會有更多,這些都是針對Hadoop優(yōu)化的,易于管理。
哪個最好?
當然,答案取決于數(shù)據(jù)的量和類型,有多少數(shù)據(jù)流入以及查詢量。多問自己一些問題,你就可以找到答案。
大型文件系統(tǒng)一體機
就目前來說,有兩種不同的個性共享文件系統(tǒng)用于大型存儲一體機——GPFS和Lustre。很多廠商都提供這種一體機。Lustre是一個開源項目,而GPFS是來自IBM的產(chǎn)品。
這些文件系統(tǒng)的規(guī)模遠遠超過現(xiàn)有的任何一款NAS產(chǎn)品。這些文件系統(tǒng)可以擴展到數(shù)千個客戶端,提供數(shù)百GB/s。哪一家NAS廠商在具有可擴展性的單一命名空間內(nèi)有30+ PB的空間?
現(xiàn)在的問題是,在大多數(shù)情況下,文件系統(tǒng)是圍繞著用戶應用對大數(shù)據(jù)塊、連續(xù)I/O的要求設計的。這并不是說,硬件和軟件就無法支持更小的塊。不是說,小數(shù)據(jù)塊性能在NAS設備中就表現(xiàn)更好,但是當你向管理層展示你的共享文件系統(tǒng)時,你可能想要問的一些問題:
1、 關于你的工作負載,需要了解以下幾個方面:
- 有多少I/O請求正在同時被處理?
- 讀/寫率是多少,讀和寫的情況大小是?
- 有多少打開/創(chuàng)建正在同時進行?
- 需要多少存儲空間?
2、 問問廠商關于端到端的可靠性:
- 使用了ANSI T10 DIF/PI嗎?
- 使用了其他一些方法嗎?
- 是否使用校驗或者糾錯碼?
- 廠商是如何解釋哪塊磁盤導致了故障?
3、 問問廠商關于RAID重建的問題:
- RAID是分簇的嗎?
- 在重建時性能是否受到影響?
這只是針對這些類型設備必須要問到的一些問題。當你進行縱向擴展的時候,你需要確保其他不會受到影響,而且確保你可以完成任務。
其他一體機
現(xiàn)在還有很多其他數(shù)據(jù)分析產(chǎn)品和數(shù)據(jù)庫產(chǎn)品,未來還會出現(xiàn)更多,滿足你企業(yè)機構的需求,這些新的一體機設備可能會使用某種方法將信息關聯(lián)起來,或者使用圖形分析找出關系或者其他方法。
遇到的問題都是一樣的:如果你不能利用現(xiàn)有的技術做到更快更廉價,那么可能就需要把你的工作外包給云了。
我們的工作危在旦夕
如果CIO和員工們沒有相應的計劃,其他人就會搶先一步。然后,別人就會取代你的工作。隨著市場的發(fā)展,我們不得不學習一些新的技能,包括公司管理層。
如果不這樣的話,就做好自己的工作被外包給云或者其他部門的準備吧。
現(xiàn)在有很多新技術可以解決新老問題,我們都需要了解這些技術以保住飯碗。
如今存儲領域我們越來越多地關注點集中在專有的一體機上。現(xiàn)在有90%的數(shù)據(jù)訪問是通過POSIX文件系統(tǒng)接口的,10%是通過對象接口,未來十年這個情況將發(fā)生改變。
做好準備,這有點類似于20世紀90年代的微處理器,從專有的大型處理器轉向微處理器,從DEC、MIPS到Intel和其他。
柏科數(shù)據(jù)
產(chǎn)品解決方案
PRODUCT SOLUTIONS
最近案例
CASE STUDY