公司名稱:元越-服務(wù)器_存儲(chǔ)-量子創(chuàng)新(北京)信息技術(shù)有限公司
聯(lián)系方式:010-62462728
公司地址:海淀區(qū)高里掌路3號(hào)院24號(hào)樓二層
公司郵箱:support@iaserver.com
統(tǒng)一存儲(chǔ)解決方案
需求:
一體化存儲(chǔ),同時(shí)支持媒資應(yīng)用,虛擬化應(yīng)用,數(shù)據(jù)庫(kù)應(yīng)用以及對(duì)象存儲(chǔ)歸檔業(yè)務(wù)。具體要求如下:
? 提供200TB左右的空間用于媒資文件存儲(chǔ)(CIFS)
? 提供30TB左右的空間用于NFS虛擬化應(yīng)用
? 通過FC-SAN方式,提供5TB空間用于數(shù)據(jù)庫(kù)應(yīng)用
? 對(duì)象歸檔應(yīng)用容量分別為5PB,10PB和15PB
系統(tǒng)規(guī)劃:
為避免煙囪式的存儲(chǔ)模式,將各類存儲(chǔ)應(yīng)用納入到一個(gè)統(tǒng)一的存儲(chǔ)平臺(tái)下來進(jìn)行管理。本案中采用可橫向擴(kuò)展的全對(duì)稱架構(gòu)的分布式存儲(chǔ)集群解決方案。集群結(jié)構(gòu)圖如圖-1所示:
圖-1
系統(tǒng)中的每個(gè)物理節(jié)點(diǎn)均為等價(jià)節(jié)點(diǎn),包含對(duì)象存儲(chǔ)設(shè)備(OSD)模塊和存儲(chǔ)網(wǎng)關(guān)(GW)模塊。其中OSD模塊負(fù)責(zé)存儲(chǔ)實(shí)際數(shù)據(jù),GW模塊提供各種標(biāo)準(zhǔn)接口供客戶端訪問,包括有:Amazon S3接口,NAS訪問接口以及iSCSI/FC SAN接口。所有節(jié)點(diǎn)均為等價(jià)節(jié)點(diǎn),整個(gè)存儲(chǔ)集群沒有單點(diǎn)故障。且所有的存儲(chǔ)網(wǎng)關(guān)也構(gòu)建成一個(gè)集群,客戶端可以從任意一個(gè)存儲(chǔ)網(wǎng)關(guān)接入存儲(chǔ),并可訪問存儲(chǔ)集群中各節(jié)點(diǎn)上的數(shù)據(jù)。
考慮到本案存儲(chǔ)空間需求巨大,設(shè)備節(jié)點(diǎn)均采用4U 72盤位的高密度存儲(chǔ)服務(wù)器進(jìn)行構(gòu)建。每臺(tái)存儲(chǔ)服務(wù)器中配備不同型號(hào)的磁盤,通過存儲(chǔ)虛擬化技術(shù),依據(jù)不同應(yīng)用的特性,將底層磁盤劃分為不同的存儲(chǔ)資源池,提供給不同的業(yè)務(wù)使用。同時(shí)所有的存儲(chǔ)資源均可通過任一節(jié)點(diǎn)進(jìn)行上的Web控制臺(tái)進(jìn)行管理。
存儲(chǔ)池規(guī)劃:
圖-2
本方案采用存儲(chǔ)虛擬化技術(shù),將底層存儲(chǔ)資源按照應(yīng)用需求,規(guī)劃為不同的存儲(chǔ)資源池,其規(guī)劃示意圖如圖-2所示。為響應(yīng)不同業(yè)務(wù)需求,每臺(tái)物理節(jié)點(diǎn)均配置有不同性能的存儲(chǔ)介質(zhì),包括SSD固態(tài)盤,高轉(zhuǎn)速SAS盤以及大容量SATA盤等。通過軟件定義的方式,將大容量存儲(chǔ)介質(zhì)配置為歸檔存儲(chǔ)池,將高性能存儲(chǔ)介質(zhì)配置為在線或近線業(yè)務(wù)存儲(chǔ)池。本案中,針對(duì)不同業(yè)務(wù)的規(guī)劃方案如下:
? 針對(duì)歸檔業(yè)務(wù),將每臺(tái)設(shè)備上的所有大容量SATA盤構(gòu)建成一個(gè)S3對(duì)象存儲(chǔ)池,歸檔服務(wù)器通過S3接口,直接存儲(chǔ)歸檔文件
? 針對(duì)DB業(yè)務(wù),規(guī)劃部分節(jié)點(diǎn),構(gòu)建DB存儲(chǔ)池,該存儲(chǔ)池由各節(jié)點(diǎn)中的SSD固態(tài)盤加高轉(zhuǎn)速SAS盤構(gòu)建而成,提供DB應(yīng)用需要的高IOPS和低延時(shí)特性
? 針對(duì)虛擬化業(yè)務(wù),可規(guī)劃部分節(jié)點(diǎn),構(gòu)建NFS存儲(chǔ)池,該存儲(chǔ)池通過SSD固態(tài)盤加SATA盤構(gòu)建出高IOPS的存儲(chǔ)池,確保虛擬化應(yīng)用的性能
? 針對(duì)媒資業(yè)務(wù),可規(guī)劃部分節(jié)點(diǎn),構(gòu)建CIFS存儲(chǔ)池,該存儲(chǔ)池可采用SAS盤或SSD固態(tài)盤加大容量SATA盤,提供業(yè)務(wù)所需的高帶寬,低延時(shí)需求
數(shù)據(jù)安全性規(guī)劃:
對(duì)于數(shù)據(jù)安全性,本案從兩個(gè)維度進(jìn)行數(shù)據(jù)安全性規(guī)劃。
? 從單臺(tái)物理設(shè)備的數(shù)據(jù)安全維度,每個(gè)存儲(chǔ)池中的磁盤,通過RAID冗余方式,確保單塊磁盤故障不會(huì)影響影響節(jié)點(diǎn)的數(shù)據(jù)安全和數(shù)據(jù)訪問
? 從集群的數(shù)據(jù)安全維度,兼顧效率和成本因素,本案中采用副本和糾刪碼機(jī)制并存的方式對(duì)集群數(shù)據(jù)進(jìn)行保護(hù)。
? 針對(duì)在線和近線業(yè)務(wù),包括DB,虛擬化以及媒資業(yè)務(wù),采用多副本機(jī)制進(jìn)行保護(hù),可提供足夠的訪問性能。本方案中副本數(shù)可動(dòng)態(tài)調(diào)節(jié),從2副本到10副本不等,用戶可針對(duì)不同業(yè)務(wù)為其配置不同的安全級(jí)別;副本數(shù)調(diào)解時(shí),不會(huì)中斷任何正在運(yùn)行的業(yè)務(wù)。本方案的默認(rèn)副本數(shù)為3,即任意兩臺(tái)設(shè)備出現(xiàn)故障下線均可確保數(shù)據(jù)安全不丟失。
? 針對(duì)離線業(yè)務(wù),主要是S3對(duì)象存儲(chǔ)歸檔業(yè)務(wù),采用糾刪碼技術(shù)進(jìn)行數(shù)據(jù)保護(hù),糾刪碼技術(shù)是一種類似節(jié)點(diǎn)間RAID的技術(shù),其技術(shù)原理如下:
圖-3
通過編碼矩陣將數(shù)據(jù)D進(jìn)行編碼,假設(shè)D1,D2,…Dn是存儲(chǔ)于n個(gè)節(jié)點(diǎn)上的數(shù)據(jù),編碼后生成n個(gè)數(shù)據(jù)和m個(gè)校驗(yàn)和。任何小于等于m個(gè)數(shù)據(jù)丟失后,可通過剩余的數(shù)據(jù)乘以編碼矩陣的逆矩陣來計(jì)算獲得原始數(shù)據(jù)。因此對(duì)于有n個(gè)數(shù)據(jù)節(jié)點(diǎn)的存儲(chǔ)集群而言,原始數(shù)據(jù)僅需保存一份,并通過就刪碼的方式額外保存m個(gè)校驗(yàn)碼,即可確保在損壞節(jié)點(diǎn)數(shù)不超過m個(gè)節(jié)點(diǎn)的前提下,確保數(shù)據(jù)的安全性。而整體的存儲(chǔ)空間容量就是m+n個(gè)節(jié)點(diǎn)。如果是副本機(jī)制要達(dá)到同樣的安全級(jí)別,節(jié)點(diǎn)數(shù)需要達(dá)到m*n個(gè),因此針對(duì)大容量,冷數(shù)據(jù)存儲(chǔ),糾刪碼是一個(gè)非常有效的節(jié)約成本的存儲(chǔ)方案。本案中將采用N+2的糾刪碼方案,確保任意損壞兩臺(tái)物理節(jié)點(diǎn),數(shù)據(jù)依然可確保安全。
高可用性規(guī)劃:
作為分布式存儲(chǔ)集群來說,需要處理各種異常情況來確保存儲(chǔ)的持續(xù)可用。本方案中針對(duì)以下幾類異常情況,分別給出高可用方案。
? 網(wǎng)絡(luò)故障:分布式存儲(chǔ)集群的各個(gè)節(jié)點(diǎn)通過網(wǎng)絡(luò)設(shè)備互相連接,在一個(gè)較大規(guī)模的分布式存儲(chǔ)網(wǎng)絡(luò)中,交換機(jī)往往會(huì)變成一個(gè)單點(diǎn)故障點(diǎn)。本方案采用網(wǎng)絡(luò)冗余策略,確保任意一臺(tái)交換機(jī)掉電或者宕機(jī)時(shí),存儲(chǔ)集群依舊可以對(duì)外提供服務(wù)。部署拓?fù)鋱D如下:
圖-4
? 存儲(chǔ)節(jié)點(diǎn)故障:
存儲(chǔ)節(jié)點(diǎn)故障可分為存儲(chǔ)節(jié)點(diǎn)OS故障和存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)故障。
? 針對(duì)存儲(chǔ)節(jié)點(diǎn)OS故障而數(shù)據(jù)并未損壞的場(chǎng)景,客戶僅需重新安裝存儲(chǔ)存儲(chǔ)節(jié)點(diǎn)的OS,通過導(dǎo)入配置并執(zhí)行恢復(fù)腳本,即可將節(jié)點(diǎn)重新加入到集群中,不會(huì)引發(fā)大量的數(shù)據(jù)遷移動(dòng)作。
? 針對(duì)存儲(chǔ)節(jié)點(diǎn)數(shù)據(jù)故障,集群會(huì)自動(dòng)偵測(cè)到故障點(diǎn),對(duì)于多副本的存儲(chǔ)池,系統(tǒng)會(huì)自動(dòng)進(jìn)行自我修復(fù),將故障節(jié)點(diǎn)中的數(shù)據(jù)自動(dòng)復(fù)制到健康節(jié)點(diǎn)中,確保數(shù)據(jù)最終的副本數(shù)和預(yù)先配置的副本數(shù)一致,其過程如下圖所示:
圖-5
左圖中是集群自動(dòng)偵測(cè)到某個(gè)節(jié)點(diǎn)數(shù)據(jù)出現(xiàn)故障,右圖中顯示該節(jié)點(diǎn)上的數(shù)據(jù)被自動(dòng)重新分布到別的健康的節(jié)點(diǎn)中。
? 存儲(chǔ)網(wǎng)關(guān)故障:
基于系統(tǒng)架構(gòu),每個(gè)節(jié)點(diǎn)上都可以開啟存儲(chǔ)網(wǎng)關(guān)功能。每個(gè)存儲(chǔ)網(wǎng)關(guān)都可以訪問底層所有的存儲(chǔ)數(shù)據(jù),存儲(chǔ)網(wǎng)關(guān)之間也形成了一個(gè)集群。雖然應(yīng)用服務(wù)器或客戶端在某一時(shí)刻是通過某個(gè)存儲(chǔ)網(wǎng)關(guān)來訪問存儲(chǔ)資源,但即使是該存儲(chǔ)網(wǎng)關(guān)出現(xiàn)問題時(shí),存儲(chǔ)網(wǎng)關(guān)集群通過IP漂移技術(shù),依舊可以由其他的存儲(chǔ)網(wǎng)關(guān)接管故障存儲(chǔ)網(wǎng)關(guān)的業(yè)務(wù),而作為應(yīng)用服務(wù)器和客戶端,無需修改和重新配置就可無縫遷移到健康的存儲(chǔ)網(wǎng)關(guān)上繼續(xù)訪問存儲(chǔ)集群。
圖-6
存儲(chǔ)資源池容量規(guī)劃:
根據(jù)需求可知,DB、NFS以及CIFS應(yīng)用需求比較固定,而S3歸檔業(yè)務(wù)的空間容量會(huì)有所不同。因此針對(duì)S3歸檔業(yè)務(wù)的容量,分別規(guī)劃出集群節(jié)點(diǎn)數(shù)和各存儲(chǔ)資源池容量如下:
? 5PB歸檔容量場(chǎng)景
節(jié)點(diǎn)編號(hào) 存儲(chǔ)資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實(shí)際可用容量
1 - 6 DB存儲(chǔ)池 SSD + 6*900GB SAS RAID10 3副本 5.4TB
7 - 12 NFS存儲(chǔ)池 SSD + 6*6TB SATA RAID10 3副本 36TB
1 - 12 CIFS存儲(chǔ)池 SSD + 7*6TB SATA RAID5 3副本 72TB
13 - 20 CIFS存儲(chǔ)池 2 * (SSD + 7*6TB SATA) RAID5*2 3副本 144TB
1 - 20 S3歸檔存儲(chǔ)池 3 * 18*6TB RAID5*3 N+2糾刪碼 5508TB
合計(jì):DB: 5.4TB
NFS:36TB
CIFS:288TB
S3歸檔:5508 TB
總結(jié)點(diǎn)數(shù):20
? 10PB歸檔容量場(chǎng)景
節(jié)點(diǎn)編號(hào) 存儲(chǔ)資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實(shí)際可用容量
1 - 5 DB存儲(chǔ)池 SSD + 8*900GB SAS RAID10 3副本 6TB
6 - 11 NFS存儲(chǔ)池 SSD + 9*3TB SATA RAID5 3副本 48TB
12 - 32 CIFS存儲(chǔ)池 SSD + 9*6TB SATA RAID5 3副本 336TB
1 - 32 S3歸檔存儲(chǔ)池 4 * 15*6TB RAID5*4 糾刪碼 10080TB
總節(jié)點(diǎn)數(shù):32
? 15PB歸檔容量場(chǎng)景
節(jié)點(diǎn)編號(hào) 存儲(chǔ)資源池類型 磁盤數(shù)量 RAID規(guī)格 副本規(guī)格 實(shí)際可用容量
1 - 7 DB存儲(chǔ)池 SSD + 7*600GB SAS RAID5 3副本 8.4TB
8 - 17 NFS存儲(chǔ)池 SSD + 7*2TB SATA RAID5 3副本 36TB
18 - 47 CIFS存儲(chǔ)池 SSD + 7*4TB SATA RAID5 3副本 225TB
1 - 47 S3歸檔存儲(chǔ)池 5 * 13*6TB RAID5*5 糾刪碼 16200TB
總節(jié)點(diǎn)數(shù):47