午夜免费啪啪,色婷婷人人爽

EC改進方案選型

接上篇，介紹一下整個容災方案在性能和可靠性方面如何做驗證。

3個機柜，每個機柜15臺機器，總共45臺，需要在RBD場景下，找到成本、性能、數(shù)據(jù)可靠性的三者平衡點。

跨機柜容災方案1

支持2個機柜級別的容災，跨3個機柜單個分組共9個節(jié)點，共5個分組，對應的理論收益情況如下

名稱	K	M	D	3副本得盤率	EC得盤率	硬件成本節(jié)約比率	磁盤數(shù)據(jù)遷移量(ISA)	磁盤數(shù)據(jù)遷移量(CLAY)	數(shù)據(jù)恢復負載降低比率
3+2	3	2	4	33.33333333	60	180	3	2	33.33333333

對應的crush rule如下

單機柜容災方案2

支持1個機柜級別的容災，單個分組共5個節(jié)點，共9個分組，對應的理論收益情況如下

名稱	K	M	D	3副本得盤率	EC得盤率	硬件成本節(jié)約比率	磁盤數(shù)據(jù)遷移量(ISA)	磁盤數(shù)據(jù)遷移量(CLAY)	數(shù)據(jù)恢復負載降低比率
4+3	4	3	6	33.33333333	57.14285714	171.4285714	4	2	50
5+3	5	3	7	33.33333333	62.5	187.5	5	2.333333333	53.33333333
6+3	6	3	8	33.33333333	66.66666667	200	6	2.666666667	55.55555556

從性能最優(yōu)原則，K+M總和最小則對應的理論性能最優(yōu)，所以單機柜容災模型下，4+3成為最優(yōu)方案。

對應的ec配置如下

對應的crush rule如下

crush rule的生成與rule的驗證模擬

容災能力測試場景

性能測試

RBD場景，模擬大、小文件，順序/隨機讀寫，獲取對應的fio性能基準數(shù)據(jù)，對比3副本與EC的性能差距。
3副本 vs CLAY_3+2 vs CLAY_4+3

場景名稱	iops	帶寬	90th延時	99th延時	備注
3副本-4M順序讀
3+2-4M順序讀
4+3-4M順序讀
3副本-4M順序寫
3+2-4M順序寫
4+3-4M順序寫
3副本-4k隨機寫
3+2-4k隨機寫
4+3-4k隨機寫
3副本-4k隨機讀
3+2-4k隨機讀
4+3-4k隨機讀

故障恢復效率

前置條件:集群提前寫入容量60%，模擬已有數(shù)據(jù)場景
目標:對比ISA和CLAY在K+M相同的情況下，RBD場景下持續(xù)讀寫數(shù)據(jù)，模擬單塊OSD、單個OSD節(jié)點故障、多個OSD節(jié)點故障(可選)，數(shù)據(jù)遷移所需的時長，同時記錄對應的CPU、內存、網(wǎng)卡負載消耗情況，以及性能波動情況。

容災能力

前置條件:集群提前寫入容量60%，模擬已有數(shù)據(jù)場景
目標:RBD場景下持續(xù)讀寫數(shù)據(jù)，模擬最小故障域、單機柜、雙機柜故障，記錄對應的性能波動情況，考察在極端情況下整個集群的服務可用性和數(shù)據(jù)可靠性。

跨機柜容災方案1