共享彈性存儲功能介紹
開啟了共享彈性存儲功能的阿里云Elasticsearch(ES)6.7版本內核增強版實例(新購實例不再支持開啟,存量用戶可以繼續(xù)使用),提供了存儲計算分離架構,能夠提升寫入性能,降低存儲成本。
架構
開啟共享彈性存儲功能的6.7版本內核增強版實例,以共享彈性存儲CPFS(Cloud Paralleled File System)和讀寫分離架構為基礎的Elasticsearch數(shù)據(jù)模型。
該架構具備如下優(yōu)勢:
索引分片一寫多讀,數(shù)據(jù)只保存一份。
依賴云存儲多副本,保證數(shù)據(jù)可靠性。
IO fence機制,保證數(shù)據(jù)一致性。
內存物理復制,降低主備可見性延遲(毫秒可見)。
優(yōu)勢
寫入性能提升100%,避免了副本寫入的開銷。
存儲成本倍數(shù)級降低,數(shù)據(jù)只保存一份。
副本秒級快速擴縮容和故障遷移,輕松應對高峰流量。
適用場景
日志分析場景
具有寫入吞吐量高、數(shù)據(jù)存儲量大的特點,開啟共享彈性存儲功能的ES實例能成倍提升ES寫入性能,可以降低一倍的存儲成本。
高并發(fā)查詢場景
對穩(wěn)定性要求高,當高峰流量遠高于低峰時,會有彈性擴縮副本的需求。開啟共享彈性存儲功能的ES實例不僅能快速擴縮副本,還能在故障時快速恢復和遷移索引數(shù)據(jù)。
性能測試
數(shù)據(jù)集為官方esrally提供的nyc_taxis。
16核配置:
開啟共享彈性存儲功能的6.7版本內核增強版實例:5*數(shù)據(jù)節(jié)點(16核64G)+ 3*主節(jié)點(2核8G)+ 10TSSD CPFS。
原生Elasticsearch 6.7.0版本:5*數(shù)據(jù)節(jié)點(16核64G)+ 3*主節(jié)點(2核8G)+ 2000GB SSD。
場景 | 副本 | 原生Elasticsearch 6.7.0(doc/s) | 阿里云Elasticsearch 6.7.0(doc/s) | 阿里云Elasticsearch主副同步延時(ms) | 性能對比 |
translog異步 | 1 | 265358 | 600044 | 476 | 226% |
2 | 185366 | 594015 | 600 | 320% | |
4 | 103815 | 585316 | 854 | 564% | |
translog同步 | 1 | 177570 | 414562 | 286 | 223% |
2 | 114547 | 414278 | 308 | 362% | |
4 | 69204 | 392661 | 610 | 567% |
8核配置:
開啟共享彈性存儲功能的6.7版本內核增強版實例:5*數(shù)據(jù)節(jié)點(8核32G)+ 3*主節(jié)點(2核8G)+ 10TSSD CPFS。
原生Elasticsearch 6.7.0版本:5*數(shù)據(jù)節(jié)點(8核32G)+ 3*主節(jié)點(2核8G)+ 2000GB SSD。
場景 | 副本 | 原生Elasticsearch 6.7.0(doc/s) | 阿里云Elasticsearch 6.7.0(doc/s) | 阿里云Elasticsearch主副同步延時(ms) | 性能對比 |
translog異步 | 1 | 168554 | 324747 | 277 | 193% |
2 | 118957 | 317801 | 534 | 267% | |
4 | 71125 | 326974 | 744 | 460% | |
translog同步 | 1 | 118500 | 242234 | 193 | 204% |
2 | 81681 | 246673 | 339 | 302% | |
4 | 47886 | 239752 | 555 | 500% |
以上測試在不同場景下分別調整了副本數(shù),測試不同副本數(shù)對原生Elasticsearch 6.7.0和開啟共享彈性存儲功能的阿里云ES 6.7版本內核增強版實例寫入性能的影響。本測試過程中主分片的改變對寫入性能沒有影響,故在測試過程中沒有體現(xiàn)主分片。
以上測試通過
index.translog.durability
參數(shù),設置translog同步和異步請求狀態(tài),詳情請參見官方Translog文檔。
性能測試結論:
單副本情況下,開啟共享彈性存儲功能的實例在16核配置下,性能相對原生提升了126%。8核配置下,相對原生提升了93%。
開啟共享彈性存儲功能的實例相比原生Elasticasearch,在8核和16核下的性能提升,隨副本數(shù)呈線性增長。
開啟共享彈性存儲功能的實例增加副本的開銷非常小,在純寫入場景下的主備延遲均小于1s。
開啟共享彈性存儲功能的6.7版本內核增強版實例支持2 TB~100 TB的熱數(shù)據(jù)存儲總容量。 如果需要更大熱數(shù)據(jù)存儲空間的集群,請在控制臺中。