日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

玄武分析型存儲引擎

更新時間:

玄武分析型存儲引擎為用戶提供高可靠、高可用、高性能、低成本的企業級數據存儲能力,是云原生數據倉庫 AnalyticDB MySQL 版實現高吞吐實時寫入、高性能實時查詢的基礎支撐。

玄武分析型存儲引擎(XUANWU)

高吞吐實時寫入

AnalyticDB for MySQL通過三層并行架構實現了極強的吞吐能力,從接入層、到存儲節點層再到持久分布式存儲層,都可以并行擴展,再結合行列混合存儲引擎,增量和全量的異步轉換實現了高吞吐、高并發實時寫入。

在實時可見性方面,AnalyticDB for MySQL通過Raft一致性協議+同步寫入Apply的方式,實現了寫入立即可查,保證寫入一致性。存儲引擎上Mark-for-delete技術實現了高吞吐量的實時更新和刪除,同時基于MVCC的技術保證數據原子性和完整性。

image

行列混合存儲

玄武存儲引擎支持行列混存的存儲格式,其中行列混存是一種以列存為基礎兼顧行存的模式,類似于Hadoop中的ORC/Parquet格式。不同的是玄武的行列混存不僅兼顧分析類的列裁剪和大吞吐掃描性能,而且結合其行對齊的能力,可以實現很好的隨機查找性能,這對于任意多維索引過濾的場景也擁有出色的性能優勢。

行列混存的存儲格式如下:

image

自適應索引

OLAP場景下需要支持任意維度查詢,傳統的OLTP單列或組合索引難以滿足該需求。玄武采用了自適應列級自動索引技術,針對字符串、數字、文本、JSON、向量等列類型都有自動配置的索引數據結構,并且可以做到列級索引任意維度組合檢索、多路漸進流式歸并,大幅提升了數據過濾性能。

目前索引類型主要有:倒排索引、BKD-Tree索引和Bitmap索引。同時索引的性能主要受數據分布特征影響,包括:cardinality(散列程度),范圍查詢的記錄數/表記錄數。在某些情況下,例如age > 0 and age <100這種查詢走索引的開銷反而比掃描高。因此玄武基于CBO智能選擇索引或掃描。

多種索引類型多路歸并查找的過程如下所示:

玄武-自適應索引

結構化與非結構化融合

玄武存儲層索引管理器實現結構化索引與非結構化索引的統一管理,如數值類的BKD索引、字符串類的倒排索引、非結構化的JSON索引及向量索引,還有文本數據的全文索引。對計算層提供統一的表達式,使得計算層的SQL邏輯兼容異構數據類型,同時都得到索引加速。因此AnalyticDB for MySQL實現了全文數據與結構化表之間的關聯分析,SQL表達的復雜邏輯都能夠統一支持。如下圖所示:

image

SQL語義說明:對子查詢里的全文檢索的結果集進行關聯分析,分析后的結果按照打分值降序排列,輸出前10,000行。

玄武分析型存儲引擎V2(XUANWU_V2)

AnalyticDB for MySQL基于原玄武分析型存儲引擎迭代研發出新一代存儲引擎XUANWU_V2。

高效的數據組織方式

XUANWU_V2優化了數據組織方式。數據以Append方式寫入實時引擎,經過Flush任務,再寫入讀友好的全量引擎中。隨后,通過Compaction任務全量引擎層級內或層級間的合并,確保L0以下層級的分區有序,并按照固定大小進行數據物理組織。

數據組織方式如下圖所示:

image

該數據組織方式可以保證實時引擎能及時的構建為讀友好的全量引擎,提高查詢性能。同時,它顯著改善了Compaction過程的讀放大問題,進一步降低了Compaction過程中的CPU和IO消耗。此外,在這種組織方式下,XUANWU_V2可以自適應地對過大或者過小的分區文件進行切分與合并,用戶無需再為分區鍵的選擇而困擾。

高效的存儲格式

XUANWU_V2在原有按固定行數組織的列級IO塊基礎上,引入了按固定大小組織IO塊的文件格式。這種固定大小的IO塊組織方式,不僅優化了IO和內存管理,解決了因行對齊與IO大小不一致所引發的一系列問題,也提高了內存復用效率,降低了內存申請與回收的開銷。通過對齊內存與IO操作,進一步減少了讀放大的現象,進而降低了IO成本。

image

更好的水平擴容彈性

XUANWU_V2將所有數據存儲在OSS中,不僅顯著降低了用戶存儲成本,還大幅提升了水平擴縮容和節點遷移的效率。XUANWU_V2采用ESSD云盤作為查詢緩存,支持DDL指定分區預熱和查詢自動緩存兩種形式,有效提升了查詢性能。