JindoCache
JindoCache(原JindoFSx)是阿里云EMR提供的用于加速云原生數據湖的一個服務。他提供了數據緩存和元數據緩存等加速功能,并根據不同的CacheSet提供不同的讀寫策略,以滿足數據湖在不同使用場景下對訪問加速的需求。
背景信息
CacheSet是JindoCache的緩存抽象。在實際使用中,并非所有的數據都需要緩存加速。考慮到數據湖的多樣化計算需求和場景,JindoCache提供了細粒度的訪問策略選擇,您可以根據需要進行精確的配置。您可以根據具體情況選擇激進的元數據緩存策略或完全不緩存某些數據,以實現最佳的性能和資源利用效率。
使用場景
JindoCache可以用于如下場景:
OLAP(Presto查詢):提高查詢性能,縮短查詢時間。
DataServing(HBase):顯著降低P99延遲,減少請求費用。
大數據分析(Hive/Spark 報表):減少報表生成時間,優化計算集群成本。
湖倉一體:減少請求費用,優化數據目錄(catalog)的響應延遲。
AI:加速訓練等場景,降低AI集群使用成本,提供更全面的能力支持。
緩存策略
JindoCache支持數據緩存(包括分布式數據緩存、一致性哈希數據緩存和本地緩存)和元數據緩存功能。