前提條件

集群的產品系列為企業版、基礎版或湖倉版。

功能介紹

功能原理

流程介紹如下：

1. 客戶端對OSS的讀請求會被轉發給湖存儲加速器，連接LakeCache Master節點，請求文件元數據。

2. LakeCache Master將文件元數據返回給LakeCache Client。

3. LakeCache Client根據元數據信息，向LakeCache Worker發起請求，獲取OSS數據：

   • 若LakeCache Worker（緩存空間）存在目標文件，則直接將文件返回給客戶端。

   • 若LakeCache Worker（緩存空間）沒有目標文件，湖存儲加速器會向OSS請求目標文件。湖存儲加速器將文件數據返回給客戶端，并將目標文件緩存到湖存儲加速器中。

費用說明

開通湖存儲加速功能后，湖存儲加速器緩存空間將按量計費。計費詳情，請參見企業版和基礎版產品定價和湖倉版產品定價。

注意事項

• 僅部分地域支持湖存儲加速功能：華東1（杭州）、華東2（上海）、華北2（北京）、華北3（張家口）、華南1（深圳）、新加坡、美國（弗吉尼亞）。

  重要

  如果您需要在其他地域使用湖存儲加速功能，請提交工單聯系技術支持。

• 當緩存硬件發生故障時，數據查詢不會中斷和異常，但查詢速度會下降。緩存數據需要從OSS重新預熱，預熱完成后查詢速度將會恢復。

• 當湖存儲加速器配置的緩存空間占用達到上限時，湖存儲加速器會根據緩存文件的熱度，將緩存空間中的低熱度的文件替換為高熱度文件。如果您不想替換已存儲在緩存空間中的文件，請手動擴容湖存儲加速器的緩存空間，以增加緩存空間。

開通湖存儲加速

1. 登錄云原生數據倉庫AnalyticDB MySQL控制臺，在左上角選擇集群所在地域。在左側導航欄，單擊集群列表，在企業版、基礎版或湖倉版頁簽下，單擊目標集群ID。

2. 進入集群信息頁面，在配置信息區域，單擊湖存儲加速后的設置。

3. 在湖存儲加速對話框中，打開湖存儲加速開關，并設置緩存空間。

4. 單擊確定。

使用湖存儲加速

開通湖存儲加速后，在讀取OSS數據時，可以通過在Spark作業配置中配置spark.adb.lakecache.enabled參數，實現OSS數據的讀加速。示例如下：

-- Here is just an example of using LakeCache. Modify the content and run your spark program.
SET spark.adb.lakecache.enabled=true;

-- Here are your sql statements
SHOW databases;

{
  "comments": [
    "-- Here is just an example of using LakeCache. Modify the content and run your spark program."
  ],
  "args": ["oss://testBucketName/data/readme.txt"],
  "name": "spark-oss-test",
  "file": "oss://testBucketName/data/example.py",
  "conf": {
    "spark.adb.lakecache.enabled": "true"
  }
}

查看湖存儲加速的監控信息

開通湖存儲加速后，您可以在云監控控制臺查看提交的Spark應用是否已成功使用湖加速功能，也可以查看湖存儲加速器緩存空間讀取的數據量等信息。具體操作如下。

1. 登錄云監控控制臺。

2. 在左側導航欄，選擇云資源監控 > 云產品監控。

3. 鼠標懸浮在云原生數據倉庫AnalyticDB MySQL版卡片上，單擊云原生數據倉庫AnalyticDB MySQL版3.0 - 湖倉版。

4. 單擊目標集群ID對應操作列的監控圖表。

5. 單擊LakeCache指標頁簽，查詢監控詳情。

   監控指標詳情如下：

   監控指標	監控項說明
   LakeCache緩存命中率(%)	計算方法為：命中緩存的讀請求數/讀請求總數。
   LakeCache緩存使用量(B)	已使用的緩存空間（字節）。
   LakeCache歷史累計讀數據總量(B)	通過緩存空間讀取的數據總量（字節）。