日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

無感數據集成(Zero-ETL)

云數據庫ClickHouse提供無感數據集成(Zero-ETL)功能,用于將RDS MySQL數據同步至云數據庫ClickHouse,您無需搭建或維護數據同步鏈路,且數據同步鏈路不收費,減少數據傳輸成本和運維成本。

方案概述

在大數據時代,企業面臨著大量分散在不同的系統和平臺上的業務數據,為了有效地管理和利用這些數據,企業往往需要依賴于ETL工具對數據進行集中式管理。

ETL是將上層業務系統的數據經過提取(Extract)、轉換清洗(Transform)、加載(Load)到數據倉庫的處理過程,目的是將上游分散的數據整合到目標端數倉,通過在數倉中做進一步的計算分析,來為業務做出有效的商業決策。

傳統的ETL流程通常會面臨以下挑戰:

  • 資源成本增加:不同的數據源可能需要不同的ETL工具,搭建ETL鏈路會產生額外的資源成本。

  • 系統復雜度增加:用戶需要自行維護ETL工具,增加了運維難度,無法專注于業務應用的開發。

  • 數據實時性降低:部分ETL流程涉及周期性的批量更新,在近實時的應用場景中,無法快速產生分析結果。

為了解決這些問題,阿里云瑤池數據庫提供了無感數據集成(Zero-ETL)功能,可以快速構建業務系統(OLTP)和數據倉庫(OLAP)之間的數據同步鏈路,將業務系統(OLTP)的數據自動提取、轉換清洗和加載到數據倉庫(OLAP),從而一站式完成數據同步和管理,實現事務處理和數據分析一體化,幫助客戶專注于數據分析業務。

功能優勢

  • 簡單易用:用戶無需創建和維護執行ETL(提取、轉換、加載操作)的復雜數據管道,僅需選擇源端數據和目標端實例,自動創建實時數據同步鏈路,減少構建和管理數據管道所帶來的挑戰,專注于上層應用開發。

  • 零成本:Zero-ETL鏈路不額外收費,可免費實現在數據倉庫中對上游數據進行分析。

  • 多源匯聚:通過Zero-ETL鏈路將多個實例中的數據實時同步至一個ClickHouse實例中,構建全局分析視角。

    說明

    多個實例中的數據實時同步至一個ClickHouse實例,僅支持不同任務之間的同步對象不重疊。

支持地域

華北2(北京)、華東1(杭州)、華東2(上海)和華南1(深圳)

說明

后續將支持更多地域,具體以ClickHouse控制臺為準。

支持鏈路

RDS MySQL->ClickHouse

費用說明

無感數據集成(Zero-ETL)同步鏈路免費。

前提條件

注意事項

云數據庫ClickHouse集群Zero-ETL鏈路數超過限制時,將無法創建新Zero-ETL鏈路。您可以使用DTS創建新的同步鏈路,或刪除不再使用的Zero ETL鏈路以創建新的鏈路。Zero-ETL鏈路條數限制信息如下:

  • 企業版集群可建條數:[集群CCU下限/8]計算時向上取整,例如集群CCU下限為22CCU,上限為36CCU,則取集群的彈性下限22來計算可創建的鏈路數,計算結果為22/8=2.75,向上取整后為3,即允許創建的Zero-ETL鏈路上限為3。

  • 社區版集群可建條數:[集群總核數/8]計算時向上取整,例如集群每個節點規格為8核32GB,有2個節點,則取集群CPU的總核數8*2=16來計算可創建的鏈路數,計算結果為16/8=2,即允許創建的Zero-ETL鏈路上限為2。

準備工作

創建服務關聯角色并授予RAM用戶對應的管理權限。

  1. 創建服務關聯角色AliyunServiceRoleForClickHouseZeroETL

    說明

    在創建鏈路進行配置,并點擊數據庫實例ID下拉列表項時,會有彈窗報錯提示創建服務關聯角色AliyunServiceRoleForClickHouseZeroETL(如下圖),無需手動創建,系統會自動創建該角色

    image

  2. 授予RAM用戶管理權限。

    RAM用戶必須具備以下三種權限,才可以成功創建Zero-ETL鏈路。如何給RAM用戶授權,請參見為RAM用戶授權

    • 源端RDS MySQL的權限:AliyunRDSFullAccess。

    • 目標端ClickHouse的權限:AliyunClickHouseFullAccess。

    • DTS的權限:DTS的自定義策略腳本如下,如何創建自定義權限,請參見創建自定義權限策略

      {
          "Version": "1",
          "Statement": [
              {
                  "Action": "dts:*",
                  "Resource": "*",
                  "Effect": "Allow"
              },
              {
                  "Action": "ram:PassRole",
                  "Resource": "*",
                  "Effect": "Allow",
                  "Condition": {
                      "StringEquals": {
                          "acs:Service": "dts.aliyuncs.com"
                      }
                  }
              }
          ]
      }

同步數據

步驟一:進入無感數據集成(Zero-ETL)頁面

  1. 登錄云數據庫ClickHouse控制臺

  2. 在頁面左上角,選擇目標集群所在的地域。

  3. 集群列表頁面,選擇社區版實例列表,單擊目標集群ID。

  4. 集群信息頁面的左側導航欄,單擊無感集成(Zero-ETL),進入無感數據集成(Zero-ETL)頁面。

步驟二:創建Zero-ETL任務并啟動任務

無感數據集成(Zero-ETL)頁面,單擊創建Zero-ETL任務,進入創建Zero-ETL任務頁面。

填寫任務名稱,并完成以下配置

  1. 配置源庫及目標庫。

    根據下述參數配置源庫及目標庫,配置完成后,單擊測試連接以進行下一步

    源庫信息

    源庫信息

    說明

    數據庫類型

    僅支持RDS for MySQL。

    接入方式

    僅支持云實例

    實例地區

    選擇源實例所屬地域。

    RDS實例ID

    RDS MySQL實例ID。

    數據庫賬號

    RDS MySQL實例的數據庫賬號。

    數據庫密碼

    RDS MySQL數據庫賬號的密碼。

    連接方式

    根據需求選擇非加密連接SSL安全連接。如果設置為SSL安全連接,您需要提前開啟RDS MySQL實例的SSL加密功能,詳情請參見使用云端證書快速開啟SSL鏈路加密

    目標庫信息

    目標庫信息

    說明

    數據庫類型

    ClickHouse

    接入方式

    僅支持云實例接入。

    實例地區

    目標庫的集群所屬地域。

    集群ID

    目標庫的集群ID。

    集群類型

    集群的類型分為社區版和企業版。

    數據庫賬號

    目標庫集群的數據庫賬號。

    數據庫密碼

    目標庫集群的數據庫賬號的密碼。

  2. 配置Zero-ETL。

    源庫對象框的多選框中選擇待同步對象,然后單擊image將其移動至已選擇對象框,單擊下一步配置庫表字段

    image

  3. 配置庫表字段

    庫表列配置頁面,配置待同步表在目標庫中的類型主鍵列排序鍵分布鍵分區鍵信息。

    說明
    • 頁面默認展示未定義的表信息,您可以將定義狀態選擇為全部后進行修改。

    • 主鍵列排序鍵可以是組合鍵,即您可以在對應的下拉框中選擇多個字段作為主鍵列排序鍵,且需要從主鍵列中選擇一個或者多個列作分區鍵分布鍵只能選擇一個字段。更多關于主鍵列、排序鍵、分區鍵的信息,請參見CREATE TABLE

    • 分區鍵可以不設置,但不可以選擇為可空的字段,否則同步任務將會失敗。

  4. 保存任務。

    配置庫表字段完成后,單擊下一步保存任務并預檢查

    說明

    此操作完成后,無論預檢查是否通過,任務創建均已保存。

  5. 預檢查并啟動任務。

    預檢查通過率顯示為100%時,單擊啟動,啟動Zero-ETL任務。

    您可以在無感數據集成(Zero-ETL)頁面,查看目標Zero-ETL任務的名稱源/目標運行狀態等信息。

    如果預檢查失敗,根據失敗信息調整源庫和目標庫后,可以在無感數據集成(Zero-ETL)頁面找到目標任務,進行任務修改,重新進行預檢查。待預檢查成功后,即可啟動任務。

監控Zero-ETL任務

監控Zero-ETL任務有以下幾種方式,建議您選擇監控告警或訂閱事件及時獲取任務情況,在任務異常時,可結合主動查看方式,進行任務排查。

監控方式

優勢

劣勢

操作

主動查看

可全方面查看任務狀況,比如同步性能、同步詳情、任務日志等。

Zero-ETL任務異常時無法主動通知您處理異常。

通過ClickHouse控制臺監控

告警監控

根據報警規則,云監控系統會自動發送報警通知,以幫助您及時獲取異常監控數據并迅速進行處理。

僅支持監控Zero-ETL任務的同步延遲(毫秒)情況。

云監控ZeroETL延遲告警監控

訂閱事件

當Zero-ETL的系統事件達到報警條件時,云監控將自動發送報警通知,以便您及時了解任務的異常與恢復情況,并迅速采取相應措施。

僅支持監控Zero-ETL任務的失敗和恢復。

云監控Zero-ETL任務事件訂閱

通過ClickHouse控制臺監控

  1. 登錄云數據庫ClickHouse控制臺

  2. 在頁面左上角,選擇目標集群所在的地域。

  3. 集群列表頁面,選擇社區版實例列表,單擊目標集群ID。

  4. 集群信息頁面的左側導航欄,單擊無感集成(Zero-ETL)

  5. 在無感數據集成(Zero-ETL)頁面,單擊目標任務操作列的任務詳情

    在任務詳情頁面,您可以對任務進行全面信息查看與監控。image

云監控ZeroETL延遲告警監控

通過云監控,您可以創建告警規則以監測ZeroETL延遲情況。當監測指標達到報警條件時,云監控系統將自動發送報警通知,幫助您及時獲取異常監控數據并迅速進行處理。

步驟一:創建ZeroETL延遲告警

如何創建ZeroETL延遲告警,請參見通過云監控控制臺。創建時,請務必注意以下參數的填寫。

參數

說明

產品

固定選擇云數據庫Clickhouse - ZeroETL延遲。

監控指標

固定選擇同步延遲。

步驟二:查看集群延遲情況

  1. 登錄云監控 CloudMonitor (aliyun.com)

  2. 云數據庫Clickhouse - ZeroETL延遲列表,單擊目標集群操作列的監控圖表,查看集群同步延遲情況。

云監控Zero-ETL任務事件訂閱

如果您需要監控Zero-ETL任務的恢復與失敗情況,且能及時得到通知,您可以對相關事件進行訂閱。

如何訂閱Zero-ETL事件,請參見管理事件訂閱。在創建訂閱策略時,請務必注意以下參數的填寫。

訂閱事件

參數

說明

Zero-ETL任務失敗

訂閱類型

固定選擇系統事件。

產品

固定選擇云數據庫Clickhouse。

事件類型

固定選擇異常。

事件名稱

固定選擇ZeroETL任務異常。

Zero-ETL任務恢復

訂閱類型

固定選擇系統事件。

產品

固定選擇云數據庫Clickhouse。

事件類型

固定選擇Restore。

事件名稱

固定選擇ZeroETL任務恢復。