若您要使用DataWorks進行ClickHouse集群任務的開發、管理,需先將您的ClickHouse集群創建為DataWorks的ClickHouse數據源。創建完成后,可在DataWorks的各功能模塊使用該數據源連接ClickHouse集群,進行相應的數據同步、數據開發、數據分析等操作。
前提條件
已創建ClickHouse集群。詳情請參見新建集群。
說明建議創建ClickHouse集群時,地域與創建ClickHouse數據源的DataWorks工作空間地域一致。若地域不一致,則只能創建為跨地域的數據源,此類數據源無法在數據開發中綁定,即無法在DataWorks的數據開發、運維中心頁面中執行對應計算任務,僅可進行數據同步任務。
已購買所需的DataWorks資源組并完成資源組配置。ClickHouse僅支持使用獨享數據集成資源組、獨享調度資源組、獨享數據服務資源組。
ClickHouse數據源創建完成后,可用于進行數據同步、計算任務開發與調度、生成API提供數據服務等應用場景中,各應用場景需要分別使用DataWorks的數據集成資源組、調度資源組、數據服務資源組。您需要根據數據源的應用場景提前準備好對應的資源組并完成資源組配置,在創建ClickHouse數據源時確保與對應資源組間網絡連通。各資源組的介紹與配置引導請參見DataWorks資源組概述。
已創建或加入目標工作空間。
您需在目標工作空間中,將ClickHouse集群創建為該工作空間的數據源,用于后續在該工作空間進行開發操作。同時,需將購買的DataWorks資源組綁定至該工作空間,確保數據源與資源組網絡連通。創建工作空間,詳情請參見創建并管理工作空間。
說明同一個ClickHouse集群可在多個DataWorks工作空間中被創建為數據源。
使用限制
當ClickHouse數據源開啟了認證服務,則不支持用于數據開發或周期性調度任務。
僅支持通過連接串模式創建ClickHouse數據源。
僅支持使用獨享數據集成資源組、獨享調度資源組運行ClickHouse任務;基于ClickHouse數據源創建數據服務API,僅支持使用獨享數據服務資源組。詳情請參見新增和使用獨享數據集成資源組、新增和使用獨享調度資源組、新增和使用獨享數據服務資源組。
操作前準備:權限說明與配置
使用RAM用戶(即子賬號)或RAM角色創建數據源,需擁有如下任意權限:
僅擁有項目所有者、空間管理員或運維空間角色的RAM用戶或RAM角色可創建數據源,授權詳情請參見添加空間成員并管理成員角色權限。
僅擁有AliyunDataWorksFullAccess或AdministratorAccess策略權限的RAM用戶或RAM角色可創建數據源,授權詳情請參見為RAM用戶授權、為RAM角色授權。
數據源創建入口
進入數據源頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入管理中心。
進入工作空間管理中心頁面后,單擊左側導航欄的
,進入數據源頁面。
單擊新增數據源,選擇ClickHouse,根據界面指引創建數據源。
您也可進入數據集成界面創建,但該頁面僅支持創建生產數據源,且創建完成后需在
進行管理。數據集成頁面支持創建的數據源類型,具體請以實際界面為準。
創建數據源
配置基礎信息。
您可根據界面提示配置數據源的名稱等基礎信息,核心配置參數如下表所示。
說明標準模式工作空間,需分別創建開發環境數據源和生產環境數據源。工作空間模式,詳情請參見必讀:簡單模式和標準模式的區別。
參數
說明
數據源名稱
定義數據源在DataWorks的名稱,名稱必須唯一。
配置模式
目前支持通過連接串模式創建ClickHouse數據源。
JDBC 連接串預覽
連接ClickHouse的JDBC URL信息,配置主機地址/IP、端口、數據庫名稱后自動生成。您可登錄云數據庫ClickHouse控制臺,獲取相關連接地址、數據庫及端口信息。
用戶名
訪問ClickHouse集群的用戶名。
密碼
訪問ClickHouse集群的用戶密碼。
認證選項
選擇后續訪問ClickHouse集群時是否需要SSL認證。開啟該認證服務后,ClickHouse數據源不支持用于數據開發或周期性調度任務。
測試資源組連通性。
根據使用場景不同,資源組分為數據集成(用于數據同步)、數據開發(用于任務調度)、數據服務(用于數據服務任務)三種類型。資源組的詳細介紹,請參見DataWorks資源組概述。
您需根據數據源后續的用途,在連接配置區域對應資源組類型后,測試所需資源組的連通性。若資源組與數據源無法連通,則相應數據源任務將無法正常執行。
后續操作
數據源創建完成后,您可根據需要執行如下操作:
DataWorks的數據開發與運維中心模塊,為您提供ClickHouse任務的開發與調度能力,若您需要基于該ClickHouse數據源進行ClickHouse任務開發,或周期性調度ClickHouse相關任務,需先進入數據開發(DataStudio)頁面,將創建的數據源綁定至數據開發(DataStudio)。
說明僅當ClickHouse集群和DataWorks工作空間同地域、同賬號時,基于該項目創建的數據源才可綁定至數據開發(DataStudio)。
DataWorks的數據集成模塊為您提供讀取和寫入數據至ClickHouse的能力,您可將其他數據源的數據同步至當前ClickHouse數據源,或將當前ClickHouse數據源的數據同步至其他數據源。您可通過離線同步場景執行相關數據同步操作。
增刪改查數據源:進入數據源管理頁面執行編輯、刪除等管理操作。