DataWorks支持眾多數據源作為數據集成的輸入與輸出數據源,可通過數據集成模塊的數據源為數據集成任務創建數據源,本文為您介紹數據集成側數據源創建方式。
權限控制
僅擁有運維或空間管理員角色的空間成員,以及擁有AliyunDataWorksFullAccess、AdministratorAccess權限策略的RAM角色可創建數據源,授權詳情請參見空間級模塊權限管控,為RAM用戶授權。
除上述權限外,部分數據源創建時還會存在其他權限控制,請根據界面提示進行授權。
支持的數據源類型
DataWorks數據集成目前支持的數據源可參考支持的數據源及同步方案。
DataWorks數據集成功能在使用不同數據源時存在差異,具體以實際頁面為準。
創建數據集成數據源
進入數據集成頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據集成。
單擊左側導航欄中的數據源,進入數據源列表頁面。
在數據源列表頁面,可根據需要選擇新增數據源或批量新增數據源。
創建單個數據源
單擊新增數據源,選擇需要創建的數據源類型并配置數據源信息。不同數據源的配置存在差異,詳細的配置參數解釋可在配置界面查看對應參數的文案提示。
測試資源組連通性(可選)。
在連接配置區域,找到工作空間綁定的資源組,單擊連通狀態列的測試連通性。
說明資源組的詳細介紹,請參見DataWorks資源組概述。
如果顯示可連通,則單擊完成。
如果顯示無法連通,表示資源組與數據源無法連通,后續相應數據源任務將無法正常執行。
您需要根據右側彈出的連通性診斷工具窗口,自助解決連通性問題,如果連通性診斷工具未給出具體解決辦法,請檢查您設置的賬號、密碼、連接地址等參數,以及確保將資源組的IP地址加入到數據源的白名單中。更多信息,請參見網絡連通。
批量創建數據源
單擊批量新增數據源,按如下步驟選擇需要創建的數據源類型并配置數據源信息。目前僅支持批量創建Hive、MySQL、PolarDB、SQLServer和Oracle數據源。
選擇相應數據源并下載該數據源的配置信息模板。
創建數據源的方式不同(連接串模式或實例模式),則模板配置信息不同,具體請以實際界面為準。
根據模板格式填寫數據源信息。
填寫完后上傳模板文件并啟動創建數據源。
創建數據源時,您可根據界面文本框的提示,查看數據源的創建進度及詳情。若創建失敗,請基于相應報錯解決處理。
管理數據集成數據源
在數據源列表頁面,您可根據數據源類型和數據源名稱對已創建的數據源進行篩選,同時支持對數據源進行編輯、克隆、權限管理以及刪除操作。
編輯:可根據需要修改數據源的配置信息。數據源的名稱及適用環境無法更改。
刪除:可根據需要刪除無需使用的數據源,刪除數據源對DataWorks不同模塊功能的影響如下:
刪除數據源時需確認是否存在數據集成任務。若存在,刪除該數據源后,會導致數據集成任務運行失敗。
如果數據源已授權跨工作空間的用戶使用,則刪除數據源后,跨工作空間使用該數據源的任務會執行失敗。
克隆:可通過克隆功能,快速生成一個與當前數據源配置信息相同的新數據源。
說明克隆的新數據源的名稱需要重新定義,不能與當前數據源名稱相同。
權限管理:您可通過數據源的權限管理功能,授權其他工作空間下的某用戶使用當前數據源。授權后,該用戶擁有數據源的查看及使用權限,但無法編輯數據源。詳情請參見管理數據源權限。
說明若授權某個工作空間擁有數據源權限,則工作空間中的所有成員均擁有該數據源的查看及使用權限。
附錄:不同方式創建數據源說明
標準模式工作空間下,同一個名稱的數據源存在開發環境和生產環境兩套配置,兩套配置可對應底層兩個數據庫/數據倉庫,針對不同環境您可設置不同的數據源信息,使測試與生產調度操作的數據源隔離,以保護生產數據的安全。例如,執行離線同步任務時,可由運行環境控制任務所訪問的數據庫地址(配置生產、開發數據源對應不同數據庫),實現開發環境和生產環境的數據隔離。
空間模式 | 數據集成側創建數據源 | 管理中心側創建數據源 |
標準模式工作空間 | 僅創建生產環境數據源。 | 可同時創建生產環境與開發環境數據源。 |
簡單模式工作空間 | 單模式工作空間僅擁有一個環境,在數據集成側創建的數據源與管理中心側創建的數據源之間無區別。 |