數據源隔離模式可以滿足標準模式下,開發環境和生產環境的數據隔離需求。
背景信息
同一個名稱的數據源存在開發環境和生產環境兩套配置,在配置數據源時,您可基于標準模式工作空間對應底層兩個數據庫或數據倉庫的背景,針對不同環境設置不同的數據源信息。在同步任務執行過程中,可由執行環境控制離線同步任務所訪問的數據源對應的數據庫地址,以此實現開發環境測試和生產數據產出的數據隔離需求。關于標準模式工作空間的介紹,詳情請參見必讀:簡單模式和標準模式的區別。
標準模式工作空間下,DataStudio界面與開發環境運維中心默認訪問開發環境數據源指向的數據源。
生產調度環境下,生產環境運維中心界面任務執行默認訪問生產環境數據源指向的數據源。
由于開發環境和生產環境數據源配置的數據庫、賬號密碼等可以不一致,所以可能導致DataStudio界面執行成功,生產環境調度時由于數據源差異導致數據同步失敗的問題。請在配置數據源時,確認開發數據源對應的數據庫或數據倉庫與生產數據源對應的數據庫或數據倉庫環境是否符合業務現狀。例如出現DataStudio執行成功,生產調度時執行失敗,或DataStudio執行與生產調度時執行數據量不一致等問題時,您可對比開發環境執行成功的日志與生產環境的報錯日志進行比對排查。
由于任務最終將發布生產環境執行,若數據源開發環境與生產環境配置不一致,請確保資源組可分別與開發數據源和生產數據源連通。
新增數據源隔離模式后,對工作空間有以下影響:
僅標準模式工作空間支持數據源開發生產隔離,即開發環境和生產環境可以配置不同的數據庫或數據倉庫。
說明簡單模式工作空間僅一個環境,無法做到開發生產隔離,關于工作空間模式說明,詳情請參見:場景:工作空間模式升級(簡單模式升級標準模式)。
簡單模式升級標準模式時,會將數據源拆分成生產環境和開發環境隔離的模式。
操作步驟
進入數據源頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入管理中心。
進入工作空間管理中心頁面后,單擊左側導航欄的
,進入數據源頁面。
頁面功能
描述
批量新增數據源
目前僅支持MySQL、PolarDB、SQLServer和Oracle數據源。
您可以下載相應數據源的模板,根據模板中的格式填寫內容,選擇上傳文件進行新建操作,文本框中會顯示添加詳情。模板內容:顯示數據源類型、數據源名稱、數據源描述、環境類別(0開發、1生產)、鏈接地址。
說明同一個開發環境和生產環境的數據源名稱必須一致。
新增數據源
開發環境可用的數據源:可以在新建數據同步節點時選擇并在開發環境運行,但無法提交到生產環境或在生產環境運行。
生產環境可用的數據源:只允許在生產環境運行時使用,不可以在新建數據同步節點時選擇。
適用環境
簡單模式下的工作空間不顯示該配置。
操作
新建:如果不存在適用環境下的數據源,顯示新建
編輯和刪除:如果存在適用環境下的數據源,則顯示編輯和刪除按鈕。
刪除開發環境和生產環境的數據源:需確認是否存在生產環境關聯的同步任務,操作不可逆,刪除后,在開發環境配置同步任務時此數據源不可見。
如果生產環境在使用此數據源配置的同步任務,刪除后,生產環境任務不可正常運行。請刪除同步任務后再刪除此數據源。
刪除開發環境的數據源:需確認是否存在生產環境關聯的同步任務,操作不可逆,刪除后,在開發環境配置同步任務時此數據源不可見。
如果在生產環境使用此數據源配置的同步任務,刪除后,任務編輯時將不能獲取到元數據信息,但生產環境任務可以正常運行。
刪除生產環境的數據源:需確認是否存在生產環境關聯的同步任務,刪除后,在開發環境使用此數據源配置的同步任務將不能提交生產發布。
如果生產環境在使用此數據源配置的同步任務,刪除后,生產環境任務不可正常運行。
選擇
勾選后,可以進行批量測試連通性和批量刪除操作。