DataWorks的SQL Server節點可進行SQL Server任務的開發和周期性調度,以及與其他作業的集成操作。本文為您介紹使用SQL Server節點進行任務開發的主要流程。
背景信息
SQL Server是用于存儲和處理數據的關系型數據庫管理系統(RDBMS),為您提供可靠、高效且安全的數據管理和分析服務。更多介紹請參見SQL Server。
前提條件
已創建業務流程。
數據開發(DataStudio)基于業務流程執行不同引擎的具體開發操作,因此,創建節點前需先創建業務流程,操作詳情請參見創建業務流程。
已通過JDBC連接串方式創建SQL Server數據源。創建數據源請參見創建并管理數據源。
(可選,RAM賬號需要)進行任務開發的RAM賬號已被添加至對應工作空間中,并具有開發或空間管理員(權限較大,謹慎添加)角色權限。添加成員并授權,詳情請參見為工作空間添加空間成員。
使用限制
支持的地域:華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、西南1(成都)、中國香港、新加坡、馬來西亞(吉隆坡)、德國(法蘭克福)、美國(硅谷)、美國(弗吉尼亞)。
步驟一:創建SQL Server節點
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
右鍵單擊目標業務流程,選擇
。在新建節點對話框輸入節點名稱,單擊確認。節點創建完成,您可在節點中進行對應任務的開發與配置。
步驟二:開發SQL Server任務
(可選)選擇SQL Server數據源
如果您的工作空間創建了多個SQL Server數據源,則需先在SQL Server節點編輯頁面選擇合適的數據源。如果僅創建了一個SQL Server數據源,則默認使用該數據源進行開發操作。
SQL Server節點僅支持使用JDBC連接串方式創建的SQL Server數據源。
開發SQL代碼:簡單示例
在SQL Server節點的代碼編輯區域編寫要執行的任務。示例查詢SQL Server數據庫中所有用戶表的基本信息。代碼如下:
SELECT * FROM sys.tables;
開發SQL代碼:使用調度參數
DataWorks提供的調度參數可實現周期調度場景下代碼動態入參,您可在節點任務中通過${變量名}
的方式定義代碼中的變量,并在節點編輯頁面右側導航欄的調度配置>調度參數,為該變量賦值。調度參數支持的格式及配置詳情,請參見調度參數支持的格式、配置并使用調度參數。
示例:查詢去年至今數據庫中所有用戶定義的表的名稱及創建日期,其中調度參數a取值為$[add_months(yyyymmdd,-12)](表示上一年)。
代碼如下。
SELECT name, create_date
FROM sys.tables
WHERE type = 'U' AND create_date >= '${a}';
步驟三:配置任務調度
如您需要周期性執行創建的節點任務,可單擊節點編輯頁面右側的調度配置,根據業務需求配置該節點任務的調度信息。配置詳情請參見任務調度屬性配置概述。
您需要設置節點的重跑屬性和依賴的上游節點,才可以提交節點。
步驟四:調試任務代碼
您可根據需要執行如下調試操作,查看任務是否符合預期。
步驟五:提交發布任務
節點任務配置完成后,需執行提交發布操作,提交發布后節點即會根據調度配置內容進行周期性運行。
單擊工具欄中的圖標,保存節點。
單擊工具欄中的圖標,提交節點任務。
提交時需在提交對話框中輸入變更描述,并根據需要選擇是否在節點提交后執行代碼評審。
說明您需設置節點的重跑屬性和依賴的上游節點,才可提交節點。
代碼評審可對任務的代碼質量進行把控,防止由于任務代碼有誤,未經審核直接發布上線后出現任務報錯。如進行代碼評審,則提交的節點代碼必須通過評審人員的審核才可發布,詳情請參見代碼評審。
如您使用的是標準模式的工作空間,任務提交成功后,需單擊節點編輯頁面右上方的發布,將該任務發布至生產環境執行,操作請參見發布任務。
后續步驟
任務運維:任務提交發布后,會基于節點的配置周期性運行,您可單擊節點編輯界面右上角的運維,進入運維中心查看周期任務的調度運行情況。詳情請參見查看并管理周期任務。