配置腳本代碼節(jié)點
通過任務(wù)編排中的腳本代碼可以實現(xiàn)周期性或定時運行腳本,本文介紹配置基于數(shù)據(jù)庫網(wǎng)關(guān)的腳本代碼節(jié)點。
背景信息
很多任務(wù)以腳本的方式存在于服務(wù)器中,腳本代碼節(jié)點結(jié)合數(shù)據(jù)庫網(wǎng)關(guān),可以實現(xiàn)這些腳本的統(tǒng)一調(diào)度。例如:
使用高級的工具(例如:Python的Numpy庫、Sklearn庫,Spark的MLlib庫)加工數(shù)據(jù),產(chǎn)出各種業(yè)務(wù)模型,應(yīng)用到搜索系統(tǒng)的精排、推薦系統(tǒng)。
數(shù)據(jù)消費場景。例如,讀取數(shù)據(jù)生成的Excel腳本,讀取數(shù)據(jù)發(fā)郵件的腳本等。
使用限制
目前僅支持Shell腳本文件。
您也可以通過Shell腳本調(diào)度其他程序,在其他程序中實現(xiàn)其各類腳本文件的調(diào)度。
腳本文件名只能包含字母、數(shù)字、下劃線(_)和半角句號(.)。
步驟1:創(chuàng)建數(shù)據(jù)庫網(wǎng)關(guān)
在腳本文件所在設(shè)備上創(chuàng)建數(shù)據(jù)庫網(wǎng)關(guān),并將腳本文件放在dg_scripts目錄下。
數(shù)據(jù)庫網(wǎng)關(guān)應(yīng)與目標設(shè)備一一對應(yīng)。
例如,3臺阿里云ECS設(shè)備上需要調(diào)用腳本代碼,您需要創(chuàng)建3個數(shù)據(jù)庫網(wǎng)關(guān),而不是在一個數(shù)據(jù)庫網(wǎng)關(guān)下新建3個節(jié)點。
單擊新建網(wǎng)關(guān)。
在新建網(wǎng)關(guān)對話框中,填寫網(wǎng)關(guān)的名稱和備注信息,單擊下一步。
在腳本文件所在設(shè)備上安裝數(shù)據(jù)庫網(wǎng)關(guān)。
選中Linux/macOS(x86_64)。腳本代碼任務(wù)當前只支持Linux系統(tǒng),且不允許使用Root賬號安裝啟動。
如果目標設(shè)備為阿里云ECS,建議選中通過阿里云VPC內(nèi)部地址接入(ECS自建庫/專線/云企業(yè)網(wǎng)/VPN網(wǎng)關(guān))。
單擊復(fù)制命令行,將命令行粘貼到需要安裝網(wǎng)關(guān)的設(shè)備上,回車執(zhí)行。
本地網(wǎng)關(guān)成功啟動后,即可執(zhí)行下一步操作。
在Linux安裝網(wǎng)關(guān)的用戶目錄下創(chuàng)建dg_scripts目錄,默認自動創(chuàng)建。
例如,當前用戶為xiaoming,在/home/xiaoming目錄下執(zhí)行命令
mkdir dg_scripts
,創(chuàng)建dg_scripts目錄。將需要執(zhí)行任務(wù)的Shell腳本文件放到dg_scripts目錄下。
例如,腳本文件名為demo.sh,在腳本文件所在目錄下,執(zhí)行命令
mv demo.sh /home/xiaoming/dg_scripts
,將腳本文件移動到dg_scripts目錄下。
步驟二:配置腳本代碼節(jié)點
- 登錄數(shù)據(jù)管理DMS 5.0。
在頂部菜單欄中,選擇 。
說明若您使用的是極簡模式的控制臺,請單擊控制臺左上角的圖標,選擇
。單擊目標任務(wù)流名稱,進入任務(wù)流詳情頁面。
說明如果您需要新增任務(wù)流,請參見新增任務(wù)流。
可選:在畫布左側(cè)任務(wù)類型列表中,拖拽腳本代碼到畫布空白區(qū)域。
雙擊腳本代碼節(jié)點。
根據(jù)業(yè)務(wù)需要,在腳本代碼配置頁面設(shè)置變量。您可以單擊變量設(shè)置區(qū)域右上角的,查看配置變量的提示信息。
在腳本配置區(qū)域,配置腳本參數(shù)。
配置項
說明
地區(qū)
選擇目標數(shù)據(jù)庫網(wǎng)關(guān)所屬的地區(qū)。
網(wǎng)關(guān)ID
選擇目標數(shù)據(jù)庫網(wǎng)關(guān)的名稱。
說明網(wǎng)關(guān)名稱在控制臺網(wǎng)關(guān)列表頁面查看。
網(wǎng)關(guān)實例ID
選擇目標數(shù)據(jù)庫網(wǎng)關(guān)的網(wǎng)關(guān)節(jié)點ID。
說明網(wǎng)關(guān)節(jié)點ID在目標網(wǎng)關(guān)的網(wǎng)關(guān)詳情頁面查看。
文件名
輸入目標數(shù)據(jù)庫網(wǎng)關(guān)安裝目錄dg_scripts下的腳本文件名。例如數(shù)據(jù)庫網(wǎng)關(guān)中存放腳本文件的完整目錄為/home/xiaoming/dg_scripts/demo.sh,則文件名輸入demo.sh。
運行參數(shù)
選擇或輸入變量。變量在腳本中將作為運行參數(shù)。
腳本支持的變量有3種:
系統(tǒng)變量:變量的引用形式為${var_name} ,例如${sys.flow.start.year}。關(guān)于系統(tǒng)變量,請參見系統(tǒng)變量。
時間變量:變量的引用形式為${var_name}。自定義時間變量,請參見配置時間變量。
腳本輸出變量:不需要手動輸入,腳本任務(wù)會自動從腳本中獲取,關(guān)于腳本輸出變量,請參見變量介紹。
單擊試運行。
如果執(zhí)行日志的最后一行出現(xiàn)
status SUCCEEDED
,表明任務(wù)試運行成功。如果執(zhí)行日志的最后一行出現(xiàn)
status FAILED
,表明任務(wù)試運行失敗。說明如果試運行失敗,在執(zhí)行日志中查看執(zhí)行失敗的節(jié)點和原因,修改配置后重新嘗試。
執(zhí)行成功后,您可以在執(zhí)行日志中查看腳本的標準輸出打印。