日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

配置腳本代碼節(jié)點

通過任務(wù)編排中的腳本代碼可以實現(xiàn)周期性或定時運行腳本,本文介紹配置基于數(shù)據(jù)庫網(wǎng)關(guān)的腳本代碼節(jié)點。

背景信息

很多任務(wù)以腳本的方式存在于服務(wù)器中,腳本代碼節(jié)點結(jié)合數(shù)據(jù)庫網(wǎng)關(guān),可以實現(xiàn)這些腳本的統(tǒng)一調(diào)度。例如:

  • 使用高級的工具(例如:Python的Numpy庫、Sklearn庫,Spark的MLlib庫)加工數(shù)據(jù),產(chǎn)出各種業(yè)務(wù)模型,應(yīng)用到搜索系統(tǒng)的精排、推薦系統(tǒng)。

  • 數(shù)據(jù)消費場景。例如,讀取數(shù)據(jù)生成的Excel腳本,讀取數(shù)據(jù)發(fā)郵件的腳本等。

使用限制

目前僅支持Shell腳本文件。

說明
  • 您也可以通過Shell腳本調(diào)度其他程序,在其他程序中實現(xiàn)其各類腳本文件的調(diào)度。

  • 腳本文件名只能包含字母、數(shù)字、下劃線(_)和半角句號(.)。

步驟1:創(chuàng)建數(shù)據(jù)庫網(wǎng)關(guān)

在腳本文件所在設(shè)備上創(chuàng)建數(shù)據(jù)庫網(wǎng)關(guān),并將腳本文件放在dg_scripts目錄下。

說明

數(shù)據(jù)庫網(wǎng)關(guān)應(yīng)與目標設(shè)備一一對應(yīng)。

例如,3臺阿里云ECS設(shè)備上需要調(diào)用腳本代碼,您需要創(chuàng)建3個數(shù)據(jù)庫網(wǎng)關(guān),而不是在一個數(shù)據(jù)庫網(wǎng)關(guān)下新建3個節(jié)點。

  1. 登錄數(shù)據(jù)庫網(wǎng)關(guān)控制臺

  2. 單擊新建網(wǎng)關(guān)

  3. 新建網(wǎng)關(guān)對話框中,填寫網(wǎng)關(guān)的名稱和備注信息,單擊下一步

  4. 在腳本文件所在設(shè)備上安裝數(shù)據(jù)庫網(wǎng)關(guān)。

    1. 選中Linux/macOS(x86_64)。腳本代碼任務(wù)當前只支持Linux系統(tǒng),且不允許使用Root賬號安裝啟動。

    2. 如果目標設(shè)備為阿里云ECS,建議選中通過阿里云VPC內(nèi)部地址接入(ECS自建庫/專線/云企業(yè)網(wǎng)/VPN網(wǎng)關(guān))

    3. 單擊復(fù)制命令行,將命令行粘貼到需要安裝網(wǎng)關(guān)的設(shè)備上,回車執(zhí)行。

      本地網(wǎng)關(guān)成功啟動后,即可執(zhí)行下一步操作。

  5. 在Linux安裝網(wǎng)關(guān)的用戶目錄下創(chuàng)建dg_scripts目錄,默認自動創(chuàng)建。

    例如,當前用戶為xiaoming,在/home/xiaoming目錄下執(zhí)行命令mkdir dg_scripts,創(chuàng)建dg_scripts目錄。

  6. 將需要執(zhí)行任務(wù)的Shell腳本文件放到dg_scripts目錄下。

    例如,腳本文件名為demo.sh,在腳本文件所在目錄下,執(zhí)行命令mv demo.sh /home/xiaoming/dg_scripts,將腳本文件移動到dg_scripts目錄下。

步驟二:配置腳本代碼節(jié)點

  1. 登錄數(shù)據(jù)管理DMS 5.0
  2. 在頂部菜單欄中,選擇集成與開發(fā) > 數(shù)據(jù)開發(fā) > 任務(wù)編排

    說明

    若您使用的是極簡模式的控制臺,請單擊控制臺左上角的2023-01-28_15-57-17.png圖標,選擇全部功能 > 集成與開發(fā) > 數(shù)據(jù)開發(fā) > 任務(wù)編排

  3. 單擊目標任務(wù)流名稱,進入任務(wù)流詳情頁面。

    說明

    如果您需要新增任務(wù)流,請參見新增任務(wù)流

  4. 可選:在畫布左側(cè)任務(wù)類型列表中,拖拽腳本代碼到畫布空白區(qū)域。

  5. 雙擊腳本代碼節(jié)點。

  6. 根據(jù)業(yè)務(wù)需要,在腳本代碼配置頁面設(shè)置變量。您可以單擊變量設(shè)置區(qū)域右上角的提示,查看配置變量的提示信息。

    • 單擊節(jié)點變量頁簽,配置節(jié)點變量。配置方法,請參見配置時間變量

    • 單擊任務(wù)流變量頁簽,配置任務(wù)流變量。配置方法,請參見配置時間變量

    • 單擊輸入變量頁簽,查看輸入變量,輸入變量包括上游變量、運行狀態(tài)和系統(tǒng)變量。

    • 如果您想在下游節(jié)點中使用腳本輸出變量,單擊輸出變量頁簽,單擊增加變量,添加輸出變量。

      變量文本框中,填寫腳本輸出變量的名稱。關(guān)于腳本輸出變量,請參見變量介紹

  7. 腳本配置區(qū)域,配置腳本參數(shù)。

    配置項

    說明

    地區(qū)

    選擇目標數(shù)據(jù)庫網(wǎng)關(guān)所屬的地區(qū)。

    網(wǎng)關(guān)ID

    選擇目標數(shù)據(jù)庫網(wǎng)關(guān)的名稱。

    說明

    網(wǎng)關(guān)名稱在控制臺網(wǎng)關(guān)列表頁面查看。

    網(wǎng)關(guān)實例ID

    選擇目標數(shù)據(jù)庫網(wǎng)關(guān)的網(wǎng)關(guān)節(jié)點ID。

    說明

    網(wǎng)關(guān)節(jié)點ID在目標網(wǎng)關(guān)的網(wǎng)關(guān)詳情頁面查看。

    文件名

    輸入目標數(shù)據(jù)庫網(wǎng)關(guān)安裝目錄dg_scripts下的腳本文件名。例如數(shù)據(jù)庫網(wǎng)關(guān)中存放腳本文件的完整目錄為/home/xiaoming/dg_scripts/demo.sh,則文件名輸入demo.sh

    運行參數(shù)

    選擇或輸入變量。變量在腳本中將作為運行參數(shù)。

    腳本支持的變量有3種:

    • 系統(tǒng)變量:變量的引用形式為${var_name} ,例如${sys.flow.start.year}。關(guān)于系統(tǒng)變量,請參見系統(tǒng)變量

    • 時間變量:變量的引用形式為${var_name}。自定義時間變量,請參見配置時間變量

    • 腳本輸出變量:不需要手動輸入,腳本任務(wù)會自動從腳本中獲取,關(guān)于腳本輸出變量,請參見變量介紹

  8. 單擊試運行

    • 如果執(zhí)行日志的最后一行出現(xiàn)status SUCCEEDED,表明任務(wù)試運行成功。

    • 如果執(zhí)行日志的最后一行出現(xiàn)status FAILED,表明任務(wù)試運行失敗。

      說明

      如果試運行失敗,在執(zhí)行日志中查看執(zhí)行失敗的節(jié)點和原因,修改配置后重新嘗試。

    執(zhí)行成功后,您可以在執(zhí)行日志中查看腳本的標準輸出打印。