配置離線管道運(yùn)行參數(shù)
運(yùn)行參數(shù)配置是對離線管道中所用的變量進(jìn)行賦值,從而支持節(jié)點(diǎn)調(diào)度時,參數(shù)變量可以自動被替換為相應(yīng)的變量值。本文為您介紹如何配置離線管道的運(yùn)行參數(shù)。
參數(shù)配置入口
在Dataphin首頁,單擊頂部菜單欄的研發(fā)。
按照下圖操作指引,選擇您需配置的離線管道任務(wù),并單擊屬性進(jìn)入屬性面板。
在屬性面板中運(yùn)行參數(shù)區(qū)域,即可配置任務(wù)的參數(shù)信息。
配置參數(shù)
在離線集成管道中通過表達(dá)式${變量名}
配置的參數(shù)、系統(tǒng)將在運(yùn)行參數(shù)區(qū)域進(jìn)行展示。可以在運(yùn)行參數(shù)列表修改參數(shù)類型并對參數(shù)賦值。
參數(shù)列表支持批量操作,勾選或全選參數(shù)后,可以單擊進(jìn)行批量修改參數(shù)類型。
參數(shù) | 描述 |
參數(shù)名稱 | 離線管道中定義的參數(shù)名稱。建議變量名稱僅包含數(shù)字、字母和下劃線(_),長度在32位以內(nèi)。 |
參數(shù)類型 | 包括全局變量、空間名稱變量、本地變量、跨節(jié)點(diǎn)變量、非變量類型。更多信息,請參見變量分類。 |
參數(shù)值 |
|
變量分類
Dataphin中存在以下類型的變量:
變量類型 | 描述 |
全局變量 | 在Dataphin規(guī)劃-公共定義-全局變量中事先聲明定義的變量,可以在租戶內(nèi)任何節(jié)點(diǎn)或代碼中引用,系統(tǒng)初始內(nèi)置的全局變量有 說明
|
空間名稱變量 | 即 說明 空間名稱變量不支持轉(zhuǎn)換為其他類型變量。 |
本地變量 |
重要
|
跨節(jié)點(diǎn)變量 | 指當(dāng)前變量為上游節(jié)點(diǎn)透傳給本對象節(jié)點(diǎn)的變量參數(shù)。可用于以下場景:
重要 引入跨節(jié)點(diǎn)參數(shù)變量后,對當(dāng)前節(jié)點(diǎn)補(bǔ)數(shù)據(jù)時,建議同時補(bǔ)輸出跨節(jié)點(diǎn)參數(shù)的上游節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)。 |
變量賦值
日期時間計算表達(dá)式
為本地變量賦值時, 如果需要針對日期時間進(jìn)行運(yùn)算,Dataphin支持以下快捷日期計算操作符:
Dataphin 提供基于兩個日期時間的運(yùn)算
基于業(yè)務(wù)日期
${bizdate}
的方式:${(yyyyMMdd|yyyy/MM/dd|yyyy-MM-dd) (+|-) n}
。基于預(yù)計執(zhí)行時間(即節(jié)點(diǎn)任務(wù)設(shè)置的起調(diào)時間)的方式:
$[(yyyyMMddHHmmss|yyyy/MM/dd HH:mm:ss|yyyy-MM-dd HH:mm:ss) (+|-) n]
。
日期時間各部分的標(biāo)識符號
年:yyyy。
月:mm(日期時間只到天粒度時可使用)或MM(日期時間到分鐘粒度時必須使用大寫,以便和分鐘mm進(jìn)行區(qū)分)。
日:dd。
小時:HH。
分鐘:mm。
秒:ss。
日期時間運(yùn)算的單位 (interval) 是天
1 小時使用1/24來表示,5小時為5/24。
1 分鐘使用1/24/60來表示,30分鐘為30/24/60。
示例參考
當(dāng)前日期 | 基于業(yè)務(wù)日期(T-1)的配置 | 實(shí)際值 | 基于預(yù)計執(zhí)行時間(T)的配置 | 實(shí)際值 |
2018-01-10 | ${yyyymmdd} | 20180109 | $[yyyymmdd] | 20180110 |
2018-01-10 | ${yyyyMMdd} | 20180109 | $[yyyyMMdd] | 20180110 |
2018-01-10 | ${yyyymmdd -1} | 20180108 | $[yyyymmdd -1] | 20180109 |
2018-01-10 | ${yyyymmdd -7} | 20180102 | $[yyyymmdd -7] | 20180103 |
2018-01-10 | ${yyyy-mm-dd} | 2018-01-09 | $[yyyy-mm-dd] | 2018-01-10 |
2018-01-10 | ${yyyy-mm} | 2018-01 | $[yyyy-mm] | 2018-01 |
2018-01-10 | ${yyyy-mm -1} | 2017-12 | $[yyyy-mm -1] | 2017-12 |
2018-01-10 | ${yyyy} | 2018 | $[yyyy] | 2018 |
2018-01-10 | ${yyyy+1} | 2019 | $[yyyy + 1] | 2019 |
2018-01-10 | ${yyyy/MM/dd HH:mm:ss} | 2018/01/09 00:00:00 | $[yyyy/MM/dd HH:mm:ss] | 2018/01/10 00:00:00 |
2018-01-10 | ${yyyy/MM/dd HH:mm:ss-1/24} | 2018/01/08 23:00:00 | $[HH:mm:ss-5/24/60] | 23:55:00 |