調(diào)度參數(shù)只支持獲取時間類型數(shù)據(jù),部分節(jié)點(例如,離線同步節(jié)點)配置了調(diào)度參數(shù)后,調(diào)度參數(shù)的返回值不能直接使用,需要進行函數(shù)轉(zhuǎn)換等二次處理。本文為您介紹二次處理調(diào)度參數(shù)返回結(jié)果的典型場景。
背景信息
調(diào)度參數(shù)支持的時間類型未覆蓋所有的時間場景,如果您的業(yè)務(wù)需要使用特殊時間格式,則可以使用引擎函數(shù)進行處理。二次處理調(diào)度參數(shù)時,部分節(jié)點不支持直接使用函數(shù)轉(zhuǎn)換參數(shù)返回結(jié)果。對于不支持直接使用函數(shù)轉(zhuǎn)換的節(jié)點,您可以通過賦值節(jié)點進行相關(guān)處理。
直接使用函數(shù),或通過賦值節(jié)點二次處理調(diào)度參數(shù)的典型場景如下:
- 直接使用函數(shù)二次處理調(diào)度參數(shù)本文以O(shè)DPS SQL節(jié)點為例,為您介紹直接使用函數(shù)二次處理調(diào)度參數(shù)的典型場景:
- 通過賦值節(jié)點二次處理調(diào)度參數(shù)
無法直接使用函數(shù)二次處理調(diào)度參數(shù)的節(jié)點,如果想直接使用時間戳或其他時間格式,則可以先通過賦值節(jié)點將時間類型數(shù)據(jù)進行相應(yīng)轉(zhuǎn)換,再將處理后的結(jié)果傳遞給該節(jié)點使用。賦值節(jié)點的使用,詳情請參見賦值節(jié)點。
例如,如果離線同步節(jié)點需要使用時間戳類型字段進行增量同步,則可以先通過賦值節(jié)點使用函數(shù)將時間類型數(shù)據(jù)轉(zhuǎn)換為時間戳,再傳遞給離線同步節(jié)點使用。
更多操作參考如下:
- ODPS SQL節(jié)點的調(diào)度參數(shù)配置操作,詳情請參見配置及使用調(diào)度參數(shù)及SQL類型節(jié)點及離線同步節(jié)點。
- 更多調(diào)度參數(shù)的賦值,詳情請參見調(diào)度參數(shù)概述。
- 跨天場景的調(diào)度參數(shù)配置,詳情請參見調(diào)度參數(shù)往前取一個小時,如何處理跨天參數(shù)替換的問題。
獲取上個月最后一天
使用調(diào)度參數(shù)
獲取上個月最后一天
的配置及測試結(jié)果如下表。
參數(shù)配置 | 測試定時時間CYCTIME | 返回結(jié)果 |
---|---|---|
|
20210926000000 |
20210831 |
獲取當(dāng)前季度
使用調(diào)度參數(shù)
獲取當(dāng)前季度
的配置及測試結(jié)果如下表。
參數(shù)配置 | 測試定時時間CYCTIME | 返回結(jié)果 |
---|---|---|
|
20211025001700 |
4 |
獲取定時時間15分鐘前的年、月、日、小時、分鐘
使用調(diào)度參數(shù)
獲取定時時間15分鐘前的年、月、日、小時、分鐘
的配置及測試結(jié)果如下表。
參數(shù)配置 | 測試定時時間CYCTIME | 返回結(jié)果 |
---|---|---|
|
20210727000500 |
|
獲取時間區(qū)間,調(diào)度間隔為1天
獲取昨天
00:00:00
到今天00:00:00
的時間區(qū)間,調(diào)度間隔為1天。時間格式為yyyymmddhh24miss
,精確到秒。
說明 使用Kafka和LogHub離線同步指定時間區(qū)間的數(shù)據(jù)時,如需配置調(diào)度參數(shù),則調(diào)度參數(shù)的日期格式為
yyyymmddhh24miss
,日期區(qū)間為左閉右開。詳情請參見Kafka Reader和LogHub Reader。不同場景的數(shù)據(jù)增量同步,詳情請參見數(shù)據(jù)增量同步。
調(diào)度參數(shù)的配置及測試結(jié)果如下表。
參數(shù)配置 | 測試定時時間CYCTIME | 返回結(jié)果 |
---|---|---|
|
20220117002300 |
|
獲取時間區(qū)間,調(diào)度間隔為1小時
獲取昨天
00:00:00
到今天00:00:00
的時間區(qū)間,調(diào)度間隔為1小時。時間格式為yyyymmddhh24miss
,精確到秒。
說明 使用Kafka和LogHub離線同步指定時間區(qū)間的數(shù)據(jù)時,如需配置調(diào)度參數(shù),則調(diào)度參數(shù)的日期格式為
yyyymmddhh24miss
,日期區(qū)間為左閉右開。詳情請參見Kafka Reader和LogHub Reader。不同場景的數(shù)據(jù)增量同步,詳情請參見數(shù)據(jù)增量同步。
調(diào)度參數(shù)的配置及測試結(jié)果如下表。
參數(shù)配置 | 測試定時時間CYCTIME | 返回結(jié)果 |
---|---|---|
|
20220117002300 |
|