在普通的SQL組件基礎上增加了多日期循環執行功能,用于并行執行某段時間內天級別SQL任務。例如在推薦場景中,并行執行過去7天的行為數據特征提取SQL補數據任務。
使用限制
僅支持天級別的補數據循環。
在使用時按照需要打開或關閉多日期循環執行開關,在整個工作流發布至周期性調度之前切記關閉多日期循環執行開關,避免生產環境下產生不需要的重復執行補數據任務。
節點上配置的并發數僅能控制當前節點的并發,如果有多個節點都需要補數據,需要您自己統一考慮當前項目資源支持的總并發數。
輸入輸出使用說明
時間窗口SQL腳本組件支持0~4個輸入,1個輸出,具體使用說明如下。
如果時間窗口SQL腳本組件接入了上游表,輸入源已自動映射成t1~t4,您可以直接調用${t1}、${t2}、${t3}或${t4},不用寫入源表名。
時間窗口SQL腳本組件支持1個輸出,您可以在SQL語句中使用${o1}代替輸出數據表。
您可以在SQL語句中,使用${lifecycle}參數自動獲取當前工作空間設置的臨時表生命周期,默認為28天。更多關于工作空間臨時表生命周期的內容,請參見管理工作空間。
如果您在可視化參數配置中選中了是否由系統添加Create Table語句復選框,SQL腳本的中間位置可以配置任意的SQL語句,但是最后一句必須為Select語句。PAI會自動創建一個臨時表,用來存儲Select語句查詢的結果。如果您在SQL語句中自行創建了數據表,請按需設置臨時表的生命周期,詳情請參見管理工作空間。
可視化配置組件參數
Designer僅支持通過可視化方式,配置該組件參數,參數詳情如下表所示。
參數 | 描述 |
業務基準日期 | 支持以下兩種配置方式:
|
是否打開多日期循環執行 | 默認打開多日期循環執行。如果不打開多日期循環執行,則該組件退化為普通的SQL腳本組件。 |
執行時間窗口 | 支持配置整數和開閉區間,多個區間使用半角逗號(,)分隔。 配置后會從業務基準日期計算出每個窗口對應的日期段,總計啟動N個子任務,且N不超過100。 例如:配置(-4,-2],0,結合業務基準日期示例,代表需要執行20230207、20230208、20230210三天的任務。 |
最大并發數 | 避免一次性提交大量并發任務打滿資源。 |
日期格式 | 支持配置以下三種時間格式,用于生成
例如:選擇yyyy-MM-dd,則在示例SQL腳本中替換${pai.system.cycledate}時,會將20230210替換為2023-02-10。 |
是否由系統添加Create Table語句 |
|
SQL腳本 | 如果打開了多日期循環執行,切記在需要循環的日期字段處,引用系統變量${pai.system.cycledate}。 例如:
其他功能同普通SQL腳本組件。 |