配置邏輯表上游依賴
調(diào)度依賴用于配置邏輯表和事實邏輯表任務(wù)節(jié)點,Dataphin通過各個節(jié)點的調(diào)度依賴的配置結(jié)果,有序的運行業(yè)務(wù)流程中各個節(jié)點,保障業(yè)務(wù)數(shù)據(jù)有效、適時地產(chǎn)出。本文為您介紹如何配置邏輯表和事實邏輯表的調(diào)度依賴配置。
操作步驟
請參見數(shù)據(jù)開發(fā)入口,進入數(shù)據(jù)開發(fā)頁面。
在數(shù)據(jù)開發(fā)頁面,選擇您需配置調(diào)度的維度邏輯表,進入調(diào)度配置信息頁面。下圖以維度邏輯表為例。
在調(diào)度屬性區(qū)域,配置邏輯表上游依賴。
上游依賴
自動解析
邏輯表上游依賴,您可以單擊自動解析,Dataphin將根據(jù)邏輯表的計算邏輯自動解析獲取上游任務(wù)和輸出表。解析后將在上游依賴列表中添加解析出來的全部依賴表。您可查看解析出的依賴表詳情或進行編輯和刪除操作。更多信息,請參見自動解析流程。
說明自動解析出的輸入表如果存在多個產(chǎn)出任務(wù), 默認(rèn)將所有產(chǎn)出任務(wù)作為上游依賴。
解析出的所有依賴表,依賴周期默認(rèn)為本周期。
添加根節(jié)點
若任務(wù)無對應(yīng)上游依賴時,您可單擊添加根節(jié)點作為當(dāng)前任務(wù)的上游依賴。
說明每個租戶或企業(yè)在初始化時都會有一個以virtual_root_node開頭的虛擬根節(jié)點。
添加本節(jié)點上周期
即該節(jié)點任務(wù)的調(diào)度需要依賴于本節(jié)點上一周期(前1天或前n小時)運行成功。
添加依賴
若自動解析無法解析出調(diào)度依賴關(guān)系或自動解析生成的上游依賴配置與實際應(yīng)用不符時,您可手動單擊+添加依賴添加節(jié)點的上游依賴。
重要添加依賴時,物理節(jié)點和邏輯表節(jié)點的依賴周期與依賴策略自動使用系統(tǒng)推薦的最佳設(shè)置。若您需要修改,您可以單擊依賴列表編輯單個依賴的依賴周期和依賴策略。
依賴周期:上游任務(wù)實例的定時運行時間(起調(diào)時間)區(qū)間范圍。 一般情況下為當(dāng)日,即區(qū)間范圍為當(dāng)日[00:00~24:00)。
依賴策略:某些依賴周期內(nèi),可能存在多個實例,需要指定依賴策略。 只有一個實例時,依賴策略可以設(shè)置為任意選項。為了兼容上游任務(wù)可能的調(diào)度設(shè)置修改,僅支持相對路徑策略。
跨周期依賴的默認(rèn)策略,請參見附錄:跨周期依賴默認(rèn)策略。
添加物理節(jié)點依賴
區(qū)域
描述
①搜索與篩選區(qū)
您可在搜索與篩選區(qū)中根據(jù)支持的篩選條件篩選您所需依賴的物理表節(jié)點。支持的篩選條件包括本項目、項目、節(jié)點類型以及輸入節(jié)點名稱或輸出表名進行篩選。
②節(jié)點列表
節(jié)點列表為您展示可依賴的物理節(jié)點,您可根據(jù)您的需求進行選擇。
添加邏輯表節(jié)點
區(qū)域
描述
①搜索與篩選區(qū)
您可在搜索與篩選區(qū)中根據(jù)支持的篩選條件篩選您所需依賴的邏輯表節(jié)點。支持的篩選條件包括邏輯表類型、所屬的板塊以及輸入邏輯表名進行篩選。
②節(jié)點列表
節(jié)點列表為您展示可依賴的邏輯表節(jié)點,您可根據(jù)您的需求進行選擇。
若您需依賴邏輯表中某些字段,非整個邏輯表。您可在節(jié)點列表的依賴字段欄單擊可查看邏輯表所擁有的表字段,您可根據(jù)您的需求進行選擇。
本節(jié)點輸出
系統(tǒng)將為您所創(chuàng)建的節(jié)點自動生成輸出名,若您需添加多個輸出名,您可單擊自動生成輸出名。
重要系統(tǒng)使用輸出名構(gòu)建調(diào)度依賴圖,系統(tǒng)將自動生成輸出名,不建議人工干預(yù)設(shè)置。
單擊確定,即可完成調(diào)度依賴配置。
附錄:跨周期依賴默認(rèn)策略
本節(jié)點調(diào)度周期 | 上游節(jié)點 | 上游節(jié)點調(diào)度周期 | 上游節(jié)點是否自依賴 | 默認(rèn)依賴周期 |
月 | 本節(jié)點(自依賴) | - | ? | 上周期(前 1 日) |
周 | 本節(jié)點(自依賴) | - | ? | 上周期(前 1 日) |
日 | 本節(jié)點(自依賴) | - | ? | 上周期(前 1 日) |
小時 | 本節(jié)點(自依賴) | - | ? | 最近 24 小時 |
分鐘 | 本節(jié)點(自依賴) | - | ? | 最近 24 小時 |
日/周/月 | 非本節(jié)點 | 日 | ? | 本周期(當(dāng)日) |
日/周/月 | 非本節(jié)點 | 小時/分鐘 | 否 | 本周期(當(dāng)日) |
日/周/月 | 非本節(jié)點 | 小時/分鐘 | 是 | 本周期(當(dāng)日) |
月/周/日/小時/分鐘 | 非本節(jié)點 | 月/周 | 是 | 本周期(當(dāng)日) |
月/周/日/小時/分鐘 | 非本節(jié)點 | 月 | 否 | 本周期(當(dāng)日) |
月/周/日/小時/分鐘 | 非本節(jié)點 | 周 | 否 | 本周期(當(dāng)日) |
小時/分鐘 | 非本節(jié)點 | 日 | ? | 本周期(當(dāng)日) |
小時/分鐘 | 非本節(jié)點 | 小時/分鐘 | ? | 本周期(當(dāng)日) |