本文為您介紹什么是孤立節點,節點孤立的原因及解決方法。
什么是孤立節點?
孤立節點指節點在周期任務或周期實例處展開父節點時,沒有依賴任何父節點,這類型節點在自動調度時不會被調起,所以孤立節點不會自動調度運行,如果該孤立節點下游依賴較多,可能會造成比較嚴重的后果。孤立節點產生后會自動報警,如果收到孤立節點告警請及時處理。孤立節點報警機制,詳情請參見孤立節點監控報警。
在DataWorks上,除了工作空間根節點外,自定義的每個周期調度的節點都需要有父節點依賴才可以被正常調度運行。
如何處理孤立節點?
場景 | 描述 | 解決方案 |
上下游節點實例生成方式不一致。 | 當上下游均為新建節點時,上游實例生成方式為T+1次日生成,下游實例生成方式為發布后即時生成且只有該一個上游依賴時,由于上游節點當天未生成實例,導致下游節點成為孤立節點。 | 請調整上游實例生成方式后重新發布。關于該場景的具體說明,詳情請參見場景三:上下游任務實例生成方式不一致。 |
上游節點不在節點有效時間內。 | DataWorks上不在有效期內的節點不會生成實例。當上游節點不在節點有效時間內,若下游節點僅依賴該上游節點時,下游節點會成為孤立節點。 | 請前往節點調度配置界面修改上游節點生效日期,詳情請參見生效日期。 |
上游節點的節點輸出變更。 | 上游業務變更會導致上游節點輸出變更,進而導致下游依賴關系丟失。若下游節點僅依賴該一個上游時,下游節點將成為孤立節點。 | 請重新為下游節點設置節點依賴關系,詳情請參見刪除或變更節點輸出的影響。 |
跨工作空間依賴,上游節點所在工作空間未開啟調度。 | 當前節點跨工作空間依賴某節點時,若上游節點所在工作空間未開啟調度,且當前節點僅依賴該一個上游時,當前節點將變成孤立節點。 | 請找到對應空間負責人開啟調度或去除該跨項目節點依賴。開啟空間調度,詳情請參見調度設置。 |
中間任務不在補數據指定周期范圍內。 | 執行補數據時,如果調度依賴關系中的中間任務(即依賴于上游節點,且存在下游依賴)不在補數據的周期范圍內,則可能導致依賴該中間任務的下游節點孤立。 示例場景:
對A、C任務執行補指定周期 | 請在周期范圍內對中間任務一并執行補數據操作。詳情請參見執行補數據。 本示例則需在 |
孤立節點監控報警
DataWorks每晚根據周期任務生成第二天待自動調度運行的周期實例,所以為保障周期任務可以正常產生周期實例并且自動調度運行,DataWorks內置了報警規則來對周期任務進行定期監控掃描,如有異常便會自動報警。孤立節點產生后會自動報警,如果收到孤立節點報警請及時處理。具體如下:
DataWorks每天定時9點、12點、16點對周期任務狀態進行掃描,如有異常將會自動發送報警,但掃描時間點前10分鐘內產生異常不會納入本次掃描,該異常將會被納入下一個周期的任務狀態掃描中進行掃描。
節點孤立報警為系統內置報警規則,您無須手動新建,默認以短信、郵件的方式報警給節點責任人。但您可以在規則管理頁面中針對全局規則修改報警接收人。詳情請參見規則管理。
定位孤立節點
您可以前往運維中心,在運維大屏頁面重點關注區域,查看孤立節點數量與明細。