日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

FTP Check節(jié)點

FTP Check節(jié)點可用于通過FTP協(xié)議周期性檢測指定文件是否存在。如果文件存在,則啟動調度下游任務,不存在,則按照配置的間隔時間重復檢測,直到滿足檢測的停止條件時停止檢測。該節(jié)點通常作為DataWorks調度系統(tǒng)與其他調度系統(tǒng)之間傳遞信號使用。本文為您介紹使用FTP Check節(jié)點的流程和注意事項。

前提條件

背景信息

FTP Check節(jié)點的典型應用場景:當DataWorks調度系統(tǒng)中的任務需要訪問一個外部數據庫時,但由于該數據庫的相關數據寫入任務不在DataWorks中,DataWorks無法知道該數據庫何時完成寫入任務并可以被訪問。如果DataWorks讀取未寫入完成的數據,則可能導致讀取的數據不全或讀取失敗。為了保證DataWorks成功讀取完整的外部數據庫的數據,此時,可以讓其他調度系統(tǒng)在數據庫中的數據寫入任務完成后,在指定文件系統(tǒng)中進行文件標記(例如,生成一個.done文件),表明該任務已完成。然后在DataWorks中配置一個FTP Check節(jié)點,周期性檢測該.done文件是否存在,當檢測到文件存在時,表明該數據庫中的數據寫入任務已經完成,可以啟動調度需要訪問該數據庫數據的任務。

說明
  • 其他調度系統(tǒng)可以自行指定生成標記文件的文件系統(tǒng)。

  • 本文以生成的標記文件為.done示例,在實際使用中,您可以自定義標記文件的格式、名稱等信息。

具體如下:FTP Check

  1. 其他調度系統(tǒng)檢測到外部數據庫的數據已就緒(即數據寫入已完成,可以被訪問),會在指定的文件系統(tǒng)中生成一個標記文件,例如,xxxx2021-03-03.done。本文以.done為后綴的文件做為標記文件,您也可以根據業(yè)務需求,自定義標記文件。

  2. FTP數據源讀取文件系統(tǒng)中的標記文件。

  3. FTP Check節(jié)點根據配置的檢測策略,定期檢測FTP數據源中該標記文件是否存在。

    • 如果檢測該標記文件存在,則表示外部數據庫中的數據已準備就緒,可以被訪問,F(xiàn)TP Check節(jié)點會將檢測成功的結果反饋至下游節(jié)點。

    • 如果檢測該標記文件不存在,則表示外部數據庫中的數據未準備就緒,不能被訪問,F(xiàn)TP Check節(jié)點會將檢測失敗并且不會調度下游節(jié)點的結果反饋至下游節(jié)點,并根據配置的檢測策略繼續(xù)檢測,直到達到預設的檢測上限后停止檢測。

    FTP Check節(jié)點的檢測策略,請參見下文《配置檢測對象及檢測策略》

  4. 下游節(jié)點根據FTP Check節(jié)點的反饋結果,選擇是否啟動訪問外部數據庫的數據。

    • 如果FTP Check節(jié)點反饋檢測成功,則下游節(jié)點啟動訪問外部數據庫的數據。

    • 如果FTP Check節(jié)點反饋檢測失敗,則下游節(jié)點不啟動訪問外部數據庫的數據。

  5. 下游節(jié)點訪問外部數據庫的數據。

說明

外部數據庫可以包含但不限于Oracle、MySQL、SQLServer等各類數據庫或存儲服務。

使用限制

  • FTP Check節(jié)點支持Serverless資源組(推薦)或舊版獨享調度資源組運行任務。如需購買使用Serverless資源組,詳情請參見新增和使用Serverless資源組

  • 分鐘和小時周期調度的任務,F(xiàn)TP Check節(jié)點的Check停止策略不支持配置為Check停止時間,該類任務您只能選擇使用Check停止次數停止策略。

  • 支持的地域:華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華北6(烏蘭察布)、華南1(深圳)、西南1(成都)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(硅谷)、美國(弗吉尼亞)。

創(chuàng)建FTP Check節(jié)點

  1. 登錄DataWorks控制臺。

  2. 數據開發(fā)頁面,鼠標懸停至新建圖標,單擊通用 > FTP Check

    您也可以打開相應的業(yè)務流程,右鍵單擊通用,選擇新建 > FTP Check

  3. 新建節(jié)點對話框中,輸入節(jié)點名稱,并選擇目標文件夾

    說明

    節(jié)點名稱必須是大小寫字母、中文、數字、下劃線(_)和英文句號(.),且不能超過128個字符。

  4. 單擊確認

  5. 單擊節(jié)點編輯區(qū)域右側的調度配置,配置節(jié)點的調度屬性。

    調度屬性包括基礎屬性時間屬性資源屬性調度依賴,詳情請參見 配置基礎屬性時間屬性配置說明配置資源屬性配置同周期調度依賴

  6. 配置檢測對象及檢測策略。

    配置FTP Check參數

    1. 選擇FTP數據源下拉列表,選擇需要檢測的目標FTP數據源。

      您可以選擇FTP或SFTP數據源,如果下拉列表沒有可用的數據源,則您需要新建數據源,詳情請參見配置FTP數據源

    2. 指定Check的文件配置需要檢測的文件路徑。如果您的文件路徑是動態(tài)變化的,則您可以在文件路徑中使用調度參數來配置變量路徑,詳情請參見調度參數支持的格式

    3. Check間隔(秒)中配置定時檢測的時間間隔。

    4. Check停止策略中配置停止檢測的策略。

      • Check停止時間:檢測任務的到時時間點,格式為hh24:mi:ss,即24小時制時間。每次執(zhí)行檢測任務時,如果沒有檢測到對應的標記文件,則該檢測任務失敗,不會觸發(fā)啟動調度下游任務,只有檢測成功時,才會啟動調度下游任務。檢測失敗后,該任務會按配置的間隔時間繼續(xù)檢測,直到達配置的停止檢測時間,才不再繼續(xù)檢測。如果檢測失敗,您可以在任務日志中查看具體的失敗原因。

        說明

        FTP Check節(jié)點的調度周期配置結果會影響FTP Check的停止策略:

        • 當調度周期配置為分鐘小時時,停止策略不支持配置為Check停止時間,只能配置為Check停止次數。詳情請參見配置FTP Check的檢測策略

        • 當調度周期開始配置為,并且已經配置好停止策略為Check停止時間,此時如果將調度周期修改為分鐘小時,則停止策略Check停止時間選項無效,您需要重新配置停止策略為Check停止次數,否則FTP Check節(jié)點無法提交。

      • Check停止次數:檢測次數限制。每次執(zhí)行檢測任務時,如果沒有檢測到對應的標記文件,則該檢測任務失敗,不會觸發(fā)啟動調度下游任務,只有檢測成功時,才會啟動調度下游任務。檢測失敗后,該任務會按配置的間隔時間繼續(xù)檢測,直到達配置的停止檢測次數,才不再繼續(xù)檢測。如果檢測失敗,您可以在任務日志中查看具體的失敗原因。

  7. 保存并提交節(jié)點。

    說明

    您需要設置節(jié)點的重跑屬性依賴的上游節(jié)點,才可以提交節(jié)點。

    1. 單擊工具欄中的保存圖標,保存節(jié)點。

    2. 單擊工具欄中的提交圖標。

    3. 提交新版本對話框中,輸入變更描述

    4. 單擊確認

    如果您使用的是標準模式的工作空間,提交成功后,請單擊右上方的發(fā)布。具體操作請參見發(fā)布任務

  8. 任務運維,詳情請參見周期任務基本運維操作