日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

離線任務屬性配置概述

對于離線任務,若需要周期性調度運行,您需定義該任務的調度相關屬性,包括調度周期、調度依賴、調度參數等。本文為您介紹離線任務屬性與調度的相關內容。

注意事項

  • 系統僅支持調度類型為周期任務的離線計算任務進行調度配置。

  • 依賴關系是兩個節點之間的先后運行順序關系,同時上游節點的狀態將影響其他下游節點的運行狀態。

  • 配置了依賴關系的節點調度規則為:首先,上游節點運行完成后,才能調度下游節點。其次,根據節點設定的調度時間判斷是否執行調度。

  • 您在設定的調度時間之前提交的調度配置,會在設定的調度時間之后生效。而在設定的調度時間之后配置的依賴關系,只能間隔一天再生成實例。

  • 任務的調度配置僅用于定義任務調度運行時的相關屬性,任務需通過發布流程發布至生產環境后,才會根據該配置進行最終調度。

  • 調度時間僅定義任務預期執行時間,其實際執行時間還受上游執行情況控制,關于任務執行條件說明,詳情請參見實例運行診斷

離線任務屬性入口

  1. 在Dataphin首頁,在頂部菜單欄選擇研發 > 數據研發

  2. 開發頁面的頂部菜單欄選擇項目

  3. 在左側導航欄中選擇數據處理 > 計算任務,在計算任務列表中,單擊目標任務名稱。

  4. 在該任務頁簽下,單擊右側的屬性,打開屬性面板。

配置離線任務屬性

在離線任務屬性頁面,您需根據下表配置任務的基本信息與調度相關屬性。

配置項

描述

基本信息

包括任務名、ID、節點類型、開發負責人、運維責任人及描述。

  • 任務名:該任務創建時所填寫的名稱。

  • 節點ID:該節點的唯一標識,將在節點提交后生成。

  • 開發負責人:默認為當前用戶, 可選當前項目所有成員。

    說明

    生產環境中不支持配置開發負責人,將以開發環境所配置信息為準。

  • 運維責任人:默認為節點的創建人。您也可選擇當前項目中的成員為運維責任人。

為運行當前任務所分配的CPU和內存資源。

說明

僅Python、Shell、SPARK_JAR_ON_MAXCOMPUTE、SPARK_JAR_ON_HIVE、MAXCOMPUTE_MR和HADOOP_MR類型的計算任務支持此項配置。

Python三方包

選擇需要引入的Python三方包。

說明
  • 僅Python和Shell類型的計算任務支持配置此項。

  • 在Python三方包中添加某個第三方Module后,需要在任務中聲明引用后,才可以在代碼中導入(import)該Module。可在計算任務屬性 > Python三方包配置項中設置編輯引用的Module。

運行參數

用于定義節點調度時使用的參數。Dataphin提供內置參數并支持自定義參數,可供任務在調度時實現參數動態賦值。

說明

若您在編輯節點代碼時,在代碼中定義了變量,需在此處對該變量進行賦值。若未定義可無須進行定義。

調度屬性

用于定義任務在生產環境的周期調度方式。

  • 調度類型:定義該任務所生成的示例在生產環境的運行狀態。

  • 優先級:該任務的優先級。新建任務時,會從管理中心 > 研發平臺 >節點任務相關設置 > 默認優先級中獲取當前任務優先級的默認值。

    說明

    當該任務發布到生產環境或在Basic環境下提交后,編輯任務時優先級不可修改,需在生產環境下的運維中進行修改。此時優先級的值為生產環境的最新值。

  • 生效日期:定義該任務在什么時間段內調度。超過生效日期的任務將不再生成實例。

  • 調度周期:定義該任務的調度頻率,即多久執行一次任務。

  • 條件調度:定義該任務調度的條件。可設置多組調度條件,系統按照從上往下的順序評估條件,命中條件后即執行相應調度,并終止后續所有條件的評估。未命中任何條件時,執行默認調度配置。

調度依賴

用于定義該任務的上下游依賴關系。通過依賴關系有序調度運行上下游節點,即當上游節點運行成功后,下游節點才會啟動運行,保障適時的產出有效業務數據。您可使用自動解析快速設置節點依賴,也可手動添加節點的依賴關系。

運行配置

用于定義任務運行超時時間和任務運行失敗時的重跑策略,可杜絕因計算任務長時間資源占用造成資源浪費的同時提高計算任務運行的可靠性。

后續步驟

任務屬性配置完成后,您可提交并發布至生產環境。后續可在生產環境進行任務的相關運維操作,詳情請參見運維中心概述