背景信息

• 在未進行限流配置的情況下，任務是否可以運行主要受到上游依賴、定時運行時間以及調度資源的影響，滿足上述條件即下發，但可能出現以下問題：

  • 批量補數據場景下，如果圈選的時間周期過長，會搶占調度資源，影響周期任務或即席查詢等任務的正常運行及業務數據產出。

  • 低優先級任務比高優先級任務更早滿足運行條件并下發至計算引擎，占用大量計算資源，影響高優先級任務運行。

  • 集群調度資源或底層計算資源有限，可能導致大規模的任務等待運行，繼而引發計算引擎雪崩。

• 具備限流配置的能力后，可以達到以下目標：

  • 控制同時下發到計算引擎側的任務數，保證計算引擎不會出現并發過高、請求過多等原因導致的系統性崩潰，保障系統穩定性。

  • 控制高優先任務優先分配資源、優先運行，保證數據按序、及時的產出。

使用限制

• 已購買智能運維增值服務并且當前租戶已開通智能運維模塊。

• 已購買智能運維增值服務。

• 在進行限流配置前，需要關注以下限制：

  • 目前僅支持離線任務限流配置，不支持實時任務（包括實時計算任務和實時集成任務）。

  • 最多創建50條限流規則。

權限說明

支持限流配置操作角色的權限說明如下表所示。

限流配置概覽

限流配置頁面主要由操作區、限流規則列表、批量操作組成。您可以在限流配置頁面創建及管理限流規則。

新建限流規則

1. 在Dataphin首頁，單擊頂部菜單欄研發 > 任務運維。

2. 單擊左側導航欄的限流配置，再單擊+新建限流規則按鈕。

3. 在新建限流規則對話框，配置參數。

   參數	說明
   規則名稱	填寫自定義限流規則名稱，不超過128個字符。
   描述	填寫該規則的簡單描述信息，不超過256個字符。
   責任人	默認為當前創建人，您可以單擊下拉列表選擇其他責任人。
   標簽	單擊下拉列表，選擇創建的標簽。更多信息，請參見管理限流規則標簽。
   生效環境	限流規則生效的環境。包括生產環境和開發環境。 說明 不同環境可選的配置對象不同，切換環境后將清空現有的規則，您需要重新進行配置。
   規則配置	全局限流：對目標環境下的所有任務進行限流。 自定義規則：根據配置的自定義規則對滿足篩選條件的任務進行限流。支持的任務屬性包括所屬項目、調度類型、任務類型、業務類型、任務名稱。不用任務屬性支持的條件及條件值不同。 所屬項目： 條件：支持屬于、不屬于。 條件值： 生效環境為開發環境時，可搜索當前租戶下所有Dev項目。 生效環境為生產環境時，可搜索當前租戶下所有Basic和Prod項目。 調度類型： 條件：支持等于、不等于。 條件值： 周期實例：周期任務按照調度配置自動定時運行生成的實例。 手動實例：包含計算任務、集成任務、同步任務、萃取補數據任務、標簽測試運行任務生成的實例。 補數據實例：通過不補數據操作生成的實例。 一次性運行：包含即席查詢、計算任務試運行、邏輯表冒煙測試、集成任務試運行。 任務類型： 條件：支持屬于、不屬于。 條件值：不同計算引擎，支持不同的任務類型，具體支持類型請以實際頁面為準。 業務類型： 條件：支持等于、不等于。 條件值： 集成同步：對應DLINK任務。 離線數據處理：對應離線計算任務、DATA_X同步任務、FLINK_SQL_BATCH任務。 建模研發：僅智能研發版支持，對應所有邏輯表任務。 任務名稱： 條件：支持等于、不等于、包含、不包含、屬于、不屬于、以…開頭、不以…開頭、以…結尾、不以…結尾。 條件值：支持輸入任意篩選條件值。篩選條件為屬于、不屬于，支持按行輸入多個任務名稱，每行一個任務名稱。
   并發運行數	設置并發運行數，請結合實際限流場景進行配置。 說明 并發數為0代表不下發。
   生效時間	設置限流規則生效時間。支持設置全時間段、指定時間范圍、指定時間區間。 全時間段：根據配置的限流規則持續生效。 指定時間范圍：指定時間范圍內均生效。例如，2022-09-11 00:00:00 ～ 2022-09-11 11:00:00。 說明 適用于需要在特定時間區間進行限流的場景。 指定時間區間：指定選中日期范圍內的具體時間段內生效。例如，2022-09-11 ～2022-09-12  00:00:00 ～ 11:00:00。 說明 適用于需要在特定時間段進行限流的場景。

4. 單擊確定，完成限流規則創建。

管理限流規則標簽

限流規則標簽主要是用來對限流規則進行標識和分類，您可以新建限流規則標簽，設置目標關鍵詞，方便后續的定位與查找。您可以在管理限流規則對話框進行新建及管理操作。