區(qū)塊

說明

①離線集成目錄

創(chuàng)建的離線管道任務將在任務目錄中進行統(tǒng)一管理。任務目錄支持的管理操作如下：

• 目錄工具欄：支持篩選、上傳（上傳管道開發(fā)腳本）、刷新、新建文件夾及定位。

• 創(chuàng)建集成任務：單擊按鈕，支持創(chuàng)建單條管道任務以及腳本管道任務。

  • 單條管道任務：支持可視化拖拽方式將一個或多個來源數(shù)據(jù)源的單表或多表同步到一個或多個目標數(shù)據(jù)源中。具體操作，請參見通過單條管道創(chuàng)建集成任務。

  • 腳本管道任務：支持腳本代碼方式將一個或多個來源數(shù)據(jù)源的單表或多表同步到一個或多個目標數(shù)據(jù)源中。具體操作，請參見通過腳本模式創(chuàng)建集成任務。

• 離線管道任務：支持復制、獲取鎖、編輯、克隆、重命名、移動、刪除、下線、下線并刪除。

  重要

  Basic模式刪除任務提交成功后，即更新至生產(chǎn)環(huán)境，請謹慎操作；Dev-Prod模式刪除任務提交成功后，請前往待發(fā)布列表，以發(fā)布對象至生產(chǎn)環(huán)境。

• 離線集成任務列表：單擊離線集成任務列表，可以通過列表方式管理創(chuàng)建的離線集成任務。更多信息，請參見查看及管理離線集成任務列表。

• 移動任務：離線腳本任務、離線管道任務和普通文件夾都支持在離線集成目錄中移動，其中離線腳本任務和離線管道任務還支持移動至離線整庫遷移的文件夾中；普通文件夾不支持移入和移出離線整庫遷移的文件夾。

  當普通文件夾中存在子節(jié)點時，不可被刪除。當離線整庫遷移文件夾被刪除時，將一并刪除該文件夾中包含的所有任務，包括離線腳本任務和離線管道任務。

②工具欄

工具欄支持保存、運行、預覽、調度配置、通道配置、質量監(jiān)控、提交、去發(fā)布、去運維、刷新、獲取鎖、定位。

• 保存：單擊工具欄中的圖標，對開發(fā)中的離線管道進行保存。

• 運行：單擊工具欄中的圖標，運行當前開發(fā)中的離線管道。

• 預覽：單擊工具欄中的圖標，預覽當前離線管道運行后的集成結果。

• 調度配置：單擊工具欄中的圖標，打開屬性面板的調度配置頁簽。調度配置用于定義周期性調度類型的離線管道任務在調度過程中的調度規(guī)則。更多信息，請參見配置離線管道調度。

• 通道配置：單擊工具欄中的圖標，打開屬性面板的通道配置頁簽。通過離線集成管道通道配置，您可定義離線集成任務運行時的容錯、并發(fā)數(shù)、JVM資源、數(shù)據(jù)庫配置及集成管道流量監(jiān)控。更多信息，離線集成管道通道配置。

• 質量監(jiān)控：單擊工具欄中的圖標，打開質量監(jiān)控面板。您可以為集成管道中的數(shù)據(jù)表配置質量監(jiān)控規(guī)則。更多信息，請參見配置集成管道質量監(jiān)控。

• 提交：單擊工具欄中的圖標，將離線集成管道提交至發(fā)布中心或管理中心。更多信息，發(fā)布中心概述。

• 去發(fā)布：單擊工具欄中的圖標，發(fā)布最新的待發(fā)布內容。A已提交到發(fā)布中心的離線集成管道，您可以前往發(fā)布中心進行發(fā)布操作。

• 去運維：單擊工具欄中的圖標，運維已發(fā)布的實例。已提交到運維中心的離線集成管道，您可以前往運維中心進行運維操作。更多信息，運維中心概述。

• 切換為腳本模式：單擊圖標并在下拉選項中單擊切換為腳本模式。可以將當前離線管道切換為離線腳本。適用于需要自動獲取字段信息，并生成完整的JSON配置的場景，可以有效提高腳本模式配置的效率。切換成腳本模式后，不支持切換回離線管道模式。

• 刷新：單擊工具欄中的圖標刷新當前離線管道任務。

• 獲取鎖：單擊工具欄中的圖標獲取離線管道任務的編輯鎖。

• 定位：單擊工具欄中的圖標在任務目錄中定位到當前離線集成管道任務。

• 下線：單擊工具欄中的圖標，選擇下線，對已上線的集成任務進行下線操作。

• 刪除：單擊工具欄中的圖標，選擇刪除，刪除當前集成任務。

  重要

  Basic模式刪除任務提交成功后，即更新至生產(chǎn)環(huán)境，請謹慎操作；Dev-Prod模式刪除任務提交成功后，請前往待發(fā)布列表，以發(fā)布對象至生產(chǎn)環(huán)境。

③開發(fā)畫布

• 可視化開發(fā)：在開發(fā)畫布，您可以在組件庫抽屜中，拖拽至畫布進行開發(fā)。Dataphin支持的開發(fā)組件及開發(fā)說明，請參見集成組件庫開發(fā)說明。

• 代碼腳本開發(fā)：對于腳本任務，您可以在代碼編輯器中使用代碼開發(fā)離線管道任務。

④配置及管理

配置及管理支持集成任務的屬性配置、質量監(jiān)控、相關、歷史。

• 屬性配置：配置離線管道任務的屬性，包括基本信息、調度配置、調度依賴、運行配置等。更多信息，請參見離線集成任務屬性配置概述。

• 質量監(jiān)控：通過配置離線集成管道的質量監(jiān)控，Dataphin會自動為您監(jiān)控數(shù)據(jù)表的質量，如果數(shù)據(jù)表有質量風險，系統(tǒng)會自動報警，通知告警接收人，幫助您及時了解數(shù)據(jù)表質量狀況。具體操作，配置集成管道質量監(jiān)控。

• 相關：離線管道的相關對象，指當前離線管道任務引用讀取的表、引用讀取當前任務的表、將當前任務作為上游依賴的任務。

• 歷史：查看及管理任務歷史版本。

⑤控制臺

運行或預覽任務時，將在控制臺顯示結構化之后的運行結果信息。包括預覽結果、運行信息、通道信息、步驟度量、日志信息、異常信息、性能診斷、運行代碼。