基于Dev-Prod開發模式,開發環境生成的規范建模、數據處理、數據集成類任務,需要發布到生產環境進行調度。本文為您介紹如何發布任務及查看任務的發布記錄。
背景信息
如果您選擇了Dev-Prod開發模式,提交后的任務進入發布模塊的待發布對象列表。您需要在發布模塊發布任務,發布成功的任務才會參與生產環境的運維調度。
如果您選擇的開發模式是Basic模式,提交后的任務直接進入生產環境。
發布任務
發布任務即從待發布對象列表中將待發布任務發布;如果開發環境的任務變更,發布后,生產環境中該任務已存在的版本將會受到影響。
單個任務發布或批量發布任務時,會先預檢一次本次發布需要消耗的數據處理單元數量是否會超出剩余可用總量,如果超出阻斷發布。
如果預檢通過,進入單個對象的發布校驗流程,所有校驗都通過后,還會再此校驗每個對象發布后是否會超出數據處理單元額度,超出則當前對象發布失敗。
操作步驟
在Dataphin首頁的頂部菜單欄中,選擇研發 > 任務發布。
在左側導航欄中選擇發布對象管理 > 待發布對象。
(可選)在待發布對象頁面單擊篩選,可根據項目、最近提交人、對象類型、最近提交時間、變更類型來篩選目標待發布對象,同時可選中我提交的和今日提交,來快速篩選目標待發布對象。
在待發布對象頁面,選擇單個發布待發布對象或批量發布待發布對象。
單個發布:單擊目標待發布對象操作列的圖標,打開發布配置對話框。
批量發布
選中多個待發布對象,或單擊頁面底部的本頁全選。
單擊頁面底部的批量發布,打開發布配置對話框。
在發布配置對話框中,填寫發布名稱和發布備注,并選擇依賴對象和發布范圍。
依賴對象:列表中為所選待發布項所依賴的全部上游待發布項,即所選對象的上游對象的待發布項。若當前用戶沒有待發布項所依賴對象的發布權限(不在列表中),系統將自動生成審批單。
發布范圍:可選擇必須按依賴和可選依賴、僅必須依賴或僅已選(不發布上游依賴),默認選擇必須按依賴和可選依賴。若選擇僅已選(不發布上游依賴),系統將自動清空依賴對象列表,發布時僅發布用戶當前選擇的待發布項,不發布任務上游依賴的待發布項。
說明假設對象A依賴對象B(例如任務A依賴任務B、原子指標A依賴其來源邏輯表B等情況),則發布時:
必須依賴:若B的變更類型為新增,且A為新增或變更(A添加新的上游依賴B),則發布A時必須先發布B,否則A將發布失敗,此時B是A的必選依賴。當A和B的變更類型均為刪除時,A是B的必選依賴。
可選依賴:若B的變更類型為變更,且A為新增或變更,則不先發布B,A也可能發布成功,此時B是A的可選依賴。需注意,以上情況下若不發布B只發布A,A則基于B的舊邏輯運行,可能與預期不符。
如果當前用戶沒有B的發布權限,則待發布對象列表將不包含B,此時受B影響的下游發布項將有可能發布失敗。
單擊確定,完成發布。
發布時,系統將按照對象間的依賴順序進行發布。
例如當前單個發布待發布項A,系統檢測到對象A及其依賴關系為A <- L1 <- L2 <-L3(A依賴于L1、L1依賴于L2、L2依賴于L3),且每一層均為必選依賴。當前用戶若僅擁有L1和L3的發布權限,沒有L2的發布權限,則本次發布的發布清單中將含有L3、L1和A的發布記錄,其中L1和A均為發布失?。徊话琇2的發布記錄。
任務發布后,可在發布詳情里查看校驗詳情,請參見查看發布詳情。
重新發布
若任務發布失敗,可根據失敗提示修改,并在發布記錄列表進行重新發布。
針對需要進行發布審批的對象,如果該任務發布審批已經通過,重新發布無需重新進行發布審批,系統會自動通過。
每一次重新發布都會進行售賣檢查校驗。
操作步驟
在Dataphin首頁的頂部菜單欄中,選擇研發 > 任務發布。
在左側導航欄中選擇發布對象管理 > 發布記錄。
在發布記錄列表頁面,選中頁面右上角的發布失敗,快速篩選出所有發布失敗的對象。
(可選)單擊頁面右上角的篩選,根據項目、發布人、對象類型、發布時間、變更類型和發布狀態來篩選目標對象。
在發布記錄列表中,重新發布單個對象或多個對象。
重新發布單個對象:單擊目標對象操作列中的圖標,對該對象重新發布。
重新發布失敗及取消的對象:單擊目標對象發布名后的圖標,發布該發布包所有發布失敗及取消的對象。
在彈出的對話框中,單擊確定,完成重新發布。
發布審批
Dataphin支持在項目粒度配置是否開啟發布審批,如果開啟了發布審批功能,則發布對象時會首先生成一個待審批的流程,審批通過后才會進入發布校驗環節,以便更好地對發布流程進行管控。接下來為您介紹發布審批功能的開啟即對應的流程查看。
在Dataphin首頁的頂部菜單欄中,選擇規劃 > 項目。
在項目管理頁面,單擊目標項目卡片中的信息設置,打開信息設置對話框。
在信息設置對話框中的發布設置區域,單擊開關來開啟或關閉發布審批。開啟后,還需配置以下參數:
審批人:可選擇項目管理員和自定義。選中項目管理員,即選中當前生產項目的所有管理員;選中自定義,則需選擇不超過10個的默認審批人。
審批策略:默認為并行審批,即任一審批人同意即通過,任一審批人駁回即終止。
在發布記錄頁面,單擊發布名后的圖標,查看發布審批流程。
發布審批流程對話框中,可查看各審批單的審批狀態、審批人等信息,您可單擊圖標,前往任務中心查看對應審批單詳情。
審批人單擊頁面右上角的圖標,在任務中心,對發布任務進行審批,具體操作請參見查看并處理任務。
編輯任務
在待發布對象列表頁面,單擊目標對象操作列中的圖標,選擇編輯跳轉至開發頁面的對應項目下。
進入任務對應的模塊,編輯任務。
移除對象
移除對象即從待發布對象列表中移除待發布任務,生產和開發環境該任務已存在的版本不受影響。如果生產和開發環境的任務需要變更,則需重新提交和發布任務。
操作步驟
(可選)在待發布對象頁面單擊篩選,可根據項目、最近提交人、對象類型、最近提交時間、變更類型來篩選目標待發布對象,同時可選中我提交的和今日提交,來快速篩選目標待發布對象。
在待發布對象頁面,移除單個或多個待發布對象。
移除單個待發布對象:單擊目標對象操作列中的圖標,選擇移除。
批量移除多個待發布對象:選中多個待發布對象,或單擊頁面底部的本頁全選,然后單擊頁面底部的批量移除。
在彈出的對話框中,單擊確定,完成移除。
查看發布記錄
在發布記錄頁面,您可以查看已發布的任務(任務所有版本的發布記錄)。支持對發布記錄進行以下操作:
查看發布詳情:詳情請參見查看發布詳情。
重新發布:重新發布發布失敗的對象,詳情請參見重新發布。
查看版本詳情:單擊目標對象版本號列的數字,查看該發布對象當前版本的詳細信息。
去運維:發布成功且發布類型不為刪除的對象支持去運維。單擊目標對象操作列的圖標,跳轉至運維頁面下的對應模塊。
在待發布對象頁面,可單擊目標對象操作列中的圖標,查看改對象歷史版本的發布記錄詳情。
系統僅支持當前版本號大于1的任務查看歷史版本發布記錄。
查看發布詳情
在發布記錄頁面,單擊目標對象操作列中的圖標,打開發布詳情對話框。
可在發布詳情對話框中,查看當前對象的基本信息、流程校驗和異常提醒信息。
發布功能項
描述
發布審批
若該對象開啟了發布審批,則有該流程。當歷史已審批通過但發布失敗的對象重新發布時,發布審批環節自動通過。
管控規則檢查
若該對象命中了發布管控策略,則有該流程。若命中管控規則,則展示管控策略、管控規則、異常說明(如有)、檢查結果信息,單擊操作列下的圖標查看規則檢查詳情。
執行條件檢查
不同對象類型有不同的校驗條件,可在發布詳情里查看校驗詳情。展示執行條件檢查的類型、名稱、異常說明(如有)和檢查結果。如果校驗不通過,您可以通過頁面提示及快捷操作按鈕進行修改后重新發布。如果發布審批已經通過,重新發布不需要重新進行發布審批。
售賣檢查
若該對象需要消耗數據處理單元,則有該流程。僅周期任務需要進行售賣檢查,手動任務無需進行售賣檢查。
集成同步包括離線管道任務、同步任務和實時集成任務。
數據處理包括離線計算任務、實時計算任務。
規范建模包括維度邏輯表、事實邏輯表、派生指標、衍生指標。
發布成功的對象單擊關閉,來關閉發布詳情對話框;發布失敗的對象可單擊重新發布,來重新發布當前對象。