遷移助手支持導出周期任務、手動任務、資源、函數、表元數據、數據源、組件、臨時查詢、數據服務和數據質量等對象,本文為您介紹如何創建和查看導出任務。
背景信息
遷移助手支持通過全量導出、增量導出和自選導出等方式導出任務。不同導出類型的使用場景如下:
使用限制
當前不同版本的DataWorks遷移助手在進行DataWorks遷移時,支持的策略如下表。
DataWorks遷移功能描述
基礎版
標準版
專業版
企業版
租戶內支持的DataWorks導出包個數
說明若導出包個數超過版本限制,您只能通過升級版本獲取更多導出包數量,不支持付費購買導出包個數。
累計10個
累計30個
累計100個
無上限
DataWorks導入包大小限制
本地文件上傳
30 M
30 M
30 M
30 M
OSS文件上傳
不支持
不支持
無限制
無限制
DataWorks導入時是否支持自動提交、自動發布
不支持
不支持
支持
支持
僅主賬號和工作空間管理員能夠進行導入和導出操作,其他角色成員僅支持查看導入、導出任務列表,無操作權限。
進行數據質量規則導出與導入時,有以下注意事項:
導出數據質量規則時,訂閱管理(報警相關配置)不支持導出。
導入的數據質量規則關聯的表如果在目標空間不存在,則在數據質量規則頁面上不會展示出這條導入的規則,如果在導入數據質量規則后完成目標表創建,那么同樣會在表的規則詳情頁展示出這條導入的規則。
數據質量導入步驟會依賴周期任務導入步驟成功才會執行,因為同一個導入包里面如果同時有數據質量規則和關聯的調度節點信息,您需要先把關聯的節點先導入目標空間且成功提交發布了,才能將調度節點和正確的質量規則關聯上。
如果只單獨導入數據質量,不導入關聯的調度節點,那數據質量依然會導入成功,只是沒有關聯調度節點的信息。后續把關聯調度節點信息導入提交發布后,重新導入數據質量規則后,DataWorks會重新更新數據質量規則并關聯上調度節點。
進入遷移助手
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
單擊左上方的圖標,選擇 ,進入遷移助手首頁。
創建全量導出任務
在DataWorks導出頁面,單擊右上方的新建導出任務。
在新建導出任務對話框中,配置各項參數。
參數
描述
導出名稱
導出名稱僅支持大小寫字母、中文、數字、下劃線和小數點。
導出類型
選擇全量導出時,您可以結合下面的導出范圍的配置,導出選擇對象的全量內容。
導出范圍與導出對象
導出范圍支持:
導出全部對象:選擇導出全部對象后,則后續會直接導出當前工作空間下的全部對象,包括:周期任務、手動任務、資源、函數、表DDL、數據源、數據服務、臨時查詢、組件、數據質量校驗規則。
自選導出對象:選擇自選導出對象后,您可以根據需要,在下方導出對象的下拉框中選擇需要全量導出的對象,例如周期任務、資源、數據服務等。
導出對象狀態
您可以選擇需要導出哪種狀態下的對象內容:
保存:導出已保存的導出對象內容。
提交:導出已提交的導出對象內容。
發布:導出已發布的導出對象內容。
黑名單
您可以根據業務需求決定是否選中添加黑名單,以篩選全量導出過程中無需導出的任務和資源。
導出版本格式
包括公共云、專有云(V3.12及以上)和專有云(V3.6.1-V3.11)。DataWorks上不同版本的數據格式不一致,請先確認待導入環境中DataWorks的版本。
備注
對導出任務進行簡單描述。
可選:添加黑名單并導出任務。
如果您選中添加黑名單,請執行下述操作:
在新建導出任務對話框中,單擊添加黑名單。
在選擇黑名單頁面,選擇無需導出的對象。
單擊添加到黑名單。
單擊頁面右上方的開始導出。
在導出確認對話框中,單擊確認。
可選:如果您未選中添加黑名單,請直接單擊開始導出。
在導出進度對話框中,查看任務的導出進度。待導出成功后,單擊返回導出任務列表。
創建增量導出任務
在DataWorks導出頁面,單擊右上方的新建導出任務。
在新建導出任務對話框中,配置各項參數。
參數
描述
導出名稱
導出名稱僅支持大小寫字母、中文、數字、下劃線和小數點。
導出類型
選擇增量導出,您將導出指定日期后修改的文件,包括已保存、已提交的周期任務、手動任務、表元數據和數據源。
導出范圍與導出對象
導出全部對象:選擇導出全部對象后,則后續會直接導出當前工作空間下的全部對象,包括:周期任務、手動任務、資源、函數、表DDL、數據源、數據服務、臨時查詢、組件、數據質量校驗規則。
自選導出對象:選擇自選導出對象后,您可以根據需要,在下方導出對象的下拉框中選擇需要全量導出的對象,例如周期任務、資源、數據服務等。
導出對象狀態
您可以選擇需要導出哪種狀態下的對象內容:
保存:導出已保存的導出對象內容。
提交:導出已提交的導出對象內容。
發布:導出已發布的導出對象內容。
修改日期
按照最后修改的時間進行增量。
導出版本格式
包括公共云、專有云(V3.12及以上)和專有云(V3.6.1-V3.11)。
備注
對導出任務進行簡單描述。
單擊開始導出。
創建自選導出任務
在DataWorks導出頁面,單擊右上方的新建導出任務。
在新建導出任務對話框中,配置各項參數。
參數
描述
導出名稱
導出名稱僅支持大小寫字母、中文、數字、下劃線和小數點。
導出類型
選擇自選導出,您可以自由選擇需要導出的文件,包括已保存、已提交的周期任務、手動任務、表元數據和數據源。
導出版本格式
包括公共云、專有云(V3.12及以上)和專有云(V3.6.1-V3.11)。
備注
對導出任務進行簡單描述。
單擊選擇導出內容。
在自選導出列表頁面,根據導出對象的類型篩選需要導出的對象。
遷移助手支持的導出對象包括:表、周期任務、資源、手動任務、函數、數據質量、數據服務、數據源、組件和臨時查詢。
選中需要導出的對象后,單擊添加至導出包。
您也可以根據導出對象、對象類型、對象名稱等條件進行篩選,單擊篩選結果添加到導出包,添加篩選的所有結果。
單擊頁面右上方的開始導出。
任務狀態
在導出任務列表頁面,您可以查看導出任務的導出任務名稱、導出類型、任務創建人、狀態、更新時間和備注等信息,不同狀態的任務可以進行不同的操作:
當導出任務的狀態為導出成功時,您可以:
單擊查看導出報告,查看導出任務的基本信息、概覽和明細。
單擊下載導出包,下載導出任務至本地。
說明下載鏈接有效期為30天,請及時下載文件至本地。超期后鏈接將失效,您需重新執行導出操作。
克隆不同導出類型的任務:
單擊導出類型為全量導出,且未添加黑名單任務后的克隆。在克隆對話框中,輸入導出名稱,單擊開始導出。
單擊導出類型為全量導出,且已添加黑名單任務后的克隆。在克隆對話框中,輸入導出名稱,單擊添加黑名單。
在選擇黑名單頁面,選擇無需導出的對象,單擊添加到黑名單后,單擊頁面右上方的開始導出。
單擊導出類型為自選導出任務后的克隆。在克隆對話框中,輸入導出名稱,單擊選擇導出內容。
在自選導出列表頁面,選擇需要導出的對象,單擊添加至導出包后,單擊頁面右上方的開始導出。
當導出任務的狀態為導出失敗時,除查看導出報告和下載導出包外,您還可以單擊重試,重新導出任務。
當導出任務的導出類型為自選導出、狀態為編輯中時,您可以:
單擊編輯,在任務的編輯頁面根據導出任務類型進行不同的操作。
單擊查看導出包,在導出包詳情頁面查看導出任務的基本信息、概覽和明細。
單擊刪除,在刪除對話框中,單擊確認。
當導出任務的導出類型為全量導出、狀態為編輯中時,除可以編輯和刪除導出任務外,您還可以單擊查看黑名單。在黑名單預覽對話框中,確認添加的黑名單,單擊開始導出或關閉。