本文為您介紹如何配置不同MaxCompute項目并實現數據遷移。
前提條件
請您首先完成教程《簡單用戶畫像分析(MaxCompute版)》的全部步驟,詳情請參見簡單用戶畫像分析(MaxCompute版)。
背景信息
本文使用的被遷移的原始項目為教程《簡單用戶畫像分析(MaxCompute版)》中的WorkShop2023項目,您需要再創建一個遷移目標項目,用于存放原始項目的表、資源、配置和數據。
注意事項
僅華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)和西南1(成都)地域支持跨地域遷移。
操作步驟
創建遷移目標項目
登錄DataWorks控制臺,創建工作空間并綁定MaxCompute引擎。具體操作請參見創建工作空間和綁定MaxCompute引擎。
說明由于原始項目WorkShop2023為標準模式,因此本文中DataWorks工作空間模式也選擇標準模式,本文中目標項目名稱以clone_test_doc為例。
跨項目克隆
您可以通過跨項目克隆功能將原始項目WorkShop2023的節點配置和資源復制到當前項目,詳情請參見跨項目克隆實踐。
說明跨項目克隆無法復制表結構與數據。
跨項目克隆無法復制組合節點,需要您手動創建。
單擊原始項目WorkShop2023右上角的跨項目克隆,跳轉至相應的克隆頁面。
選擇克隆目標工作空間為clone_test_doc,業務流程為您需要克隆的業務流程Workshop,勾選所有節點,單擊添加到待克隆后單擊右側的待克隆列表。
單擊全部克隆,將選中的節點克隆至工作空間clone_test_doc。
切換至您新建的項目,檢查節點是否已完成克隆。
新建數據表
跨項目克隆功能無法克隆您的表結構,因此您需要手動新建表。
對于非分區表,建議使用如下語句遷移表結構。
create table table_name as select * from 源庫MaxCompute項目.表名 ;
對于分區表,建議使用如下語句遷移表結構。
create table table_name partitioned by (分區列 string);
新建表后請將表提交到生產環境。更多建表信息,請參見創建并使用MaxCompute表。
數據同步
跨項目克隆功能無法復制原始項目的數據到新項目,因此您需要手動同步數據,本文中僅同步表ods_user_info_d的數據。
新建數據源。
在數據集成頁面,單擊左側導航欄上的數據源。
在數據源管理頁面,單擊右上角新增數據源,并選擇MaxCompute(ODPS)。
填寫您的數據源名稱、ODPS項目名稱、AccessKey ID、AccessKey Secret等信息,單擊完成,詳情請參見配置MaxCompute數據源。
創建數據同步任務。
創建數據同步任務操作詳情,請參見通過向導模式配置離線同步任務。
在數據開發頁面右鍵單擊您克隆的業務流程Workshop下的數據集成,選擇
。編輯您新建的數據同步任務節點,其中數據源WorkShop2023是您的原始項目,數據源odps_first代表您當前的新建項目,表名是您需要同步數據的表ods_user_info_d。完成后單擊調度配置。
單擊使用工作空間根節點后,提交數據同步任務。
補數據
單擊左上角的圖標,選擇
。單擊左側導航欄中的
。右鍵單擊您的數據同步任務,選擇
。本例中,需要補數據的日期分區為2019年6月11日到17日,您可以直接選擇業務日期,進行多個分區的數據同步。完成設置后,單擊確定。
說明您可以根據自己的業務需求,設置業務日期。
在
頁面,您可以查看補數據實例任務運行狀態,顯示運行成功則說明完成數據同步。
驗證結果
您可以在
中新建ODPS SQL類型節點,執行如下語句查看數據是否完成同步。select * from ods_user_info_d where dt BETWEEN '20190611' and '20190617';