本文為您介紹如何使用DataStudio導入MaxCompute數據至Hologres。
前提條件
已在DataWorks中創建對應的Hologres數據源,并將其綁定至數據開發(DataStudio)模塊,詳情請參見綁定Hologres實例。
背景信息
DataStudio支持一鍵MaxCompute數據同步功能,您可以使用可視化方式導入MaxCompute表數據并進行查詢。該方式比創建外部表直接查詢數據的性能更好。
您也可以使用SQL語句導入MaxCompute數據,詳情請參見使用SQL從MaxCompute導入。
操作步驟
新建一鍵MaxCompute數據同步節點。
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
在DataStudio界面的左側導航欄,單擊,進入數據開發頁面。
單擊頂部菜單欄的新建,選擇新建節點>Hologres>一鍵MaxCompute數據同步。
在新建節點對話框中,選擇引擎實例和路徑,并輸入名稱,單擊確認。
在編輯節點頁面,配置各項參數。
參數
配置項
說明
MaxCompute源表選擇
目標連接
已綁定的Hologres數據源名稱。
目標庫
Hologres實例下的數據庫名稱。
外部表來源
已有外部表
已經提前在Hologres中創建映射MaxCompute數據的外部表。
新建外部表
表示無相應的外部表,需要同步時新建。
外部Schema
Hologres中已創建的MaxCompute外部表所在的Schema。
當外部表來源選擇已有外部表時,需要配置此參數。
外部表表名字
Hologres中已創建的MaxCompute外部表名稱。
當外部表來源選擇已有外部表時,需要配置此參數。
外部服務器
Hologres實例創建成功后會自動創建名稱為odps_server的服務器, 可以直接調用,相關原理請參見postgres_fdw。
當外部表來源選擇新建外部表時,需要配置此參數。
MaxCompute項目
MaxCompute的項目名稱。
當外部表來源選擇新建外部表時,需要配置此參數。
MaxCompute表名
同步數據的MaxCompute表名稱。
當外部表來源選擇新建外部表時,需要配置此參數。
目標表設置
目標Schema
當前Hologres數據庫下的Schema名稱。
目標表名
需要導入數據的Hologres內部表名稱。若表名稱已存在,執行后原表和數據將被刪除重建。
目標表描述
自定義添加需要導入數據的Hologres內部表的描述。
導入GUC參數設置
GUC參數
導入MaxCompute數據前需要設置的GUC參數,支持的GUC參數請見GUC參數。其余SQL均不支持。
同步設置
同步字段
選擇需要同步的MaxCompute表字段,可以選擇全部字段,也可以選擇部分字段。
分區配置
選擇需要同步的分區字段。當前Hologres僅支持一級分區。
MaxCompute的多級分區,在Hologres中設定為一級分區,其余分區自動映射為Hologres的普通字段。
索引配置
為目標表構建索引。索引的創建請參見建表概述。
SQL Script
SQL Script
自動解析出當前運行的SQL,方便參照。
在編輯節點頁面單擊圖標,保存配置信息。
在編輯節點頁面單擊圖標,運行同步任務,導入MaxCompute表數據。
查看同步的MaxCompute表數據。
在左側導航欄,單擊圖標,進入表管理頁面。
雙擊需要查看的Hologres內部表,顯示表編輯頁面。
說明若表管理頁面未顯示目標表,您需要在DataWorks數據地圖中進行Hologres元數據采集,詳情請參見數據地圖。
(可選)周期性調度。
在節點的編輯頁面,單擊節點編輯區域右側的調度配置,配置節點的調度屬性,詳情請參見配置基礎屬性。
在節點的編輯頁面,單擊工具欄中的圖標,保存節點。
單擊工具欄中的圖標,提交節點。
在提交新版本對話框中,輸入變更描述,單擊確認。