一鍵MaxCompute表結(jié)構(gòu)同步節(jié)點
DataWorks支持一鍵導(dǎo)入表結(jié)構(gòu)功能,幫助您使用DataStudio快速批量創(chuàng)建與目標(biāo)MaxCompute表結(jié)構(gòu)相同的Hologres外部表,后續(xù)您可使用Hologres外部表加速查詢MaxCompute表的數(shù)據(jù)。本文為您介紹如何創(chuàng)建并使用一鍵MaxCompute表結(jié)構(gòu)同步節(jié)點。
背景信息
Hologres是阿里巴巴自主研發(fā)的一站式實時數(shù)倉引擎,它與MaxCompute在底層無縫連接,支持使用新建外部表的方式加速查詢MaxCompute數(shù)據(jù)。
DataWorks是基于IMPORT FOREIGN SCHEMA語句實現(xiàn)可視化方式的一鍵MaxCompute表結(jié)構(gòu)同步Hologres。
使用限制
僅支持使用該功能加速查詢MaxCompute內(nèi)部表的數(shù)據(jù),不支持加速查詢MaxCompute外部表的數(shù)據(jù)和視圖。
本文以下示例操作以華東2(上海)地域為例,其它地域請以界面為準。
進入一鍵MaxCompute表結(jié)構(gòu)同步界面
進入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺,切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進入數(shù)據(jù)集成。
創(chuàng)建業(yè)務(wù)流程。
如果您已有業(yè)務(wù)流程,則可以忽略該步驟。
鼠標(biāo)懸停至圖標(biāo),選擇新建業(yè)務(wù)流程。
在新建業(yè)務(wù)流程對話框,輸入業(yè)務(wù)名稱。
單擊新建。
創(chuàng)建一鍵MaxCompute表結(jié)構(gòu)同步節(jié)點。
鼠標(biāo)懸停至圖標(biāo),選擇 。
您也可以找到相應(yīng)的業(yè)務(wù)流程,右鍵單擊業(yè)務(wù)流程,選擇
。在新建節(jié)點對話框中,輸入名稱,并選擇引擎實例、節(jié)點類型及路徑。
單擊確認,進入節(jié)點編輯頁面。
配置一鍵MaxCompute表結(jié)構(gòu)同步節(jié)點
配置節(jié)點信息。
在節(jié)點編輯頁面,配置創(chuàng)建Hologres外部表所使用的Hologres連接信息、MaxCompute表的來源信息及建表時的沖突策略。
配置目標(biāo)信息。
用于配置創(chuàng)建的Hologres外部表要放于哪個Hologres實例下。
參數(shù)
描述
目標(biāo)連接
Hologres的實例名稱。
目標(biāo)庫
Hologres實例下的數(shù)據(jù)庫名稱。
Schema
Hologres數(shù)據(jù)庫下的Schema名稱。默認為public。
配置來源信息。
用于配置創(chuàng)建的Hologres外部表的表結(jié)構(gòu)來源于哪個表。DataWorks基于該信息在Hologres中創(chuàng)建與源表的表結(jié)構(gòu)相同的外部表,方便您通過Hologres外部表快速查詢源表數(shù)據(jù)。
參數(shù)
描述
類型
當(dāng)前僅支持基于MaxCompute類型的源表創(chuàng)建Hologres外部表。
服務(wù)器列表
源表所在的服務(wù)器。
您可以直接調(diào)用Hologres底層已創(chuàng)建的odps_server外部表服務(wù)器。詳細原理請參見postgres_fdw。
來源項目
源表所在的項目名稱。
選擇要直接加速的表
用于選擇需要基于哪些源表創(chuàng)建外部表。
整庫加速:創(chuàng)建所選數(shù)據(jù)庫中的所有表。
部分加速:僅創(chuàng)建所選數(shù)據(jù)庫中的部分表。可通過表名搜索需要創(chuàng)建的表。
說明搜索支持模糊匹配,即輸入關(guān)鍵詞即可查詢到所有名稱包含關(guān)鍵詞的表。
配置沖突策略。
用于配置創(chuàng)建外部表時,對于沖突情況所采取的處理策略。
參數(shù)
描述
表名沖突
Hologres中存在與創(chuàng)建的外部表名稱相同的表時,處理策略如下:
忽略,繼續(xù)創(chuàng)建其他表。
更新,修改同名表。
報錯,不再重復(fù)創(chuàng)建。
數(shù)據(jù)類型不支持
創(chuàng)建外部表時,對Hologres不支持的數(shù)據(jù)類型處理策略如下:
報錯,導(dǎo)入失敗:該方式會導(dǎo)致所選表創(chuàng)建失敗。
忽略,跳過不支持字段:該方式僅會忽略不支持的字段,但不影響表的創(chuàng)建。
保存并運行節(jié)點。
在節(jié)點編輯頁面的頂部菜單欄,單擊圖標(biāo),保存節(jié)點配置。
在節(jié)點編輯頁面的頂部菜單欄,單擊圖標(biāo),批量創(chuàng)建外部表。
運行時您需要選擇Hologres實例與DataWorks網(wǎng)絡(luò)環(huán)境處于連通狀態(tài)的Serverless資源組。詳情請參見網(wǎng)絡(luò)連通方案。
后續(xù)步驟
外部表創(chuàng)建完成后,您可進入DataWorks的表管理頁面查看批量創(chuàng)建的外部表,詳情請參見表管理;或使用Hologres的命令加速查詢MaxCompute數(shù)據(jù),詳情請參見基于Foreign Table加速查詢MaxCompute數(shù)據(jù)。
僅支持加速查詢MaxCompute內(nèi)部表的數(shù)據(jù),不支持加速查詢MaxCompute外部表的數(shù)據(jù)和視圖。