Hologres可通過DDL方式創建Hologres外部表,也可使用DataWorks提供的可視化方式創建。本文為您介紹如何使用DataWorks可視化方式創建Hologres外部表。
前提條件
工作空間已創建Hologres數據源,并將其綁定至數據開發。詳情請參見創建Hologres數據源、開發前準備:綁定數據源或集群。
創建表的用戶具備開發權限角色,空間管理員或開發。授權詳情請參見空間級模塊權限管控。
背景信息
Hologres的表類型分為內部表和外部表,其區別如下:內部表:可直接存儲MaxCompute源數據。您可將MaxCompute源表數據同步至Hologres內部表中快速查詢分析。該方式比創建外部表方式查詢性能更好。
外部表:不能直接存儲MaxCompute源數據,但可將MaxCompute源表數據映射至Hologres外部表中,加速查詢分析數據。該方式無冗余存儲,無需導入導出數據,即可快速獲取查詢結果。
使用限制
目前僅支持創建MaxCompute類型的Hologres外部表。
- 當前僅華東2(上海)、華北2(北京)地域支持使用該功能。
操作步驟
進入數據開發頁面。
登錄DataWorks控制臺,單擊左側導航欄的數據建模與開發 > 數據開發,在下拉框中選擇對應工作空間后單擊進入數據開發。
創建業務流程。
如果您已有業務流程,則可以忽略該步驟。
鼠標懸停至圖標,選擇新建業務流程。
在新建業務流程對話框,輸入業務名稱。
單擊新建。
- 創建Hologres外部表。
- 鼠標懸停至圖標,選擇 。
- 在新建表對話框,選擇表類型為外部表,并配置表所在的引擎、路徑及名稱等信息。
- 配置Hologres外部表。在Hologres外部表的編輯頁面,您可配置表的相關信息。
- 配置基礎屬性。表的主要基礎屬性如下。
參數 描述 類型 選擇需要創建哪種類型的Hologres外部表。 說明目前僅支持創建MaxCompute類型的Hologres外部表。
服務器列表 選擇外部表連接MaxCompute數據源的服務器。 說明 創建MaxCompute類型的外部表需調用Hologres底層已創建的odps_server
外部表服務器。詳細原理請參見postgres_fdw。表 選擇需要基于哪個MaxCompute源表創建Hologres外部表,后續使用該外部表查詢MaxCompute源表數據。 您需根據MaxCompute的項目模型類型配置相關參數:- 兩層模型:
- project_name:MaxCompute的項目名稱。
- table_name:所查詢的MaxCompute源表名稱。
- 三層模型:
- project_name:MaxCompute的項目名稱及Schema名稱,格式為
odps_project_name#odps_schema_name
。 - table_name:所查詢的MaxCompute源表名稱。
- project_name:MaxCompute的項目名稱及Schema名稱,格式為
說明 如果相關參數的配置與模型類型要求不符,則會產生報錯。報錯示例failed to import foreign schema:Table not found - table_xxx
。 - 兩層模型:
配置業務信息。
說明表的業務信息,僅是基于業務需求方便管理表使用,不涉及底層邏輯的實現。
參數
描述
主題
表所屬的一級文件夾與二級文件夾。您可基于業務用途對表進行歸類,將同類表掛載至相同文件夾中。
說明一級主題、二級主題僅為DataWorks上文件夾的呈現形式,旨在方便您更好地管理表。
層級
表所屬的物理數倉分層。層級是用來定義和管理數據倉庫分層,通常分為貼源層、共享層和分析層。您可根據表的業務用途,將其掛載至合適的層級。
說明單擊圖標可自定義層級。詳細操作請參見表管理。
物理分類
表的物理分類,即基于業務使用視角對表進行更詳細的分類。通常包括基礎業務層、高級業務層和其它。
說明單擊圖標可自定義物理分類。詳細操作請參見分類管理。
- 配置表結構。當步驟4中《配置基礎屬性》的表參數配置后,將在此界面展示該表的表結構。該結構將用于創建最終的Hologres外部表,會自動讀取MaxCompute源表數據,不可編輯。說明 基于MaxCompute創建Hologres外部表時存在字段類型映射,外部表字段類型必須與MaxCompute源表字段類型一一對應。MaxCompute與Hologres的數據類型映射,請參見MaxCompute與Hologres的數據類型映射。
- 配置基礎屬性。
- 提交并發布Hologres外部表。
表結構定義完成后,您需將其提交至開發環境與生產環境,提交成功后才可在環境對應的引擎項目查看該表。
說明如果您使用的是簡單模式的工作空間,僅需將表提交至生產環境。簡單模式與標準模式工作空間介紹,詳情請參見必讀:簡單模式和標準模式的區別。
操作
描述
從開發環境加載
用于從開發環境加載開發表的相關信息,并顯示至當前頁面。
說明僅當表已被提交至開發環境后,才可執行該操作。執行該操作后,開發環境已創建的表信息會覆蓋當前頁面的表信息。
提交到開發環境
提交表至DataWorks的開發環境,即在開發環境對應的Hologres數據庫創建當前表。
提交后您可在DataWorks數據開發相應業務流程(即創建表時所選的路徑)的Hologres目錄,查看該表結構。
從生產環境加載
用于從生產環境加載生產表的相關信息,并顯示至當前頁面。
說明僅當表已被提交至生產環境后,才可執行該操作。執行該操作后,生產環境已創建的表信息會覆蓋當前頁面的表信息。
提交到生產環境
提交表至DataWorks的生產環境,即在生產環境對應的Hologres數據庫創建當前表。
后續步驟
Hologres外部表創建完成后,您可通過Hologre外部表周期性導入MaxCompute數據至Hologres內部表:- 使用命令方式導入,詳情請參見使用SQL從MaxCompute導入。
- 使用DataWorks可視化方式導入,詳情請參見一鍵MaxCompute數據同步節點。