Hologres與MaxCompute數據源底層無縫打通,深度融合,可雙向直讀對方存儲,大大提升數據訪問效率。本文為您介紹使用Hologres加速讀寫MaxCompute數據的相關能力及使用限制。
背景信息
大數據計算服務(MaxCompute)是一種快速、完全托管的EB級數據倉庫,致力于批量結構化數據的存儲和計算,提供海量數據倉庫的解決方案及分析建模服務。詳情請參見什么是MaxCompute。
Hologres是兼容PostgreSQL協議的實時交互式分析引擎,與MaxCompute存儲原生對接,支持使用創建外部數據庫、外部表的方式實現MaxCompute加速查詢,無冗余存儲,無需導入導出數據,即可快速獲取查詢結果,對外提供服務,采用標準PostgreSQL協議,無縫對接幾乎所有主流BI工具。
相比其他非阿里云大數據生態產品,Hologres在加速MaxCompute數據、導入MaxCompute數據以及數據回寫MaxCompute的速度性能方面表現更佳。
場景介紹
遠程加速MaxCompute數據
Hologres在讀取MaxCompute數據時采用直讀盤古存儲的方式,性能更優,使用上也更簡單。您可通過CREATE EXTERNAL DATABASE的方式整庫映射MaxCompute內部Project下的Schema和表,或者通過IMPORT FOREIGN SCHEMA方式批量創建外部表,同時對于僅需要加速查詢少量MaxCompute表或者某張表中部分字段的場景,我們也提供了CREATE FOREIGN TABLE的方式,您可以根據業務特性和場景,選擇合適的加速方式。
從Hologres V3.0 版本開始,遠程查詢MaxCompute數據取消了一次查詢掃描數據量不超過200GB、分區數不超過512個的限制,方便您更好地使用該服務。同時,放寬限制的大查詢會消耗更多的Hologres實例資源,請您做好資源隔離,詳情請參見計算組實例快速入門,或者對于偶發的大查詢可以使用Serverless模式,詳情請參見Serverless Computing。
MaxCompute的數據導入Hologres后再進行查詢
為了獲取更好的查詢性能,您也可以將數據導入Hologres,再進行查詢。該方式可充分利用Hologres的索引能力進一步加速查詢,同時支持的能力上也更加豐富,如支持復雜查詢,支持UPDATE、INSERT、DELETE等操作。詳情請參見MaxCompute數據導入Hologres。
Hologres數據導出至MaxCompute
對于實時寫入Hologres的數據或者在Hologres中進行聚合分析后想寫回MaxCompute的場景,詳情請參見導出至MaxCompute。
功能詳情
Hologres加速MaxCompute外部表支持的具體能力如下:
Hologres版本號 | 支持的能力 | 描述 |
V3.0.7 | 支持通過CREATE EXTERNAL DATABASE的方式完整映射MaxCompute Project下的Schema和表。 | CREATE EXTERNAL DATABASE 用于在Hologres實例中創建一個外部數據庫,來加載外部數據源的元數據到Hologres,方便在一個系統中同時管理內、外部數據,實現湖倉一體架構下統一的元數據管理。詳情請參見CREATE EXTERNAL DATABASE。 |
取消外部表查詢一次查詢掃描數據量不超過200GB、分區數不超過512個的限制。 | 無 | |
V2.2.1 | 外部表自動加載支持MaxCompute Schema(三層模型)。 | Schema是MaxCompute介于項目和表、資源、函數之間的概念,對表、資源及函數進行進一步歸類。外部表自動加載詳情請參見外部表自動加載(Auto Load)。 |
外部表自動加載支持元數據自動刷新。 | 無 | |
外部表自動加載支持MaxCompute外部表Schema Evolution。 | 在MaxCompute側執行過刪除列、修改列順序、修改列類型等操作的表。詳情請參見外部表自動加載(Auto Load)。 | |
支持通過SLR訪問MaxCompute數據。 | 服務關聯角色(ServiceLinkedRole,簡稱SLR)是一種可信實體為阿里云服務的RAM角色,旨在解決跨云服務的授權訪問問題,詳情請參見Hologres服務關聯角色。 | |
V2.1 | 支持對MaxCompute三層模型指定Schema下的表進行數據寫入。 | Schema是MaxCompute介于項目和表、資源、函數之間的概念,對表、資源及函數進行進一步歸類。詳情請參見Schema。 |
支持通過HoloWeb可視化訪問MaxCompute三層模型指定Schema下的表。 | 詳情請參見基于HoloWeb創建MaxCompute外部表。 | |
V2.0 | 升級MaxCompute加速引擎為HQE,改善兼容性與穩定性。 | 無 |
V1.3 | 支持通過外部表方式查詢MaxCompute的Transactional表。 | 無 |
支持讀取MaxCompute Schema Evolution狀態表。 | 在MaxCompute側執行過刪除列、修改列順序、修改列類型操作的表。 | |
Hologres和MaxCompute之間交互支持雙簽名認證。 | 詳情請參見創建Hologres外部表(雙簽名模式)。 | |
支持訪問MaxCompute BYOK方式加密的表。 | 詳情請參見查詢MaxCompute加密數據(BYOK模式)。 | |
V1.1.43 | 支持外部表自動加載,實現MaxCompute外部表的按需自動加載以及全量自動加載。 | 詳情請參見外部表自動加載(Auto Load)。 |