本文為您介紹基于DLF通過使用SQL方式將數據從Hologres內部表回寫至OSS,并在外部引擎通過SQL直接查詢寫入的數據。
前提條件
您已完成DLF數據湖的構建和環境配置并通過Hologres外部表能正常讀取OSS數據湖,詳情請參見OSS數據湖使用說明。
導出數據至數據湖
在數據更新的場景下,需要將數據回寫至OSS,之后再由EMR等外部引擎進行處理,此時,您可以直接通過SQL向外部表插入數據。
說明
目前僅支持導出ORC 、Parquet、CSV、SequenceFile、Hudi 、Paimon格式的數據。
回寫數據至OSS。
使用如下SQL,將Hologres內部表的數據回寫入OSS。
INSERT INTO <foreign_table_name>(<col_name>,......) SELECT <col_name>,...... FROM <holo_table_name>;
參數說明如下:
參數
說明
foreign_table_name
創建的外部表名稱。
holo_table_name
導出數據的Hologres內部表名稱。
col_name
表中的數據列名稱。
查詢回寫數據。
寫入完成后,您可以在EMR(Hive或Spark)中運行如下SQL查詢到寫入的數據。
SELECT * FROM <foreign_table_name> WHERE <col_name> = value;
返回成功則表示:Hologres已經成功將數據回寫到OSS,并且EMR也可以順利讀取。
文檔內容是否對您有幫助?