本文介紹如何在Lindorm計算引擎中通過SQL訪問Lindorm寬表引擎數據。
準備工作
通過SQL訪問Lindorm寬表引擎數據前,需要了解使用須知。
根據作業的提交方式,請確保已完成了相應的初始化工作:
訪問寬表引擎數據
您可以直接在Catalog "lindorm_table"
中訪問Lindorm寬表引擎數據。Lindorm計算引擎不支持對Lindorm寬表引擎中的表進行DDL操作和分區操作,僅支持常規DML操作。示例語句如下:
使用Catalog
"lindorm_table"
。USE lindorm_table;
查看表test的結構。
SHOW CREATE TABLE test;
返回內容如下:
+----------------------------------------------------+ | CREATE TABLE default.test ( | | `id` INT, | | `name` STRING) | | | +----------------------------------------------------+
向Lindorm寬表引擎中的表插入數據。
INSERT INTO test VALUES (0, 'Jay');
查詢Lindorm寬表引擎中的表數據。
SELECT * FROM test;
更多SQL語法請參見DML。
BulkLoad寬表數據(公測中)
BulkLoad數據導入的SQL語法和普通的INSERT
語句語法相同。如果您需要通過SQL批量寫入寬表引擎,可以配置如下參數:
配置項 | 說明 |
spark.sql.catalog.lindorm_table.bulkLoad.enabled | 是否開啟BulkLoad導入功能。 取值如下:
|
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor | 寬表單分區的寫入并發度。默認值為 |
重要
開啟BulkLoad導入功能后,結果數據將直接生成寬表文件,并完成注冊,寫入吞吐更高。
對于BulkLoad導入的數據,寬表不會自動構建二級索引和搜索索引。
文檔內容是否對您有幫助?