Paimon數(shù)據(jù)源
StarRocks從3.1版本開始支持Paimon Catalog。Paimon Catalog是一種External Catalog。通過Paimon Catalog,您可以直接查詢Paimon中的數(shù)據(jù)。本文為您介紹如何在E-MapReduce的StarRocks集群上創(chuàng)建和查看Paimon Catalog。
前提條件
已創(chuàng)建包含Paimon服務(wù)的集群,例如DataLake或Custom集群,詳情請參見創(chuàng)建集群。
已創(chuàng)建包含StarRocks服務(wù)的集群,例如OLAP或Custom集群,并成功連接到集群,詳情請參見創(chuàng)建集群和快速入門。
使用限制
創(chuàng)建的兩個集群需要在同一個VPC下,并且在同一個可用區(qū)下。
創(chuàng)建Paimon Catalog
語法?
CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
(
"key"="value",
...
);
參數(shù)說明
catalog_name
:Paimon Catalog的名稱,必選參數(shù)。命名要求如下:必須由字母(a~z或A~Z)、數(shù)字(0~9)或下劃線(_)組成,并且只能以字母開頭。
總長度不能超過64個字符。
PROPERTIES
:Paimon Catalog的屬性,必選參數(shù)。說明StarRocks的Paimon Catalog與原生Paimon API里的Catalog是一一映射關(guān)系,配置項(xiàng)和配置含義都相同。
屬性
是否必選
說明
type
是
數(shù)據(jù)源類型,取值為paimon。
paimon.catalog.type
是
Paimon使用的元數(shù)據(jù)類型,取值為:
hive
: 使用Hive MetaStore存儲的元數(shù)據(jù)。filesystem
:使用filesystem存儲的元數(shù)據(jù)。dlf
:使用DLF存儲的元數(shù)據(jù)。
paimon.catalog.warehouse
是
warehouse所在路徑,支持HDFS和OSS。
hive.metastore.uris
否
Hive MetaStore的URI。當(dāng)
paimon.catalog.type
設(shè)置為hive
時,需要填寫該參數(shù),格式為thrift://<Hive MetaStore的IP地址>:<端口號>
,端口號默認(rèn)為9083。aliyun.oss.endpoint
否
若使用OSS作為warehouse,需填寫相應(yīng)的endpoint。
dlf.catalog.id
否
DLF數(shù)據(jù)目錄ID。僅當(dāng)paimon.catalog.type配置為dlf時需要填寫該參數(shù)。如果未配置
dlf.catalog.id
參數(shù)的值,則系統(tǒng)將使用默認(rèn)DLF Catalog。
示例
以下示例創(chuàng)建了一個名為paimon_catalog
的Paimon Catalog,其元數(shù)據(jù)類型paimon.catalog.type
為dlf
,用于查詢Paimon集群里的數(shù)據(jù)。
CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
"type" = "paimon",
"paimon.catalog.type" = "dlf",
"paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>/",
);
查看Paimon表數(shù)據(jù)
您可以通過SELECT查詢目標(biāo)數(shù)據(jù)庫中的目標(biāo)表。
SELECT * FROM <catalog_name>.<database_name>.<table_name>;
相關(guān)文檔
Paimon更多介紹,請參見Paimon概述。