配置連接器
本文為您介紹E-MapReduce(簡稱EMR)的Presto提供的內(nèi)置連接器,以及如何修改和添加連接器等操作。
EMR Presto內(nèi)置連接器
EMR Presto默認提供以下幾種開箱即用的內(nèi)置連接器。
連接器 | 功能 |
hive | 使用Hive連接器可以查詢存儲在Hive數(shù)據(jù)倉庫中的數(shù)據(jù)。 |
kudu | 使用Kudu連接器可以查詢、插入和刪除存儲在Kudu里的數(shù)據(jù)。 |
mysql | 使用MySQL連接器可以在外部MySQL實例中查詢和創(chuàng)建表。 |
iceberg | 使用Iceberg連接器可以查詢Iceberg格式的數(shù)據(jù)文件。 |
hudi | 使用Hudi連接器可以查詢COW和MOR表。 |
delta | 使用Delta連接器可以查詢Delta Lake表。 |
jmx | 使用JMX連接器可以進行系統(tǒng)監(jiān)控和調(diào)試。 |
system | 使用系統(tǒng)連接器可以查詢集群的基本信息和度量。 說明 系統(tǒng)連接器無需配置,所有信息都可以通過名為 |
修改內(nèi)置連接器
您可以在EMR控制臺的Presto服務的配置頁面,修改各個連接器對應的配置文件,然后重啟Presto服務。連接器與配置文件對應關系如下表。
連接器名稱 | 配置文件 |
hive-hadoop2 | hive.properties |
kudu | kudu.properties |
mysql | mysql.properties |
iceberg | iceberg.properties |
hudi | hudi.properties |
delta | delta.properties |
jmx | jmx.properties |
示例:修改Hive連接器
在EMR控制臺的Presto服務的配置頁面,在服務配置區(qū)域,單擊hive.properties頁簽。
根據(jù)實際情況修改各配置項。
修改配置項的詳細信息,請參見管理配置項。
保存完配置后,在右上角選擇更多操作>重啟。
重要服務重啟完成后,修改的連接器才能生效。
增加自定義連接器
您可以使用EMR Presto默認提供的5個占位連接器,增加自定義連接器,分別為connector1、connector2、connector3、connector4和connector5,即EMR控制臺的Presto服務的配置頁面的connector1.properties、connector2.properties、connector3.properties、connector4.properties和connector5.properties。占位連接器的配置方法與內(nèi)置連接器一致。
如果您需要增加自定義連接器,修改未被使用的占位連接器配置即可。
示例:增加Mongodb連接器
進入EMR on ECS控制臺的Presto服務的配置頁面,在服務配置區(qū)域,單擊connector1.properties頁簽。
修改connector.name的值為mongodb。
根據(jù)實際情況添加自定義配置項。
添加配置項的詳細信息,請參見修改配置項。
保存完配置后,在右上角選擇更多操作>重啟。