步驟一：在Flink中準(zhǔn)備數(shù)據(jù)

創(chuàng)建Paimon Catalog和Paimon表，并在表中插入數(shù)據(jù)，參考示例操作步驟如下。如果您在Flink中已有Paimon表和數(shù)據(jù)，可以跳過(guò)此步。

1. 登錄實(shí)時(shí)計(jì)算控制臺(tái)，創(chuàng)建Paimon Catalog。具體操作，請(qǐng)參見(jiàn)創(chuàng)建Paimon Catalog。

2. 創(chuàng)建Paimon表。具體操作，請(qǐng)參見(jiàn)管理Paimon表。

   1. 在元數(shù)據(jù)管理頁(yè)面，選擇已創(chuàng)建Paimon Catalog下的default，然后單擊創(chuàng)建表，如下圖所示。

      

   2. 在添加表對(duì)話框，選擇Apache Paimon連接器，輸入以下語(yǔ)句，單擊確定。本文以test_tbl表為例。

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. 在SQL 開(kāi)發(fā)頁(yè)面，創(chuàng)建包含如下語(yǔ)句的SQL作業(yè)，部署并運(yùn)行作業(yè)。關(guān)于如何創(chuàng)建并運(yùn)行SQL作業(yè)詳情，請(qǐng)參見(jiàn)SQL作業(yè)開(kāi)發(fā)。

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      說(shuō)明

      • 請(qǐng)確認(rèn)SQL作業(yè)的引擎版本為vvr-8.0.1-flink-1.17及以上版本。

      • 若SQL作業(yè)有限流作業(yè)（例如執(zhí)行INSERT INTO ... VALUES ...語(yǔ)句），需要在作業(yè)運(yùn)維頁(yè)面，編輯運(yùn)行參數(shù)配置，在其他配置設(shè)置execution.checkpointing.checkpoints-after-tasks-finish.enabled: true代碼。關(guān)于如何配置作業(yè)的運(yùn)行參數(shù)詳情，請(qǐng)參見(jiàn)配置作業(yè)部署信息。

步驟二：在MaxCompute項(xiàng)目中上傳Paimon插件

您可以選擇以下其中一種方式，在已創(chuàng)建的MaxCompute項(xiàng)目中上傳Paimon插件。

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

步驟三：通過(guò)MaxCompute創(chuàng)建Paimon外表

使用本地客戶端（odpscmd）連接或其他可以運(yùn)行MaxCompute SQL的工具，創(chuàng)建MaxCompute Paimon外部表。本文以oss_extable_paimon_1pt為例。

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
stored BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
location 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

步驟四：通過(guò)MaxCompute讀取Paimon外部表

1. 使用本地客戶端（odpscmd）或其他可以運(yùn)行MaxCompute SQL的工具，執(zhí)行以下命令。

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. 執(zhí)行以下命令，查詢MaxCompute Paimon外部表oss_extable_paimon_1pt。

   SELECT * FROM oss_extable_paimon_1pt;

   示例返回結(jié)果如下。

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   說(shuō)明

   若返回結(jié)果中沒(méi)有顯示分區(qū)信息，您可以通過(guò)如下命令追加分區(qū)信息：

   msck repair table oss_extable_paimon_1pt add partitions;