步驟一：授權(quán)

步驟二：創(chuàng)建DLF+OSS外部數(shù)據(jù)源

1. 登錄MaxCompute控制臺(tái)，在左上角選擇地域。

2. 在左側(cè)導(dǎo)航欄，選擇租戶管理>外部數(shù)據(jù)源。

3. 在外部數(shù)據(jù)源頁面，單擊創(chuàng)建外部數(shù)據(jù)源。

4. 在新增外部數(shù)據(jù)源對(duì)話框，根據(jù)界面提示配置相關(guān)參數(shù)。參數(shù)說明如下：

   參數(shù)	說明
   外部數(shù)據(jù)源類型	選擇DLF+OSS。
   外部數(shù)據(jù)源名稱	可自定義命名。命名規(guī)則如下： 以字母開頭，且只能包含小寫字母、下劃線和數(shù)字。 不能超過128個(gè)字符。
   外部數(shù)據(jù)源描述	根據(jù)需要填寫。
   地域	默認(rèn)為當(dāng)前地域。
   DLF Endpoint	默認(rèn)為當(dāng)前地域的DLF Endpoint。
   OSS Endpoint	默認(rèn)為當(dāng)前地域的OSS Endpoint。
   RoleARN	RAM角色的ARN信息。此角色需要包含能夠同時(shí)訪問DLF和OSS服務(wù)的權(quán)限。 您可以登錄RAM訪問控制臺(tái)，在左側(cè)導(dǎo)航欄選擇身份管理>角色，單擊對(duì)應(yīng)的RAM角色名稱，即可在基本信息區(qū)域獲取ARN信息。 示例：acs:ram::124****:role/aliyunodpsdefaultrole。
   外部數(shù)據(jù)源補(bǔ)充屬性	為外部數(shù)據(jù)源特殊聲明的屬性，指定后，使用此外部數(shù)據(jù)源的任務(wù)可以按照參數(shù)定義的行為訪問源系統(tǒng)。 說明 支持的具體參數(shù)請(qǐng)關(guān)注后續(xù)官網(wǎng)文檔更新說明，具體參數(shù)將隨產(chǎn)品能力演進(jìn)逐步放開。

5. 單擊確定，完成外部數(shù)據(jù)源的創(chuàng)建。

步驟三：創(chuàng)建外部Schema

引用了DLF+OSS類型外部數(shù)據(jù)源的外部Schema創(chuàng)建命令如下：

CREATE EXTERNAL SCHEMA IF NOT EXISTS <external_schema_name>
with <dlfoss_foreign_server_name>
ON '<dlf_calaog_id>.<database_name>';

參數(shù)說明如下：

• external_schema_name：外部Schema名稱。

• dlfoss_foreign_server_name：上述已創(chuàng)建的外部數(shù)據(jù)源名稱，外部Schema歸屬的項(xiàng)目必須與外部數(shù)據(jù)源處于同一地域。

• dlf_calaog_id：DLF數(shù)據(jù)目錄ID。數(shù)據(jù)目錄創(chuàng)建方法請(qǐng)參見新建數(shù)據(jù)目錄（Catalog）。

• database_name：DLF中指定數(shù)據(jù)目錄下的數(shù)據(jù)庫名稱。詳情請(qǐng)參見創(chuàng)建數(shù)據(jù)庫。

步驟四：使用SQL訪問數(shù)據(jù)源系統(tǒng)

• 命令格式：列出DLF和OSS的表名稱。

  • 方式1：

    SHOW tables IN <external_schema_name>; --external_schema_name為外部Schema名稱。

  • 方式2：

    USE SCHEMA <external_schema_name>; --external_schema_name為外部Schema名稱。
    SHOW tables;

• 使用示例：

  1. 查詢名稱為es_dlf的外部Schema下的所有表名。

     USE SCHEMA es_dlf;
     SHOW TABLES;

     返回結(jié)果示例：

     ALIYUN$xxx@test.aliyunid.com:hellocsv
     ALIYUN$xxx@test.aliyunid.com:t1
     ALIYUN$xxx@test.aliyunid.com:t2
     ALIYUN$xxx@test.aliyunid.com:t3

  2. 查詢lakehouse47_3項(xiàng)目中es_dlfSchema的hellocsv表數(shù)據(jù)。

     SELECT * FROM lakehouse47_3.es_dlf.hellocsv;

     返回結(jié)果示例：

     +------------+------------+------------+------------+
     | col1       | col2       | col3       | col4       |
     +------------+------------+------------+------------+
     | 1          | hello      | test       | world      |
     +------------+------------+------------+------------+

  3. 從數(shù)據(jù)源將聯(lián)邦外表hellocsv的數(shù)據(jù)復(fù)制入數(shù)倉。

     -- 將聯(lián)邦外表的數(shù)據(jù)復(fù)制到數(shù)倉中
     CREATE TABLE hellocsv_copy AS SELECT * FROM lakehouse47_3.es_dlf.hellocsv;
     
     -- 查詢數(shù)倉中已復(fù)制的表數(shù)據(jù)
     SELECT * FROM hellocsv_copy;

     返回結(jié)果示例：

     +------------+------------+------------+------------+
     | col1       | col2       | col3       | col4       |
     +------------+------------+------------+------------+
     | 1          | hello      | test       | world      |
     +------------+------------+------------+------------+

步驟一：創(chuàng)建Hive+HDFS外部數(shù)據(jù)源

1. 登錄MaxCompute控制臺(tái)，在左上角選擇地域。

2. 在左側(cè)導(dǎo)航欄，選擇租戶管理>外部數(shù)據(jù)源。

3. 在外部數(shù)據(jù)源頁面，單擊創(chuàng)建外部數(shù)據(jù)源。

4. 在新增外部數(shù)據(jù)源對(duì)話框，根據(jù)界面提示配置相關(guān)參數(shù)。參數(shù)說明如下：

   參數(shù)	說明
   外部數(shù)據(jù)源類型	選擇Hive+HDFS。
   外部數(shù)據(jù)源名稱	可自定義命名。命名規(guī)則如下： 以字母開頭，且只能包含小寫字母、下劃線和數(shù)字。 不能超過128個(gè)字符。
   外部數(shù)據(jù)源描述	根據(jù)需要填寫。
   網(wǎng)絡(luò)連接對(duì)象	網(wǎng)絡(luò)連接名稱，選擇或創(chuàng)建MaxCompute到阿里云E-MapReduce或Hadoop VPC網(wǎng)絡(luò)的連接。參數(shù)詳情請(qǐng)參見訪問VPC方案（專線直連）中的創(chuàng)建MaxCompute與目標(biāo)VPC網(wǎng)絡(luò)間的網(wǎng)絡(luò)連接步驟。 說明 網(wǎng)絡(luò)連接基本概念請(qǐng)參見Networklink。 VPC必須與MaxCompute外部數(shù)據(jù)源及外部數(shù)據(jù)源掛載的項(xiàng)目處于同一地域。
   集群名稱	在Hadoop集群高可用環(huán)境下用于指代NameNode的名稱。在構(gòu)建Hadoop集群場(chǎng)景下，您可以通過hdfs-site.xml文件中的dfs.nameservices配置參數(shù)獲取集群名稱。
   NameNode 地址	目標(biāo)Hadoop集群的Active和Standby NameNode服務(wù)地址和端口號(hào)（端口號(hào)通常是8020）。您可聯(lián)系Hadoop集群管理員獲取。
   HMS 服務(wù)地址	目標(biāo)Hadoop集群的Active和Standby NameNode的Hive元數(shù)據(jù)服務(wù)地址和端口號(hào)（端口號(hào)通常是9083）。您可聯(lián)系Hadoop集群管理員獲取。
   認(rèn)證類型	暫時(shí)僅支持無認(rèn)證方式。
   外部數(shù)據(jù)源補(bǔ)充屬性	為外部數(shù)據(jù)源特殊聲明的屬性，指定后，使用此外部數(shù)據(jù)源的任務(wù)可以按照參數(shù)定義的行為訪問源系統(tǒng)。 說明 支持的具體參數(shù)請(qǐng)關(guān)注后續(xù)官網(wǎng)文檔更新說明，具體參數(shù)將隨產(chǎn)品能力演進(jìn)逐步放開。

5. 單擊確定，完成外部數(shù)據(jù)源的創(chuàng)建。

步驟二：創(chuàng)建外部Schema

外部Schema是項(xiàng)目內(nèi)的對(duì)象，可以使用SQL進(jìn)行操作。若您當(dāng)前賬號(hào)沒有打開過租戶級(jí)別Schema語法開關(guān)，需要在SQL前增加SET odps.namespace.schema=true;語句，以方便后續(xù)執(zhí)行Schema相關(guān)命令。

引用了Hive+HDFS類型的外部數(shù)據(jù)源的外部Schema創(chuàng)建命令如下：

CREATE EXTERNAL SCHEMA IF NOT EXISTS <external_schema_name>
WITH  <hive_foreign_server_name>
ON '<database_name>' ;

參數(shù)說明如下：

• external_schema_name：外部Schema名稱。

• hive_foreign_server_name：已創(chuàng)建的外部數(shù)據(jù)源名稱。

• database_name：Hive數(shù)據(jù)庫名稱。

步驟三：使用SQL訪問數(shù)據(jù)源系統(tǒng)

• 命令格式：列出Hive的表名稱。

  • 方式1：

    SHOW tables IN <external_schema_name>; --external_schema_name為外部Schema名稱。

  • 方式2：

    USE SCHEMA <external_schema_name>; --external_schema_name為外部Schema名稱。
    SHOW tables;

• 使用示例：

  1. 查詢名稱為es_hive3的外部Schema下的所有表名。

     USE SCHEMA es_hive3;
     SHOW TABLES;

     返回結(jié)果示例：

     ALIYUN$xxx@test.aliyunid.com:t1

  2. 查詢lakehouse47_3項(xiàng)目中es_hive3Schema的t1表數(shù)據(jù)。

     SELECT * FROM lakehouse47_3.es_hive3.t1;

     返回結(jié)果示例：

     +------------+
     | id         |
     +------------+
     | 1          |
     +------------+

  3. 從數(shù)據(jù)源將聯(lián)邦外表hellocsv的數(shù)據(jù)復(fù)制入數(shù)倉。

     -- 將聯(lián)邦外表的數(shù)據(jù)復(fù)制到數(shù)倉中
     CREATE TABLE t1_copy AS SELECT * FROM lakehouse47_3.es_hive3.t1;
     
     -- 查詢數(shù)倉中已復(fù)制的表數(shù)據(jù)
     SELECT * FROM t1_copy;

     返回結(jié)果示例：

     +------------+
     | id         |
     +------------+
     | 1          |
     +------------+

步驟一：創(chuàng)建Hologres外部數(shù)據(jù)源

1. 登錄MaxCompute控制臺(tái)，在左上角選擇地域。

2. 在左側(cè)導(dǎo)航欄，選擇租戶管理>外部數(shù)據(jù)源。

3. 在外部數(shù)據(jù)源頁面，單擊創(chuàng)建外部數(shù)據(jù)源。

4. 在新增外部數(shù)據(jù)源對(duì)話框，根據(jù)界面提示配置相關(guān)參數(shù)。參數(shù)說明如下：

   參數(shù)	說明
   外部數(shù)據(jù)源類型	選擇Hologres。
   外部數(shù)據(jù)源名稱	可自定義命名。命名規(guī)則如下： 以字母開頭，且只能包含小寫字母、下劃線和數(shù)字。 不能超過128個(gè)字符。
   外部數(shù)據(jù)源描述	根據(jù)需要填寫。
   連接方式	目前只支持云產(chǎn)品互聯(lián)網(wǎng)絡(luò)連接方式。
   Host	Hologres實(shí)例的Host信息。 您可以登錄Hologres管理控制臺(tái)，在左側(cè)導(dǎo)航欄選擇實(shí)例列表，并單擊對(duì)應(yīng)的實(shí)例ID，即可在實(shí)例詳情頁面的網(wǎng)絡(luò)信息區(qū)域獲取Host。 示例：hgpostcn-cn-3m***-cn-shanghai-internal.hologres.aliyuncs.com。
   Port	Hologres實(shí)例的端口信息。 您可以登錄Hologres管理控制臺(tái)，在左側(cè)導(dǎo)航欄選擇實(shí)例列表，并單擊對(duì)應(yīng)的實(shí)例ID，即可在實(shí)例詳情頁面的網(wǎng)絡(luò)信息區(qū)域獲取端口。端口一般為80。
   DBNAME	Hologres實(shí)例的數(shù)據(jù)庫名稱。
   認(rèn)證方式	RAMRole：使用RAM角色扮演認(rèn)證鑒權(quán)方式，支持跨主賬號(hào)的方式訪問Hologres。聯(lián)邦外表暫時(shí)只支持RAMRole方式。RoleARN填寫示例：acs:ram::uid:role/aliyunodpsholorole。aliyunodpsholorole角色配置及授權(quán)，詳情請(qǐng)參見創(chuàng)建Hologres外部表（STS模式）。 ExecuteWithUserAuth：MaxCompute和Hologres之間的用戶身份互認(rèn)模式，允許MaxCompute和Hologres基于相同的賬號(hào)，當(dāng)前用戶以自身的身份可以在兩個(gè)系統(tǒng)中看到有權(quán)訪問的表和數(shù)據(jù)，可以直接通過CALL EXEC_EXTERNAL_QUERY函數(shù)執(zhí)行命令，不需要額外設(shè)置認(rèn)證信息。 重要 ExecuteWithUserAuth模式暫不支持聯(lián)邦外表使用方式。
   RoleARN	RAM角色的ARN信息，此角色需要包含能夠訪問Hologres服務(wù)的權(quán)限。認(rèn)證方式選擇RAMRole時(shí)需要填寫該參數(shù)。 您可以登錄RAM訪問控制臺(tái)，在左側(cè)導(dǎo)航欄選擇身份管理>角色，單擊對(duì)應(yīng)的RAM角色名稱，即可在基本信息區(qū)域獲取ARN信息。
   外部數(shù)據(jù)源補(bǔ)充屬性	為外部數(shù)據(jù)源特殊聲明的屬性，指定后，使用此外部數(shù)據(jù)源的任務(wù)可以按照參數(shù)定義的行為訪問源系統(tǒng)。 說明 支持的具體參數(shù)請(qǐng)關(guān)注后續(xù)官網(wǎng)文檔更新說明，具體參數(shù)將隨產(chǎn)品能力演進(jìn)逐步放開。

5. 單擊確定，完成外部數(shù)據(jù)源的創(chuàng)建。

步驟二：創(chuàng)建外部Schema

外部Schema是項(xiàng)目內(nèi)的對(duì)象，可以使用SQL進(jìn)行操作。若您當(dāng)前賬號(hào)沒有打開過租戶級(jí)別Schema語法開關(guān)，需要在SQL前增加SET odps.namespace.schema=true;語句，以方便后續(xù)執(zhí)行Schema相關(guān)命令。

引用了Hologres類型外部數(shù)據(jù)源的外部Schema創(chuàng)建命令如下：

CREATE EXTERNAL SCHEMA IF NOT EXISTS <external_schema_name>
with  <holo_foreign_server_name>
ON '<holoschema_name>' ;

參數(shù)說明如下：

• external_schema_name：外部Schema名稱。

• holo_foreign_server_name：已創(chuàng)建的外部數(shù)據(jù)源名稱。

• holoschema_name：Hologres需要映射的Schema名稱。

步驟三：使用SQL訪問數(shù)據(jù)源系統(tǒng)

• 命令格式：列出Hologres Schema中的表名稱。

  • 方式1：

    SHOW tables IN <external_schema_name>; --external_schema_name為外部Schema名稱。

  • 方式2：

    USE SCHEMA <external_schema_name>; --external_schema_name為外部Schema名稱。
    SHOW tables;

• 使用示例：

  1. 查詢名稱為es_holo_rolearn_nonl的外部Schema下的所有表名：

     SET odps.namespace.schema=true;
     USE SCHEMA es_holo_rolearn_nonl;
     SHOW TABLES;

     返回結(jié)果示例：

     ALIYUN$xxx@test.aliyunid.com:mc_holo_external

  2. 查詢lakehouse47_3項(xiàng)目中es_holo_rolearn_nonlSchema的mc_holo_external表數(shù)據(jù)。

     SELECT * FROM lakehouse47_3.es_holo_rolearn_nonl.mc_holo_external;

     返回結(jié)果示例：

     +------------+------------+------------+------------+
     | col1       | col2       | col3       | col4       |
     +------------+------------+------------+------------+
     | 1          | hello      | test       | world      |
     +------------+------------+------------+------------+

  3. 從數(shù)據(jù)源將聯(lián)邦外表hellocsv的數(shù)據(jù)復(fù)制入數(shù)倉。

     -- 將聯(lián)邦外表的數(shù)據(jù)復(fù)制到數(shù)倉中
     CREATE TABLE mc_holo_external_copy AS SELECT * FROM lakehouse47_3.es_holo_rolearn_nonl.mc_holo_external;
     
     -- 查詢數(shù)倉中已復(fù)制的表數(shù)據(jù)
     SELECT * FROM mc_holo_external_copy;

     返回結(jié)果示例：

     +------------+------------+------------+------------+
     | col1       | col2       | col3       | col4       |
     +------------+------------+------------+------------+
     | 1          | hello      | test       | world      |
     +------------+------------+------------+------------+

基于當(dāng)前用戶身份向Hologres提交執(zhí)行命令

MaxCompute支持使用CALL命令，運(yùn)行EXEC_EXTERNAL_QUERY函數(shù)，向Hologres側(cè)提交可執(zhí)行的SQL命令。

• 命令語法

  CALL EXEC_EXTERNAL_QUERY (
    '<holo_ExecuteWithUserAuth_foreign_server_name>',
    r"###(
      <holo_query>)###");

  • holo_ExecuteWithUserAuth_foreign_server_name：即上文中以ExecuteWithUserAuth模式創(chuàng)建的Hologres外部數(shù)據(jù)源名稱。

  • r：表示即將執(zhí)行的命令。

  • holo_query：是在邊界符中填寫的具體Hologres SQL命令。

  說明

  函數(shù)參考C++的Raw String方式，用""和()加delimiter的邊界符方式，避免前后邊界符與holo_query中的特殊字符發(fā)生沖突。 delimiter字符串可以修改，注意"[delimiter]( )[delimiter]"一定要前后成對(duì)。邊界符不包括<>，建議的邊界符為"###(<holo_query>)###"。

• 使用示例

  • 示例1：在MaxCompute中提交一條向Hologres內(nèi)部表public.current_user_test進(jìn)行INSERT OVERWRITE操作的SQL，數(shù)據(jù)來源是Hologres查詢當(dāng)前用戶UID的Query：SELECT current_user;

    1. 在MaxCompute中執(zhí)行如下SQL。

       CALL EXEC_EXTERNAL_QUERY (
         'fs_holo_ExecuteWithUserAuth_nonl_y',
         r"###(
           CALL hg_insert_overwrite(
             'public.current_user_test',
             $$SELECT current_user$$
       );)###");

    2. 在Hologres中查詢內(nèi)部表public.current_user_test的數(shù)據(jù)。

       SELECT * FROM current_user_test;

       返回結(jié)果：返回當(dāng)前MaxCompute側(cè)與Hologres側(cè)相同用戶身份的UID，如1117xxxxxx519。

  • 示例2：在MaxCompute中提交一條向Hologres內(nèi)部表public.hologres_parent_insert1，分區(qū)子表是2020，進(jìn)行INSERT OVERWRITE操作的SQL，數(shù)據(jù)來源是Hologres內(nèi)部的一張基于MaxCompute表的外部表：SELECT * FROM mc_external_table WHERE a='2020';

    1. 在MaxCompute中執(zhí)行如下SQL。

       CALL EXEC_EXTERNAL_QUERY (
         'fs_holo_ExecuteWithUserAuth_nonl_y',
         r"###(
           CALL hg_insert_overwrite(
             'public.hologres_parent_insert1',
             '2020',
             $$SELECT * FROM mc_external_table WHERE a='2020'$$
       );)###");

    2. 在Hologres中查詢內(nèi)部表public.hologres_parent_insert1的數(shù)據(jù)。

       -- hologres查表，會(huì)多一條數(shù)據(jù)
       SELECT * FROM hologres_parent_insert1;

       返回結(jié)果：

       a			b	c														d
       2020	1	2024-06-19 10:27:46.201636	a