準(zhǔn)備工作

1. 已創(chuàng)建元數(shù)據(jù)為自建RDS的EMR集群。如未創(chuàng)建，請(qǐng)參見配置自建RDS。本示例中元數(shù)據(jù)為自建RDS。

2. 已在EMR集群中創(chuàng)建Hive數(shù)據(jù)庫。如未創(chuàng)建，請(qǐng)參見Hive基礎(chǔ)操作。本示例數(shù)據(jù)庫為testdb2。

3. 在元數(shù)據(jù)遷移之前，我們需要檢查數(shù)據(jù)庫遠(yuǎn)程訪問權(quán)限。

   • 登錄RDS或MySQL數(shù)據(jù)庫，執(zhí)行如下語句進(jìn)行遠(yuǎn)程訪問授權(quán)（以root賬號(hào)，testdb庫為例），其中xxxx為root用戶的密碼。

     CREATE USER 'root'@'%' IDENTIFIED BY 'xxxx';
     GRANT ALL PRIVILEGES ON testdb.* TO 'root'@'%' WITH GRANT OPTION;
     FLUSH PRIVILEGES;

   • 如果是RDS數(shù)據(jù)庫，也可以在RDS控制臺(tái)上查看和修改訪問權(quán)限，詳情請(qǐng)參見修改賬號(hào)權(quán)限。

     

創(chuàng)建遷移任務(wù)

1. 登錄數(shù)據(jù)湖構(gòu)建控制臺(tái)。

2. 切換到EMR集群所屬的地域。

3. 在左側(cè)菜單欄，單擊元數(shù)據(jù) > 元數(shù)據(jù)遷移。

4. 在遷移任務(wù)頁簽，單擊創(chuàng)建遷移任務(wù)。

5. 配置源庫信息，如下圖。配置參數(shù)詳情，請(qǐng)參見創(chuàng)建元數(shù)據(jù)遷移任務(wù)。

   

6. 配置遷移任務(wù)，如下圖。本示例任務(wù)名稱為test_rds。

   

7. 確認(rèn)任務(wù)配置信息無誤，單擊確定，創(chuàng)建任務(wù)完成。

運(yùn)行遷移任務(wù)

在遷移任務(wù)列表中，可以查看剛剛創(chuàng)建的遷移任務(wù)test_rds，單擊操作列的運(yùn)行，執(zhí)行任務(wù)。執(zhí)行成功后如下圖。

查看運(yùn)行記錄和日志

1. 單擊操作列的運(yùn)行記錄，可查看任務(wù)的執(zhí)行歷史。如下圖：

   

2. 單擊操作列的查看日志，可查看任務(wù)運(yùn)行的日志詳情。

確認(rèn)元數(shù)據(jù)遷移到DLF

1. 在左側(cè)菜單欄，單擊元數(shù)據(jù) > 元數(shù)據(jù)管理。

2. 單擊數(shù)據(jù)庫頁簽，選擇數(shù)據(jù)目錄，查詢目標(biāo)數(shù)據(jù)庫名稱。如下圖：

   

Hive

在hive-site.xml中修改如下配置，開啟自動(dòng)配置更新，并保存，重啟Hive服務(wù)。詳情請(qǐng)參見修改配置項(xiàng)。

<!-- 配置dlf 元數(shù)據(jù)服務(wù)地址，region替換為集群所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
<!-- 注意：復(fù)制粘貼后檢查下，不要有空格?。?！ -->
hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY

<!-- Hive3需要配置 -->
hive.notification.event.poll.interval=0s
<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Presto

在hive.properties中添加如下配置，開啟自動(dòng)配置更新，并保存，重啟Presto服務(wù)。詳情請(qǐng)參見添加配置項(xiàng)。

hive.metastore=dlf
<!-- 配置dlf 元數(shù)據(jù)服務(wù)地址，region替換為集群所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY
 
<!-- 請(qǐng)參考hive組件hive-site.xml中配置的hive.metastore.warehouse.dir值 -->
dlf.catalog.default-warehouse-dir= <!-- 與hive.metastore.warehouse.dir值相同 -->

<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Spark

在Spark配置頁面，單擊部署客戶端配置，然后重啟Spark服務(wù)。

Impala

在Impala配置頁面，單擊部署客戶端配置，然后重啟Impala服務(wù)。

驗(yàn)證是否切換成功

以Hive引擎為例，其他引擎也可進(jìn)行驗(yàn)證。

1. 使用SSH方式登錄集群，詳情請(qǐng)參見登錄集群。

2. 執(zhí)行以下命令，進(jìn)入Hive命令行。

   hive

3. 執(zhí)行以下命令，創(chuàng)建數(shù)據(jù)庫。本文示例中的數(shù)據(jù)庫以dlf_test_db為例介紹。

   CREATE database if NOT EXISTS dlf_test_db;

   當(dāng)返回信息包含OK時(shí)，表示創(chuàng)建數(shù)據(jù)庫dlf_test_db成功。

4. 登錄數(shù)據(jù)湖構(gòu)建控制臺(tái)。

5. 在左側(cè)菜單欄，選擇元數(shù)據(jù) > 元數(shù)據(jù)管理。

6. 單擊數(shù)據(jù)庫頁簽，選擇相應(yīng)的數(shù)據(jù)目錄，在數(shù)據(jù)庫名稱中查詢dlf_test_db是否存在。如下圖：

   

   若存在，表示切換DLF元數(shù)據(jù)成功。否則，切換失敗。