使用限制

• 支持的Hive版本：2.3.x ，3.1.x 版本。

• 支持的數(shù)據(jù)庫(kù)類型：MySQL。

創(chuàng)建元數(shù)據(jù)遷移任務(wù)

1. 登錄數(shù)據(jù)湖構(gòu)建控制臺(tái)。

2. 在左側(cè)菜單欄，單擊元數(shù)據(jù) > 元數(shù)據(jù)遷移。

3. 在遷移任務(wù)頁(yè)簽，單擊創(chuàng)建遷移任務(wù)。

4. 配置以下源庫(kù)信息，單擊下一步。

   參數(shù)	說明
   數(shù)據(jù)庫(kù)類型	僅支持MySQL類型。
   MySQL類型	根據(jù)Hive元數(shù)據(jù)類型選擇。 Aliyun RDS：阿里云官網(wǎng)提供的RDS，可參考云數(shù)據(jù)庫(kù)RDS MySQL版。需選擇RDS實(shí)例，填寫數(shù)據(jù)庫(kù)名稱、用戶名和密碼。 重要 RDS元數(shù)據(jù)僅支持阿里云VPC連接方式訪問。 其他MySQL：EMR集群內(nèi)置MySQL、自建MySQL或其他MySQL數(shù)據(jù)庫(kù)。需填寫JDBC URL、用戶名和密碼。 重要 建議JDBC URL填寫內(nèi)網(wǎng)IP，并通過阿里云VPC連接方式訪問；如果選擇公網(wǎng)連接，則填寫公網(wǎng)IP。
   網(wǎng)絡(luò)連接方式	當(dāng)前支持阿里云VPC、公網(wǎng)連接兩種方式。請(qǐng)根據(jù)上一步MySQL類型進(jìn)行配置。 阿里云VPC：選擇與EMR集群或RDS匹配的專有網(wǎng)絡(luò)VPC、交換機(jī)vSwitch和安全組，避免網(wǎng)絡(luò)出現(xiàn)問題。 公網(wǎng)連接：當(dāng)選擇公網(wǎng)連接時(shí)，在EMR控制臺(tái)上添加規(guī)則，使EMR集群3306端口（默認(rèn)）對(duì)DLF彈性公網(wǎng)IP開放。 說明 添加端口詳情，請(qǐng)參見添加安全組規(guī)則。 各地域DLF彈性公網(wǎng)IP，請(qǐng)參見DLF Region和彈性公網(wǎng)IP對(duì)照表。

5. 配置以下遷移任務(wù)信息，單擊下一步。

   參數(shù)	說明
   任務(wù)名稱	輸入元數(shù)據(jù)遷移任務(wù)的名稱。
   任務(wù)描述	可選，輸入您的一些任務(wù)備注信息。
   數(shù)據(jù)目錄	選擇目標(biāo)數(shù)據(jù)目錄。
   沖突解決策略	更新舊的元數(shù)據(jù)（建議選擇）：舊數(shù)據(jù)不會(huì)被刪除，在原有DLF元數(shù)據(jù)基礎(chǔ)上更新元數(shù)據(jù)。 重建元數(shù)據(jù)，即先刪除舊的DLF元數(shù)據(jù)后再新建。
   日志存放路徑	所有遷移任務(wù)日志將被存儲(chǔ)在指定的OSS位置。
   同步對(duì)象	包括Database、Function、Table、Partition四種對(duì)象，一般為全選。
   Location替換	可選，適用于遷移過程中需要對(duì)table、database的location進(jìn)行替換修改的情況。比如從傳統(tǒng)HDFS架構(gòu)遷移到OSS存算分離架構(gòu)，則需要將hdfs://路徑，替換為oss://路徑等情況。

6. 確認(rèn)任務(wù)配置信息無(wú)誤，單擊確定，創(chuàng)建任務(wù)完成。

管理元數(shù)據(jù)遷移任務(wù)

1. 單擊遷移任務(wù)頁(yè)簽，在目標(biāo)遷移任務(wù)操作列：

   • 單擊運(yùn)行：運(yùn)行當(dāng)前元數(shù)據(jù)遷移任務(wù)。

   • 單擊運(yùn)行記錄：可查看任務(wù)運(yùn)行的詳情信息。

   • 單擊編輯：可修改任務(wù)的源庫(kù)配置和遷移任務(wù)配置。

   • 單擊刪除：可刪除遷移任務(wù)。

   • 單擊停止：可停止當(dāng)前運(yùn)行中的任務(wù)。

2. 單擊執(zhí)行歷史頁(yè)簽，單擊目標(biāo)任務(wù)操作列的查看日志，可查看運(yùn)行中的日志信息。

   元數(shù)據(jù)遷移完成后，可以從日志中看到成功或失敗的結(jié)果信息。

驗(yàn)證元數(shù)據(jù)同步結(jié)果

1. 在左側(cè)菜單欄，單擊元數(shù)據(jù) > 元數(shù)據(jù)管理。

2. 單擊數(shù)據(jù)庫(kù)頁(yè)簽，選擇數(shù)據(jù)目錄，輸入同步的數(shù)據(jù)庫(kù)名稱，可以查詢到相應(yīng)的數(shù)據(jù)庫(kù)信息。

3. 單擊數(shù)據(jù)表頁(yè)簽，選擇數(shù)據(jù)目錄和庫(kù)名，輸入同步的表名，可以查詢到相應(yīng)的數(shù)據(jù)表信息。

最佳實(shí)踐

EMR元數(shù)據(jù)遷移DLF最佳實(shí)踐

相關(guān)資料

DLF Region和彈性公網(wǎng)IP對(duì)照表