創(chuàng)建表數(shù)據(jù)同步節(jié)點(diǎn)

1. 進(jìn)入數(shù)據(jù)開(kāi)發(fā)頁(yè)面。

   登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)開(kāi)發(fā)與治理 > 數(shù)據(jù)開(kāi)發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開(kāi)發(fā)。

2. 創(chuàng)建業(yè)務(wù)流程。

   如果您已有業(yè)務(wù)流程，則可以忽略該步驟。

   1. 鼠標(biāo)懸停至圖標(biāo)，選擇新建業(yè)務(wù)流程。

   2. 在新建業(yè)務(wù)流程對(duì)話框，輸入業(yè)務(wù)名稱。

   3. 單擊新建。

3. 創(chuàng)建一鍵MaxCompute數(shù)據(jù)同步節(jié)點(diǎn)。

   1. 鼠標(biāo)懸停至圖標(biāo)，選擇新建節(jié)點(diǎn) > Hologres > 一鍵MaxCompute數(shù)據(jù)同步。

      您也可以找到相應(yīng)的業(yè)務(wù)流程，右鍵單擊業(yè)務(wù)流程，選擇新建節(jié)點(diǎn) > Hologres > 一鍵MaxCompute數(shù)據(jù)同步。

   2. 在新建節(jié)點(diǎn)對(duì)話框中，輸入名稱，并選擇引擎實(shí)例、節(jié)點(diǎn)類型及路徑。

   3. 單擊確認(rèn)，進(jìn)入節(jié)點(diǎn)編輯頁(yè)面。

4. 配置節(jié)點(diǎn)信息。

   在節(jié)點(diǎn)編輯頁(yè)面，配置同步MaxCompute數(shù)據(jù)所使用的MaxCompute源表、存放數(shù)據(jù)的目標(biāo)表、同步策略及SQL代碼信息。

   

   1. 配置源表信息。

      用于配置需要同步的MaxCompute數(shù)據(jù)來(lái)源于哪個(gè)表。此處是通過(guò)配置Hologres外部表來(lái)映射MaxCompute源表數(shù)據(jù)。關(guān)鍵參數(shù)說(shuō)明如下。

      參數(shù)	描述
      數(shù)據(jù)源連接	Hologres外部表所在的Hologres實(shí)例。
      數(shù)據(jù)庫(kù)	Hologres外部表存放于Hologres實(shí)例下哪個(gè)數(shù)據(jù)庫(kù)。

   2. MaxCompute源表選擇。

      參數(shù)

      描述

      外部表來(lái)源

      配置Hologres外部表的來(lái)源方式。后續(xù)使用該表作為同步MaxCompute數(shù)據(jù)至Hologres內(nèi)部表的鏈接，映射MaxCompute源表數(shù)據(jù)。 已有外部表：若需要同步數(shù)據(jù)至內(nèi)部表的外部表已存在，可選擇此方式。該方式需要選擇已創(chuàng)建的外部表所在的Schema及名稱。 新建外部表：一鍵MaxCompute數(shù)據(jù)同步需要使用Hologres外部表加速查詢MaxCompute表數(shù)據(jù)。若尚未創(chuàng)建Hologres外部表，您需要選擇此方式。 該方式需要配置新建外部表使用的服務(wù)器，以及MaxCompute項(xiàng)目名稱和表名稱。 說(shuō)明 您可以直接調(diào)用Hologres底層已創(chuàng)建的odps_server外部表服務(wù)器。詳細(xì)原理請(qǐng)參見(jiàn)postgres_fdw。

   3. Hologres 目標(biāo)表設(shè)置。

      用于新建存放MaxCompute數(shù)據(jù)的Hologres內(nèi)部表。

      參數(shù)	描述
      schema	Hologres內(nèi)部表所屬的Schema。
      表名	Hologres內(nèi)部表名稱。當(dāng)創(chuàng)建內(nèi)部表時(shí)，若表名稱已存在，不同類型的表處理策略如下： 非分區(qū)表：刪除已存在的內(nèi)部表及其數(shù)據(jù)，Hologres會(huì)創(chuàng)建新表。 分區(qū)表：不會(huì)刪除已有表及其數(shù)據(jù)，Hologres根據(jù)分區(qū)值新建分區(qū)子表并導(dǎo)入數(shù)據(jù)。 說(shuō)明 若新建的表與原已有表的結(jié)構(gòu)不同，則會(huì)報(bào)錯(cuò)。
      表描述	Hologres內(nèi)部表的描述信息。

   4. 配置同步策略。

      用于配置同步MaxCompute表數(shù)據(jù)的策略。

      頁(yè)簽	描述
      同步字段	選擇需要同步的MaxCompute表字段。
      分區(qū)配置	選擇需要同步的MaxCompute表分區(qū)。 說(shuō)明 Hologres當(dāng)前僅支持同步一級(jí)分區(qū)。MaxCompute表的多級(jí)分區(qū)，將被設(shè)置為Hologres中的一級(jí)分區(qū)，多余的分區(qū)自動(dòng)映射為Hologres的普通字段。
      索引配置	為存放MaxCompute數(shù)據(jù)的Hologres內(nèi)部表構(gòu)建索引，后續(xù)您可根據(jù)索引快速查詢數(shù)據(jù)。創(chuàng)建索引，詳情請(qǐng)參見(jiàn)CREATE TABLE。

   5. 生成SQL Script。

      DataWorks將根據(jù)同步配置，自動(dòng)解析出運(yùn)行當(dāng)前同步任務(wù)的SQL語(yǔ)句。您可使用該語(yǔ)句進(jìn)入Hologres的代碼編輯頁(yè)面，以SQL方式執(zhí)行同步任務(wù)。

      說(shuō)明

      • 生成的SQL Script無(wú)法編輯。當(dāng)同步任務(wù)配置更新時(shí)，刷新SQL Script，即可生成新的SQL語(yǔ)句。

      • 使用SQL方式執(zhí)行同步任務(wù)，詳情請(qǐng)參見(jiàn)使用SQL從MaxCompute導(dǎo)入。

5. 任務(wù)調(diào)度配置。

   如果您需要周期性執(zhí)行創(chuàng)建的節(jié)點(diǎn)任務(wù)，可以單擊節(jié)點(diǎn)編輯頁(yè)面右側(cè)的調(diào)度配置，根據(jù)業(yè)務(wù)需求配置該節(jié)點(diǎn)任務(wù)的調(diào)度信息：

   • 配置任務(wù)調(diào)度的基本信息，詳情請(qǐng)參見(jiàn)配置基礎(chǔ)屬性。

   • 配置時(shí)間調(diào)度周期、重跑屬性和上下游依賴關(guān)系，詳情請(qǐng)參見(jiàn)時(shí)間屬性配置說(shuō)明及配置同周期調(diào)度依賴。

     說(shuō)明

     您需要設(shè)置節(jié)點(diǎn)的重跑屬性和依賴的上游節(jié)點(diǎn)，才可以提交節(jié)點(diǎn)。

   • 配置資源屬性，詳情請(qǐng)參見(jiàn)配置資源屬性。訪問(wèn)公網(wǎng)或VPC網(wǎng)絡(luò)的MySQL數(shù)據(jù)源，請(qǐng)選擇與MySQL數(shù)據(jù)源網(wǎng)絡(luò)連通的調(diào)度資源組，作為周期調(diào)度任務(wù)使用的資源組。詳情請(qǐng)參見(jiàn)網(wǎng)絡(luò)連通方案。

6. 保存并運(yùn)行節(jié)點(diǎn)。

   1. 在節(jié)點(diǎn)編輯頁(yè)面的頂部菜單欄，單擊圖標(biāo)，保存節(jié)點(diǎn)配置。

   2. 在節(jié)點(diǎn)編輯頁(yè)面的頂部菜單欄，單擊圖標(biāo)，同步MaxCompute數(shù)據(jù)。

   如果您使用的是標(biāo)準(zhǔn)模式的工作空間，任務(wù)提交成功后，請(qǐng)單擊頂部菜單欄左側(cè)的任務(wù)發(fā)布，將任務(wù)發(fā)布至生產(chǎn)環(huán)境進(jìn)行發(fā)布。具體操作請(qǐng)參見(jiàn)發(fā)布任務(wù)。

7. 查看周期調(diào)度任務(wù)。

   1. 單擊編輯界面右上角的運(yùn)維，進(jìn)入生產(chǎn)環(huán)境運(yùn)維中心。

   2. 查看運(yùn)行的周期調(diào)度任務(wù)，詳情請(qǐng)參見(jiàn)查看并管理周期任務(wù)。

   如果您需要查看更多周期調(diào)度任務(wù)詳情，可單擊頂部菜單欄的運(yùn)維中心，詳情請(qǐng)參見(jiàn)運(yùn)維中心概述。