當前使用DataWorks的實時數據同步任務同步數據時,僅支持使用獨享數據集成資源組。本文為您介紹使用實時數據同步任務同步數據時,需要使用的資源及相關配置。

背景信息

  • 資源準備與規劃:

    使用實時數據同步任務同步數據時,當前僅支持使用獨享數據集成資源組。因此,在進行數據同步前,您需要購買獨享數據集成資源組,并將資源組添加至DataWorks中,便于后續同步任務使用。

    獨享數據集成資源組的詳細介紹可參見獨享數據集成資源組概述

  • 網絡聯通:

    獨享數據集成資源組本質上為一組資源實例,購買添加完成后的初始狀態下,與其他產品的網絡并不聯通,因此您需要為獨享數據集成資源組綁定網絡環境,為后續與數據源進行數據同步做好網絡聯通的準備。

購買獨享數據集成資源組

  1. 登錄DataWorks控制臺
  2. 選擇相應地域后,在左側導航欄,單擊資源組列表
  3. 獨享資源組頁面,單擊創建獨享資源組
  4. 創建獨享資源組對話框中,單擊訂單號后的購買,跳轉至購買頁面。
  5. 進入購買頁面后,請根據實際需要,選擇相應的地域獨享資源類型資源數量計費周期,單擊立即購買
    說明 此處的獨享資源類型選擇獨享數據集成資源
  6. 確認訂單信息無誤后,勾選《DataWorks獨享資源(包年包月)服務協議》,單擊去支付

新增獨享數據集成資源組

  1. 資源組列表 > 獨享資源組頁面,單擊創建獨享資源組
  2. 創建獨享資源組對話框中,配置各項參數。
    參數 描述
    資源組類型 資源的使用類型。獨享資源包括獨享調度資源獨享數據集成資源兩種類型,分別適用于通用任務調度和數據同步任務專用。
    資源組名稱 資源的名稱,租戶內唯一,請避免重復。
    說明 租戶即主賬號,一個租戶(主賬號)下可以有多個用戶(子賬號)。
    資源組備注 對資源進行簡單描述。
    訂單號 此處選擇購買的獨享資源訂單。如果沒有購買,請單擊購買,跳轉至售賣頁進行購買。
  3. 配置完成后,單擊確定
    說明 獨享資源在20分鐘內完成環境初始化,請耐心等待其狀態更新為運行中

    使用獨享數據集成資源組遷移數據的詳情請參見遷移ECS自建MySQL數據庫至MaxCompute

綁定專有網絡

獨享資源部署在DataWorks托管的專有網絡(VPC)中,與其他網絡環境不連通。使用獨享資源時,您需進行網絡配置,為獨享資源綁定一個可與數據源連通的VPC,通過此VPC實現與數據源網絡連通。綁定專有網絡的操作如下。
注意 4c8g類型的獨享數據集成資源組最多支持綁定2個專有網絡,其他規格的獨享數據集成資源組最多支持綁定3個專有網絡。
  1. 登錄DataWorks控制臺
  2. 資源組列表獨享資源組頁簽下,單擊相應資源組后的網絡設置,進入專有網絡綁定頁面。
    綁定前,請首先使用阿里云主賬號進行RAM授權(僅主賬號有權限),讓DataWorks擁有訪問您的云資源的權限。您可以通過云資源訪問授權頁面進行授權。也可以在主賬號首次次進入管控后彈出的界面彈框中進行授權。無權限授權
  3. 綁定專有網絡VPC。
    1. 單擊專有網絡綁定頁面左上方的新增綁定,在新增專有網絡綁定對話框中,配置各項參數,不同網絡環境下各參數的配置說明如下。
      參數說明如下:
      參數 配置說明(數據源與獨享資源同賬號同地域) 配置說明(數據源與獨享資源在不同賬號或不同地域)
      專有網絡 如果您的數據源與獨享資源組在同一個阿里云賬號下,建議配置為數據源所在的VPC。

      如果不在同一個阿里云賬號下,則與不在同一地域場景一致。

      如果您的數據源與獨享資源不在同一地域,例如,數據源不在阿里云VPC網絡環境中,您可單擊創建專有網絡,為獨享資源組創建一個VPC。創建完成后這里配置為新建的VPC或選擇已經與目標數據庫網絡打通的VPC。
      說明 在創建專有網絡的場景下,您還需通過VPN或高速通道等方式,將獨享資源組綁定的VPC與數據源所在VPC網絡打通,并手動添加路由指向目標數據庫IP,保障兩個網絡間可達。
      可用區 選擇數據庫所在可用區。 選擇已經與目標數據庫網絡聯通的可用區。
      交換機 專有網絡配置為數據源所在VPC時,建議選擇與數據源綁定的交換機。
      說明 綁定數據源所在VPC后,綁定VPC下任意一個交換機,會自動添加路由至整個VPC網段,實現獨享數據集成資源組在該VPC下網絡可達。
      選擇已經與目標數據庫網絡聯通的交換機,若沒有可用交換機,可單擊創建交換機為獨享資源組創建交換機。創建完成后這里配置為創建的交換機。
      安全組 安全組指定了獨享資源實例需要允許或禁止哪些公網或內網的訪問。您可根據業務需求選擇已有的安全組,或單擊創建安全組為獨享資源實例創建安全組。創建安全組的詳細參數配置可參見添加安全組規則
    2. 單擊確定,完成綁定VPC操作。
    說明 如果數據源和獨享資源組不在同一個地域,或不在同一個阿里云賬號下,則您需要綁定專有網絡后,再添加路由規則指向目標數據庫IP地址。
  4. 可選:配置Host。
    如果您的數據源無法通過IP直接訪問,例如,數據源通過Host的域名托管,通過Host域名直接被外部訪問時,您需要參考以下步驟配置Host,否則在添加數據源時,使用數據源的Host域名進行連通性測試時會失敗。
    1. 單擊Host配置,在Host配置頁面左上方單擊新增,在新增域名Host配置對話框中配置各項參數。參數說明如下。
      參數 配置說明
      IP地址 配置為數據源的實際IP地址。
      Host域名 配置為數據源對外提供訪問服務的Host域名。如果有多個Host域名時,可換行依次添加。
      說明 此處的域名需包含數字、字母、連字符(-)、點(.),且必須以字母開頭,以字母或者數字結尾。
    2. 如果有多個IP地址需要添加,可繼續單擊新增繼續添加。
      說明
      • 新增的Host配置中,IP、域名不能與之前配置的Host中的IP或域名重復。
      • 一個Host配置中,IP與域名為1對多的關系,即IP可以對應多個Host域名,但是同一個Host域名只能指向一個IP。
  5. 可選:配置DNS。
    如果您的數據源無法通過IP直接訪問,例如,數據源通過負載均衡域名直接被外部訪問,通過內部域名解析服務器將域名解析至實際數據源IP地址時,您需要參考以下步驟配置DNS,否則在添加數據源時,使用數據源的Host域名進行連通性測試時會失敗。
    說明 如果同一個域名同時配置了Host和DNS,系統會優先根據Host的訪問規則訪問數據源。
    1. 單擊DNS配置,在DNS配置頁面左下角單擊添加,配置完成DNS各項參數后單擊保存。參數說明如下。
      參數 配置說明
      Domain 非必配項。如果數據源有統一的一級域名,可在此處配置為數據源對外提供訪問的域名的一級域名。

      例如,數據源1對外的訪問域名為domain1.example.com,數據源2對外的訪問域名為domain2.example.com,此處建議配置為example.com。

      說明 此處的域名需包含數字、字母、連字符(-)、點(.),且必須以字母開頭,以字母或者數字結尾。
      NameServer 配置為數據源提供域名解析的解析服務的IP地址。如果有多個域名解析服務器時,可換行依次添加。
    2. 如果您需要修改之前配置的DNS,您可單擊左下角的修改

后續步驟

資源規劃配置完成后,您可繼續配置數據源,將輸入數據源與輸出數據源的網絡、賬號權限等準備工作完成。如果您使用的數據源不涉及配置操作,則可以直接進行下一步的添加數據源,準備好需要使用的數據源,以便創建執行后續的實時數據同步任務。