您可以使用DataWorks獨享數據集成資源組功能,為數據集成同步任務分配獨立的計算資源,從而提高任務的執行效率和穩定性。購買獨享資源組后,在實際使用前您還需進行網絡綁定、白名單等配置操作。本文為您介紹從購買至使用獨享數據集成資源組的全流程與步驟詳情。
前提條件
您需要先了解獨享數據集成資源組的規格性能(不同規格能同時跑多少任務)、計費類型(不同規格怎么收費)等細節,提前根據業務場景規劃需購買的資源組規格和購買時長,詳情請參見:獨享數據集成資源組計費說明:包年包月。
您可以使用DataWorks獨享資源組計算器預估所需規格及費用。預估規格及費用時,可進入DataWorks的 ,查看資源運行的實例數、并發情況等信息作為參考。查看運維大屏,詳情請參見查看運維大屏。
注意事項
獨享數據集成資源組支持復雜網絡環境下的數據同步。例如,跨云環境(金融云、政務云等)、跨阿里云賬號、本地IDC數據同步。由于執行數據同步任務流程的要求,需要保證資源組可以訪問數據源(來源數據源和目標數據源)所在的網絡,且不會因白名單限制等原因不能訪問數據源。因此,您需要在保證網絡連通的前提下,再使用數據集成,如果網絡不通,會導致數據同步任務無法執行。獨享數據集成資源組與數據源間的網絡連通方案和白名單注意事項,詳情請參見:獨享數據集成資源組。
如果您暫無連通數據庫實例的需求,只是為了緩解因公共集成資源組的資源緊張,導致任務延遲的問題,則無需關注本文涉及的網絡相關問題。您可以購買任意可用區的獨享集成資源組,且無需進行網絡相關配置操作。
操作流程
從購買至使用獨享數據集成資源組,您需進行的主要操作流程如下。
步驟 | 描述 | 參考鏈接 |
1 | 獨享資源組為包年包月服務,您需要單獨購買。 | |
2 | 獨享資源組購買完成后默認不歸屬于任何工作空間,您可規劃該資源組歸屬的工作空間,并將其與工作空間進行綁定。 | |
3 | 若獨享資源組需要訪問VPC網絡環境,您需要為其綁定與目標VPC網絡環境數據源或地址網絡連通的VPC。 | |
4 | 若目標環境存在白名單控制,您需要在目標環境添加獨享資源組的相關IP,保障獨享資源組可訪問目標環境。 | |
5 | 為保障任務配置無誤,建議您先前往數據源測試數據的連通性。 | |
6 | 獨享資源組綁定工作空間后,任務不會自動切換使用獨享資源組執行,您需要參考該步驟手動切換任務執行時使用的資源組。 | |
7 | 查看資源組的使用與排隊情況,與資源組的使用率及等待資源的實例數監控。 |
使用限制
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess權限的用戶可以進行購買資源組的操作。
僅空間管理員可以進行資源組歸屬空間綁定與修改的操作。
資源組界面權限點詳情請參見資源組權限管控策略。
創建自定義策略內容并授權操作參考詳情請參見創建自定義策略(可選)。
4c8g類型的獨享數據集成資源組最多支持綁定2個專有網絡,其他規格的獨享數據集成資源組最多支持綁定3個專有網絡。
購買資源組
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess權限的用戶可以進行購買資源組的操作。
登錄DataWorks控制臺。
單擊左側導航欄資源組列表,在獨享資源組頁簽下單擊創建集成資源組,在購買頁面根據業務需要配置相應的參數,配置要點如下。
參數
描述
地域和可用區
選擇后續需要使用此獨享資源組的地域。
說明獨享數據集成資源組不支持跨地域使用。例如,華東2(上海)地域的獨享資源,只能給華東2(上海)地域的工作空間使用。
獨享資源類型
選擇為獨享數據集成資源。
資源名稱
設置資源組的名稱,此名稱需在租戶內唯一,請避免重復,否則會導致在后續進行確定操作時報錯。
說明租戶即主賬號,一個租戶(主賬號)下可以有多個用戶(子賬號)。
資源備注
對資源組進行簡單描述。
計費周期
獨享資源組為包年包月服務,為保障服務不中斷,建議您勾選到期自動續費,資源組創建完后,您也可以前往阿里云續費管理頁面,開啟或取消自動續費服務。詳情請參見通用參考:停止使用DataWorks商品。
其他配置項,可根據業務規劃自行配置即可。
單擊立即購買,根據界面提示進行付款等操作后即可完成購買獨享數據集成資源組。
購買后,DataWorks即開始初始化此獨享資源組,當資源組狀態為運行中后,獨享資源組即已添加至控制臺。
說明獨享資源組的初始化需要約20分鐘,請您耐心等待其狀態更新為運行中。
獨享資源組添加至控制臺后,您需要為資源組綁定工作空間,才可以在任務的配置中選擇使用此獨享資源組。
綁定歸屬工作空間
僅空間管理員可以進行資源組歸屬空間綁定與修改的操作。
獨享數據集成資源組需要綁定歸屬的工作空間,才可以在對應的工作空間下選擇使用該獨享資源組。一個獨享數據集成資源組可以分配給多個工作空間使用,但不可跨地域使用,例如,上海地域的獨享數據集成資源組僅可綁定上海地域的工作空間使用,不可綁定其他地域的工作空間。綁定歸屬工作空間的操作如下。
登錄DataWorks控制臺。
在資源組列表的獨享資源組頁簽下,單擊相應資源組后的修改歸屬工作空間。
在修改歸屬工作空間單擊對應工作空間后的綁定,即可將獨享資源組綁定至此工作空間。
綁定專有網絡
獨享資源部署在DataWorks托管的專有網絡(VPC)中,與其他網絡環境不連通。使用獨享資源時,您需進行網絡配置,為獨享資源綁定一個可與數據源連通的VPC,通過此VPC實現與數據源網絡連通。綁定專有網絡的操作如下。
4c8g類型的獨享數據集成資源組最多支持綁定2個專有網絡,其他規格的獨享數據集成資源組最多支持綁定3個專有網絡。
登錄DataWorks控制臺。
在資源組列表的獨享資源組頁簽下,單擊相應資源組后的網絡設置,進入專有網絡綁定頁面。
綁定前,請首先使用阿里云主賬號進行RAM授權(僅主賬號有權限),讓DataWorks擁有訪問您的云資源的權限。您可以通過云資源訪問授權頁面進行授權。也可以在主賬號首次進入管控后彈出的界面彈框中進行授權。
綁定專有網絡VPC。
單擊專有網絡綁定頁面左上方的新增綁定,在新增專有網絡綁定對話框中,配置各項參數,不同網絡環境下各參數的配置說明如下。
說明阿里云實例、ECS自建等場景均可根據DataWorks工作空間與數據源是否同阿里云主賬號來進行網絡連通方案選擇與配置。
參數
配置說明(數據源與獨享資源同賬號同地域)
配置說明(數據源與獨享資源在不同賬號或不同地域)
專有網絡
如果您的數據源與獨享資源組在同一個阿里云賬號下,建議配置為數據源所在的VPC。
如果不在同一個阿里云賬號下,則與不在同一地域場景一致。
如果您的數據源與獨享資源不在同一地域或不在同一個阿里云主賬號下,您需要選擇該賬號下已與目標數據源所在環境網絡打通的VPC。例如,數據源不在阿里云VPC網絡環境中,您可單擊創建專有網絡,為獨享資源組創建一個VPC。創建完成后這里配置為新建的VPC或選擇已經與目標數據庫網絡打通的VPC。
可用區
選擇數據庫所在可用區。
選擇已經與目標數據庫網絡聯通的可用區。
交換機
專有網絡配置為數據源所在VPC時,建議選擇與數據源綁定的交換機。
說明綁定數據源所在VPC后,綁定VPC下任意一個交換機,會自動添加路由至整個VPC網段,實現獨享數據集成資源組在該VPC下網絡可達。
選擇已經與目標數據庫網絡聯通的交換機,若沒有可用交換機,可單擊創建交換機為獨享資源組創建交換機。創建完成后這里配置為創建的交換機。
安全組
安全組指定了獨享資源實例需要允許或禁止哪些公網或內網的訪問。您可根據業務需求選擇已有的安全組,或單擊創建安全組為獨享資源實例創建安全組。創建安全組的詳細參數配置可參見添加安全組規則。
單擊確定,完成綁定VPC操作。
說明如果數據源和獨享資源組不在同一個地域,或不在同一個阿里云賬號下,則您需要綁定專有網絡后,再添加路由規則指向目標數據庫IP地址。
可選:配置Host。
如果您的數據源無法通過IP直接訪問,例如,數據源通過Host的域名托管,通過Host域名直接被外部訪問時,您需要參考以下步驟配置Host,否則在添加數據源時,使用數據源的Host域名進行連通性測試時會失敗。
單擊Host配置,在Host配置頁面左上方單擊新增,在新增域名Host配置對話框中配置各項參數。參數說明如下。
參數
配置說明
IP地址
配置為數據源的實際IP地址。
Host域名
配置為數據源對外提供訪問服務的Host域名。如果有多個Host域名時,可換行依次添加。
如果有多個IP地址需要添加,可繼續單擊新增繼續添加。
說明新增的Host配置中,IP、域名不能與之前配置的Host中的IP或域名重復。
一個Host配置中,IP與域名為1對多的關系,即IP可以對應多個Host域名,但是同一個Host域名只能指向一個IP。
添加白名單
獨享數據集成資源組和數據源同可用區時,如果同專有網絡、交換機的情況下仍未連通網絡,則可能是因為數據源有白名單限制。請添加以下內容至數據源的白名單列表中。
使用內網連通數據源與獨享資源組:添加獨享資源組綁定專有網絡時的交換機網段至數據源白名單中。
您需要為獨享資源組綁定專有網絡后,進入DataWorks的
頁面,單擊相應資源組后的網絡設置,進入專有網絡綁定頁面查看交換機網段。使用公網連通數據源與獨享資源組:添加獨享資源組的EIP地址至數據源白名單中。
測試網絡聯通
以上網絡配置完成之后,您需要通過以下方式測試資源組與數據源之間的網絡連通性。
進入數據源頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入管理中心。
進入工作空間管理中心頁面后,單擊左側導航欄的
,進入數據源頁面。
在左側導航欄單擊數據源 ,進入數據源管理頁面。
單擊相應數據源操作列的編輯。
在數據集成頁簽下,單擊相應資源組名稱后的測試連通性,連通狀態為可連通時,表示連通成功。
說明如果網絡不通,您可以單擊自助排查解決,使用診斷工具進行診斷網絡聯通異常。若您需要進一步了解各網絡環境下數據源與獨享資源組的網絡聯通,詳情請參見:網絡連通方案。
單擊完成。
查看資源組使用率與資源組運維監控
您可在DataWorks管理控制臺查看資源組的使用與排隊情況,并支持通過運維中心的智能監控功能來對資源組的使用率及等待資源的實例數進行監控。查看資源組使用率,詳情請參見查看獨享資源組的使用率,資源組監控,詳情請參見創建自定義規則。
附錄:切換數據集成資源組
獨享數據集成資源組創建并配置完成后,您可以通過如下方式切換任務使用的資源組。
操作環境 | 支持的切換操作 | 界面入口 |
切換生產環境資源組 | 批量切換 | 進入 界面設置。勾選需要修改資源組的任務,單擊底部菜單欄的 ,即可批量修改。 |
切換開發環境資源組 |
| 進入DataStudio頁面設置。
說明 若未找到修改數據集成資源組入口,可先過濾節點類型為離線同步。 |