在數據集成任務高并發執行且無法錯峰運行的情況下,需要專有的計算資源組來保障數據快速、穩定的傳輸時,建議您選擇使用DataWorks的獨享數據集成資源組。本文為您概要介紹獨享數據集成資源組。
功能介紹
獨享數據集成資源組的功能亮點如下:- 支持復雜網絡環境下的數據同步。例如,跨云環境(金融云、政務云等)、跨阿里云賬號、本地IDC數據同步。
- 具有豐富的產品能力:
- 支持離線數據同步。例如,增量與全量數據同步,單表及分庫分表數據同步。詳情請參見離線同步能力說明。
- 支持實時數據同步。例如,單表實時數據同步、整庫實時數據同步。詳情請參見實時同步能力說明。
- 提供一系列同步解決方案。例如,整庫離線數據同步,單表或整庫全增量實時數據同步。詳情請參見同步解決方案能力說明。
獨享數據集成資源組保障的是數據同步實例可以同時運行的總線程數量,而非可以同時運行的數據同步實例本身。如果您需要保障可以同時運行的數據同步實例的數量,請購買獨享調度資源,詳情請參見購買指引。
使用限制
- 獨享數據集成資源組的計費方式為包年包月,在資源組到期前不支持提前刪除、釋放資源組,資源組到期后會按照規定的時間停服、釋放。
- 獨享數據集成資源組不支持跨地域使用。例如,華東2(上海)地域的獨享數據集成資源組,只能給華東2(上海)地域的工作空間使用。
- 獨享數據集成資源組不支持訪問阿里云經典網絡。如果您的數據源處于經典網絡環境中,建議您將數據源遷移至專有網絡中。
性能指標
規格 | 離線同步最大并發線程數 |
---|---|
4c8g | 8 |
8c16g | 16 |
12c24g | 24 |
16c32g | 32 |
24c48g | 48 |
規格 | 單任務建議需要的資源規格 |
---|---|
MySQL來源實時同步數據庫數1 | 4c8g |
MySQL來源實時同步數據庫數[2-5] | 8c16g |
MySQL來源實時同步數據庫數6以上 | 12c24g |
PolarDB-X來源實時同步 | 12c24g |
kafka來源實時同步 | 4c8g |
其它類型單表級別實時任務 | 4c8g |
規格選擇及費用預估
您可以使用DataWorks獨享資源組計算器預估所需規格及相關費用。預估規格及相關費用時,可進入DataWorks的 ,查看資源運行的實例數、并發情況等信息作為參考。查看運維大屏,詳情請參見查看運維大屏。
計費與相關操作
(1)計費說明
獨享數據集成資源組的計費方式為包年包月,您可以根據自身需求選擇合適的規格進行購買,不同規格的計費詳情請參見:獨享數據集成資源組計費說明:包年包月。
(2)擴容與縮容
您可以根據業務需求選擇購買獨享資源組,指定購買資源組內機器規格、機器數量,購買完成后,您可以對資源組進行擴容或縮容操作,擴縮容操作步驟和注意事項請參見擴縮容操作。
(3)規格變更(升降配)
如果當前獨享資源組規格不符合實際需要,您可以針對該資源組進行規格變更。變更當前資源組的規格,資源組內所有機器的規格將統一變更,規格變更操步驟和注意事項請參見變更規格操作。
(4)續費、停服與釋放資源組
您可以在獨享資源組臨近到期時進行續費操作,或等待資源組到期后停服并自動釋放資源。詳情請參見到期說明及續費操作。
使用獨享數據集成資源組
- 購買獨享資源組。
- 綁定歸屬工作空間。
- 為獨享資源組綁定專有網絡。
- 添加白名單。
- 應用示例:獨享數據集成資源組。
網絡連通方案
獨享數據集成資源組與其他獨享資源組類似,本質上為一組阿里云ECS實例,在數據集成任務運行時,需保障資源組與數據源之間的網絡是連通的,且不會因為白名單等特殊安全訪問設置阻斷資源組與數據源之間的網絡連通性。
獨享數據集成資源組購買后,需綁定一個VPC網絡,后續您可以根據數據源所在的網絡環境情況來選擇網絡連通方案。詳情請參見:配置資源組與網絡連通。
- 網絡連通方案
數據源網絡環境 網絡連通方案 數據源處于公網環境中 數據源與獨享資源組綁定的VPC網絡直連即可連通。 數據源處于VPC網絡中,且與獨享資源組在同一地域 建議獨享資源組與數據源綁定同一VPC,綁定后系統自動為您添加一條路由至整個VPC的路由,您綁定VPC的任意一個交換機,獨享資源組與數據源的網絡都可連通。 數據源處于VPC網絡中,且與獨享資源組在不同地域 使用高速通道或VPN等將網絡連通數據源與獨享資源組綁定的VPC網絡,并添加一條路由指向目標數據庫IP,保障兩個網絡間網絡可達。 數據源處于IDC網絡中 使用高速通道或VPN等將網絡連通數據源與獨享資源組綁定的VPC網絡,并添加一條路由指向目標數據庫IP,保障兩個網絡間網絡可達。 數據源處于經典網絡中 獨享資源組處于阿里云VPC網絡,如果數據源處于經典網絡環境中,則數據源與獨享資源組間網絡無法連通,建議您將數據源遷移至VPC網絡中。 - 白名單配置
如果數據源設置有白名單限制訪問地址時,您需要將獨享資源組的訪問地址添加至數據源的訪問白名單中,避免訪問受限。詳情可參見使用獨享數據集成資源組執行任務需要在數據庫添加的IP白名單。
常見問題
DataWorks獨享資源組的常見問題,詳情請參見獨享資源組。