為了保證DataWorks中數據同步、數據調度等任務的順利操作,還需要確保資源組綁定的VPC網絡與數據源(目標網絡環境下的數據庫、數據服務或其他數據)之間的連通性,本文為您提供了不同網絡環境下的網絡連通解決方案。
背景信息
在DataWorks數據同步、數據開發、數據調度等任務中,如果涉及訪問的數據源不在當前DataWorks資源組綁定的VPC中(例如數據源在其他VPC或IDC中),需要根據不同網絡情況,請選擇合適的網絡連通方案,使DataWorks資源組綁定的VPC與數據源所在網絡連通。
例如,在數據同步流程中,需要資源組綁定的VPC網絡與數據來源端、數據去向端進行網絡連通。
前提條件
已購買合適規格的資源組,購買詳情請參見:新增和使用Serverless資源組。
資源組的更多介紹,請參見DataWorks資源組概述。
本文提供的網絡連通方案僅適用于Serverless資源組、舊版資源組中的獨享數據集成資源組、獨享調度資源組和獨享數據服務資源組。
為了加強DataWorks功能間的資源管理和統一用戶體驗,DataWorks推出Serverless資源組,涵蓋了舊版資源組(原獨享調度資源組、獨享數據集成資源組、獨享數據服務資源組)的核心功能,通過一個資源組即可完成數據同步、任務調度運行、調用及管理API服務等操作。推薦購買Serverless資源組,更多信息,請參見新增和使用Serverless資源組。
注意事項
資源組與數據源可連通是后續任務運行成功的必要條件之一。
暫不支持資源組與經典網絡環境進行數據交互,建議您將經典網絡環境下的數據源或業務遷移至專有網絡VPC環境。
無法保障公網環境下各任務的速度和穩定性,建議通過內網或者云企業網同步。
Serverless資源組可通過綁定專有網絡的方式在內網訪問復雜網絡環境下的數據源或地址。但Serverless資源組默認不具備公網訪問能力,如果需要通過公網訪問數據源或網絡,請為Serverless資源組綁定的VPC配置公網NAT網關和EIP。具體操作,請參見場景五:數據源在公網。
配置網絡連通
步驟一:網絡綁定
網絡連通方案選擇取決于數據源與DataWorks工作空間資源組之間的環境關系,包括以下場景:
網絡選擇 | 數據源所在環境 | 數據源與DataWorks工作空間關系 | 網絡連通通用邏輯 | 配置示例 |
VPC(內網) | 在阿里云
| 同阿里云主賬號、同地域 | 資源組綁定數據源所在VPC即可。 | |
| ||||
不在阿里云
| ||||
公網 | 在公網 |
|
步驟二:添加白名單
無論上述哪種場景,如果數據源存在白名單訪問控制,您都需要將資源組綁定的交換機網段、舊版資源組本身EIP或Serverless資源組綁定VPC配置的EIP添加至其白名單中。
通過內網訪問,請將資源組綁定的交換機網段IP添加到數據源的白名單列表。
在DataWorks控制臺的資源組頁面獨享資源組頁簽下,單擊目標資源組后的網絡設置,查看交換機網段并將其添加至數據源的白名單列表中。
通過公網訪問:
Serverless資源組:請將Serverless資源組綁定VPC配置的EIP添加至數據源的白名單列表中。
在公網NAT網關控制臺,找到配置好的SNAT條目,獲取對應交換機綁定的公網IP地址。
舊版資源組:請添加資源組本身的EIP至數據源的白名單列表中。
在DataWorks控制臺的資源組頁面的獨享資源組頁簽下,單擊目標資源組后操作欄中的詳情,進入資源組詳情頁面,獲取基礎信息對話框中的EIP地址。
如果您之后對資源組進行了擴容操作,請檢查此處待添加的EIP是否有變動,為了避免任務執行出錯,請在擴容后第一時間更新數據源添加的白名單。
步驟三:測試連通性
如果資源組需要訪問的數據源為DataWorks支持的數據源,您可以通過添加DataWorks數據源的方式來測試是否可以連通。
進入數據集成頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據集成。
在左側導航欄單擊數據源,然后在數據源列表單擊新增數據源,根據實際情況選擇數據源并配置相關連接參數。
在底部資源組列表中,選擇購買的資源組,單擊測試連通性。
說明如果測試連通性結果為無法通過,可使用連通性診斷工具自助解決。
如果資源組需要訪問的數據源為其他網絡中部署的服務等,請根據實際情況,在業務代碼中測試與數據源的連通性。
說明如果您的業務部署在阿里云ECS中,還需要配置安全組,允許資源組的交換機網段或VPC綁定的公網IP訪問。
各場景網絡連通配置示例
下文以使用阿里云RDS數據庫和具備公網的自建數據庫為例,介紹如何通過網絡配置,實現DataWorks資源組與各環境下的數據源網絡連通。
以下示例僅為資源組綁定普通安全組場景下的說明。
場景一:數據源與DataWorks工作空間同阿里云主賬號、同地域
網絡連通配置操作 | 配置操作圖示 |
|
場景二:數據源與DataWorks工作空間同阿里云主賬號、不同的地域
網絡連通配置操作 | 配置操作圖示 |
場景三:數據庫與DataWorks工作空間使用不同阿里云主賬號
網絡連通配置操作 | 配置操作圖示 |
場景四:數據源在IDC
數據源不在阿里云環境可參考該場景配置。
場景五:數據源在公網
該方案僅適用于Serverless資源組,舊版資源組已默認綁定EIP。
網絡連通配置操作 | 配置操作圖示 |
|
相關文檔
資源組的更多介紹,請參見DataWorks資源組概述。
創建和使用資源組,請參見新增和使用Serverless資源組。
為資源組綁定VPC,請參見綁定專有網絡。
為資源組綁定的專有網絡VPC和交換機配置公網NAT網關。具體操作,請參見使用公網NAT網關SNAT功能訪問互聯網。