配置好數據源是創建數據遷移或數據同步任務的前提。本文為您介紹如何在數據傳輸中新建 Kafka 數據源。
安全風險提醒
使用 OceanBase 數據傳輸服務,您可以選擇自動添加或手動添加 OceanBase 數據傳輸服務的公網 IP 地址段,但可能存在安全風險。一旦使用本產品代表您已理解和確認其中可能存在的安全風險,并且您需要采取基本的安全防護措施,包括但不限于加強賬號密碼的復雜度、限制各網段開放的端口號、內部 API 采用鑒權方式進行通信,或者定期檢查并限制無需訪問的 IP 地址段。
OceanBase 數據傳輸服務會根據業務需求和安全風險等因素對自動添加的白名單或安全組進行調整操作(增加或刪除),請勿將白名單或安全組中的 IP 地址段應用于非 OceanBase 數據傳輸服務的業務需求。如果因為您將其應用于其他業務需求導致的問題,不在 OceanBase 數據傳輸服務的 SLA 保障范圍內。OceanBase 數據傳輸服務自動或手動添加的白名單或安全組,請參見 OceanBase 數據傳輸服務 添加白名單 模塊的文檔。
使用限制
數據傳輸僅支持 Kafka 數據源作為數據同步的目標端。
背景信息
數據傳輸的安全問題,貫穿服務連通性驗證、鏈路創建和數據傳輸過程。基于 Kafka 服務提供的安全體系,數據傳輸在數據加密和用戶認證上均有一定的支持,以滿足絕大部分安全需求。
數據傳輸支持的 Kafka 認證方式包括:
GSSAPI
GSSAPI(Generic Security Services Application Program Interface)是通用安全服務應用程序接口。GSSAPI 是一個以通用方式為調用方提供安全服務的框架,該框架也支持實現 Kerberos 協議。
PLAIN
PLAIN 認證方式較為簡單,但無法動態變更用戶,且明文配置用戶名和密碼,安全性不高。
SCRAM-SHA-256
SCRAM(Salted Challenge Response Authentication Mechanism)認證方式通過執行用戶名和密碼認證的傳統機制來解決安全問題。Kafka 支持 SCRAM-SHA-256,可以和 TLS 一起使用執行安全認證。
該認證方式可以實現動態變更用戶,用戶數據存儲在 Zookeeper 中。啟動 Broker 前,需要先與 Zookeeper 通信,創建和 Broker 之間的通信用戶。但該認證方式需要明文配置用戶名和密碼。
SCRAM-SHA-512
Kafka 支持 SCRAM-SHA-512,可以與 TLS 一起使用執行安全認證。
操作步驟
登錄 OceanBase 管理控制臺。
在左側導航欄,單擊 數據傳輸 > 數據源管理。
在 數據源列表 頁面,單擊右上角的 新建數據源。
在 新建數據源 對話框,選擇 數據源類型 為 Kafka。
選擇 實例類型,配置各項參數。
選擇 阿里云 Kafka 實例 時,配置參數如下。阿里云 Kafka 實例的詳情請參見 Java SDK概述。
參數
描述
數據源標識
建議使用中文、數字和字母的組合。名稱中不能包含空格,長度限制為 32 個字符。
是否跨阿里云主賬號
數據傳輸支持對不同阿里云主賬號下的實例配置數據遷移或數據同步任務,實現跨阿里云主賬號的數據遷移或數據同步。
您可以根據業務需求選擇是否勾選。如果勾選,請輸入對方阿里云主賬號。如果不具備該主賬號的權限,請先申請授權。授權詳情請參見 申請跨賬號授權。
Kafka 實例 ID
用戶申請 Kafka 實例的唯一 ID。
接入點
Kafka 服務器 IP 地址及端口列表,系統會自動導入。
用戶名
Kafka 的登錄用戶名。
密碼
Kafka 的登錄密碼。
備注(可選)
數據源的備注信息。
選擇 VPC 內自建 Kafka 實例 或 公網 Kafka 實例 時,配置參數如下。
參數
描述
數據源標識
建議使用中文、數字和字母的組合。名稱中不能包含空格,長度限制為 32 個字符。
是否跨阿里云主賬號
數據傳輸支持對不同阿里云主賬號下的實例配置數據遷移或數據同步任務,實現跨阿里云主賬號的數據遷移或數據同步。
您可以根據業務需求選擇是否勾選。如果勾選,請輸入對方阿里云主賬號。如果不具備該主賬號的權限,請先申請授權。授權詳情請參見 申請跨賬號授權。
重要選擇實例類型為 公網 Kafka 實例 時,不會顯示該參數。
VPC
從下拉列表中選擇用戶申請公有云 VPC 的唯一 ID。
重要僅選擇實例類型為 VPC 內自建 Kafka 實例 時,會顯示該參數。
VPC 內部署/跨網絡部署
跨網絡部署是指源端和目標端數據源位于不同的網絡(包含不同的 VPC 或云服務供應商)。請根據業務需求,選擇 VPC 內部署 或 跨網絡部署,并在 交換機 下拉列表中選擇 Kafka 服務所有
bootstrap server
和broker server
所在的交換機。同時,請將交換機網段一并加入至當前 VPC 的安全組白名單內。交換機(vSwitch)是組成專有網絡 VPC 的基礎網絡模塊,用于連接不同的云資源實例。詳情請參見 交換機概述。
重要僅選擇實例類型為 VPC 內自建 Kafka 實例 時,支持選擇部署方式和交換機。
跨網絡部署時,靜態路由地址(其它云或線下機房 VPC 中的地址或網段)會根據選擇的第一個交換機自動關聯處理。
接入點
輸入 Kafka 服務器 IP 地址及端口列表。
啟用 SSL
根據業務需求,選擇是否啟用 SSL。如果啟用,請單擊 上傳文件,上傳后綴名為
.jks
的授信證書。開啟認證
根據業務需求,選擇是否開啟認證。Kafka 提供了數據加密和多種身份認證機制的配置來保證用戶數據和服務的安全。
認證方式
如果開啟認證,則需要選擇認證方式。目前數據傳輸支持的認證方式包括 GSSAPI、PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。
KDC 服務器地址
輸入 Kerberos 的服務器 KDC 的 IP 或域名。
請注意:僅選擇認證方式為 GSS-API 時,才會顯示該參數。
用戶主體
輸入用戶名。
請注意:僅選擇認證方式為 GSS-API 時,才會顯示該參數。
keytab 文件
單擊 上傳文件,上傳后綴名為
.keytab
的密鑰文件。請注意:僅選擇認證方式為 GSS-API 時,會顯示該參數。
用戶名
請注意用于數據遷移或數據同步的用戶名稱。
請注意:選擇認證方式為 GSS-API 時,不會顯示該參數。
密碼
用于數據遷移或數據同步的用戶密碼。
請注意:選擇認證方式為 GSS-API 時,不會顯示該參數。
備注(可選)
數據源的備注信息。
單擊 測試連接,驗證數據傳輸和數據源的網絡連接,以及用戶名和密碼的有效性。
測試連接通過后,單擊 確定。