本文介紹如何在云消息隊列 Kafka 版控制臺創建元數據導入任務,將元數據遷移至云消息隊列 Kafka 版已有實例。
前提條件
購買并部署云消息隊列 Kafka 版實例:
說明購買實例的規格可參考步驟一:規格評估。
使用限制
Serverless實例暫不支持元數據導入任務。
背景信息
Kafka集群元數據是指Kafka集群的Topic和Group配置信息。Kafka集群元數據存儲于ZooKeeper上,Kafka集群各個節點從ZooKeeper中獲取最新的元數據。因此,集群的各個節點的元數據被導出時都是最新且相同的。Kafka集群元數據可以被導出成一份JSON文件,然后被導入到另一個Kafka集群,實現自建Kafka集群元數據備份。
元數據遷移是指將自建Kafka集群的元數據遷移到云消息隊列 Kafka 版實例。您可以將自建Kafka集群元數據導出,然后導入云消息隊列 Kafka 版實例,云消息隊列 Kafka 版會解析成功導入的元數據,并支持在創建任務時可視化配置Topic和Group,配置完成后在目標實例中創建對應的Topic和Group,實現自建Kafka集群元數據遷移上云。
步驟一:規格評估
使用規格評估功能,控制臺將會根據您的Kafka集群數據為您推薦選型。
登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊遷移,然后單擊元數據導入。
在元數據導入頁簽,單擊規格評估。
在規格評估面板,輸入自建集群信息,獲取云消息隊列 Kafka 版實例規格建議。
參數
說明
示例值
服務端版本
您自建集群中使用的Kafka的版本。
0.10.x
IDC 遷移
是否為IDC機房遷移。
是
集群峰值流量
生產或消費流量峰值。單位:MB/s
20
公網流量
如果不需要訪問公網,請填寫0。單位:MB/s
0
SSD 磁盤
您的磁盤類型是否為SSD。
是
磁盤容量
存儲磁盤總大小。單位:GB。
500
分區總數
需要遷移的Topic的分區總數。
800
副本數量
Topic的副本數量。
3個副本
使用場景
生產消費使用場景。
業務消息
RT 延時要求
生產消費RT延時要求。
無特殊要求
輸入以上參數后,單擊確定,會在規格評估面板上方顯示推薦實例規格。
步驟二:導出元數據
使用元數據導出工具導出自建Kafka集群的元數據文件。
下載元數據導出工具,下載鏈接如下:kafka-migration-assessment.jar。
將下載好的工具上傳至自建Kafka集群。
在工具所在目錄運行以下命令,解壓工具包。
unzip -o kafka-migration-assessment.jar.zip
運行以下命令,賦予JAR包可執行權限。
chmod 777 kafka-migration-assessment.jar
運行以下命令,導出元數據。
java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit
參數
說明
示例
sourceZkConnect
自建Kafka集群的ZooKeeper IP地址和端口號。如果不指定,則自動獲取。
192.168.XX.XX:2181
sourceBootstrapServers
自建Kafka集群的IP地址和端口號。如果不指定,則自動獲取。
192.168.XX.XX:9092
targetDirectory
導出元數據文件的存放目錄。如果不指定,則默認為當前目錄。
../home/
fileName
導出元數據的文件名。如果不指定,則文件名稱默認為: kafka-metadata-export.json。
metadata.json
commit
提交運行。
commit
installTsar
是否自動安裝Tsar。默認不自動安裝Tsar。
安裝Tsar可以更加準確地獲取當前機器規格、近期存儲情況、流量、Kafka集群配置信息,但自動安裝比較耗時,也有可能因為環境差異, 導致安裝失敗。
無
evaluate
是否獲取當前機器規格、近期存儲情況、流量、Kafka集群配置信息,在遷移時根據獲取的信息進行評估,推薦您購買規格更合適的云消息隊列 Kafka 版實例。
默認為true,即默認獲取以進行規格評估,如果不需要評估,則需設置為false。
無
文件存放目錄下生成JSON文件,導出元數據成功。
在配置的文件存放目錄下,您可以看到導出元數據文件,并將其下載保存至本地。
步驟三:創建元數據導入任務
登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊遷移,然后單擊元數據導入。
在元數據導入頁簽,單擊創建任務。
在創建導入元數據任務面板,編輯以下參數,單擊創建。
在創建任務頁簽,設置任務名稱和目標實例,上傳步驟二:導出元數據中獲取的元數據文件。
在編輯 Topic頁簽,您可以執行以下操作:
新增Topic:單擊新增Topic,填寫Topic的名稱、描述、分區數、消息類型。
編輯Topic:單擊右側操作列的編輯,修改Topic的描述、分區數、消息類型和日志清理策略。
刪除Topic:單擊右側操作列的刪除,在提示對話框中單擊確認。
在編輯 Group頁簽,您可以執行以下操作:
新增Group:單擊新增Group,填寫Group ID和描述。
編輯Group:單擊右側操作列的編輯,修改Group的描述。
刪除Group:單擊右側操作列的刪除,在提示對話框中單擊確認。
創建完成后,在遷移頁面可查看目標任務的Topic 遷移進度和Group 遷移進度單擊右側操作列的詳情查看詳細信息。
步驟四:查看遷移結果
登錄云消息隊列 Kafka 版控制臺,在概覽頁面的資源分布區域,選擇地域。
在左側導航欄,單擊實例列表。
在實例列表頁面,單擊目標實例名稱。
查看資源列表。
在左側導航欄,單擊Topic 管理,在Topic 管理頁面的Topic列表中查看已創建的Topic。
在左側導航欄,單擊Group 管理,在Group 管理頁面的Group列表中查看已創建的Group。