遷移Group上云
本文介紹如何使用云消息隊(duì)列 Kafka 版提供的遷移工具將自建Kafka集群的Group遷移到云消息隊(duì)列 Kafka 版實(shí)例。
前提條件
您已完成以下操作:
購(gòu)買并部署云消息隊(duì)列 Kafka 版實(shí)例:
操作步驟
打開(kāi)命令行工具。
使用cd命令將路徑切換到遷移工具所在目錄。
創(chuàng)建配置文件kafka.properties。
kafka.properties用于構(gòu)造Kafka Consumer,從自建Kafka集群獲取消費(fèi)者位點(diǎn)信息。配置文件內(nèi)容如下:
## 接入點(diǎn)。 bootstrap.servers=localhost:9092 ## Group ID。注意該Group不能有消費(fèi)者位點(diǎn)信息,以保證能從第一個(gè)消息開(kāi)始消費(fèi)。 group.id=XXX ## 如果無(wú)安全配置,可以不配置以下內(nèi)容。 ## SASL鑒權(quán)方式。 #sasl.mechanism=PLAIN ## 接入?yún)f(xié)議。 #security.protocol=SASL_SSL ## SSL根證書的路徑。 #ssl.truststore.location=/Users/***/Documents/code/aliware-kafka-demos/main/resources/kafka.client.truststore.jks ## SSL密碼。 #ssl.truststore.password=*** ## SASL路徑。 #java.security.auth.login.config=/Users/***/kafka-java-demo/vpc-ssl/src/main/resources/kafka_client_jaas.conf
執(zhí)行以下命令,對(duì)要遷移的Group進(jìn)行預(yù)檢。
java -jar kafka-migration-assessment.jar ConsumerGroupMigrationFromTopic \ --propertiesPath /usr/local/kafka_2.12-2.4.0/config/kafka.properties \ --destAk <yourAccessKeyId> \ --destSk <yourAccessKeySecret> \ --destRegionId <yourRegionId> \ --destInstanceId <yourInstanceId>
參數(shù)
描述
propertiesPath
配置文件kafka.properties的文件路徑
destAk
目標(biāo)云消息隊(duì)列 Kafka 版實(shí)例所屬阿里云賬號(hào)的AccessKey ID
destSk
目標(biāo)云消息隊(duì)列 Kafka 版實(shí)例所屬阿里云賬號(hào)的AccessKey Secret
destRegionId
目標(biāo)云消息隊(duì)列 Kafka 版實(shí)例的地域ID
destInstanceId
目標(biāo)云消息隊(duì)列 Kafka 版實(shí)例的ID
待確認(rèn)的返回結(jié)果示例如下:
15:29:45 INFO - Will create consumer groups:[XXX, test-consumer-group]
執(zhí)行以下命令,遷移Group。
java -jar kafka-migration-assessment.jar ConsumerGroupMigrationFromTopic \ --propertiesPath /usr/local/kafka_2.12-2.4.0/config/kafka.properties \ --destAk <yourAccessKeyId> \ --destSk <yourAccessKeySecret> \ --destRegionId <yourRegionId> \ --destInstanceId <yourInstanceId> \ --commit
參數(shù)
描述
commit
提交遷移
提交遷移的返回結(jié)果示例如下:
15:35:51 INFO - cmd=ConsumerGroupMigrationFromTopic, request=null, response={"code":200,"requestId":"C9797848-FD4C-411F-966D-0D4AB5D12F55","success":true,"message":"operation success"} 15:35:51 INFO - ConsumerCreate success, consumer group=XXX 15:35:57 INFO - cmd=ConsumerGroupMigrationFromTopic, request=null, response={"code":200,"requestId":"3BCFDBF2-3CD9-4D48-92C3-385C8DBB9709","success":true,"message":"operation success"} 15:35:57 INFO - ConsumerCreate success, consumer group=test-consumer-group
提交遷移后,在云消息隊(duì)列 Kafka 版控制臺(tái)的遷移上云頁(yè)面任務(wù)列表中,您可以看到實(shí)例ID為目標(biāo)云消息隊(duì)列 Kafka 版實(shí)例ID的任務(wù)。