EMR-3.4.0及后續(xù)版本支持Kafka服務(wù)。

創(chuàng)建Kafka集群

如果需要新建包含Kafka的集群，請(qǐng)登錄E-MapReduce新版控制臺(tái)創(chuàng)建DataFlow類(lèi)型集群，創(chuàng)建集群詳情請(qǐng)參見(jiàn)創(chuàng)建DataFlow Kafka集群。

本地盤(pán)Kafka集群

當(dāng)在本地盤(pán)上部署Kafka服務(wù)時(shí)，您需要在E-MapReduce控制臺(tái)的配置頁(yè)面，配置如下參數(shù)。
配置項(xiàng) 描述
default.replication.factor 固定值為3，表示Topic的副本數(shù)為3。
min.insync.replicas 固定值為2，表示副本數(shù)大于等于2。

當(dāng)Producer設(shè)定request.required.acks為all或-1，且寫(xiě)入副本數(shù)大于等于2時(shí)，數(shù)據(jù)寫(xiě)入才能成功。

參數(shù)說(shuō)明

您可以在E-MapReduce控制臺(tái)的配置頁(yè)面，查看Kafka的服務(wù)配置。
配置項(xiàng) 描述
zookeeper.connect Kafka集群Zookeeper的連接地址。
kafka.heap.opts Kafka Broker的堆內(nèi)存大小。
num.io.threads Kafka Broker的IO線程數(shù)，默認(rèn)為主節(jié)點(diǎn)CPU核數(shù)的2倍。
num.network.threads Kafka Broker的網(wǎng)絡(luò)線程數(shù)，默認(rèn)為主節(jié)點(diǎn)的CPU核數(shù)。