創(chuàng)建DataFlow Kafka集群
本文為您介紹創(chuàng)建DataFlow Kafka集群（選擇了Kafka服務(wù)）的詳細(xì)操作步驟和相關(guān)配置。
使用限制
EMR-5.18.0及之后版本、EMR-3.52.0及之后版本將不再支持Kafka服務(wù)。建議使用阿里云的云消息隊(duì)列 Kafka 版或自行進(jìn)行安裝。
注意事項(xiàng)
創(chuàng)建DataFlow Kafka集群前，您需要根據(jù)業(yè)務(wù)的預(yù)估負(fù)載，選擇合適的ECS實(shí)例機(jī)型以及Broker實(shí)例個(gè)數(shù)。由于業(yè)務(wù)場(chǎng)景差異很大，所以無(wú)法給出通用的集群規(guī)劃，您需要根據(jù)您的實(shí)際環(huán)境創(chuàng)建集群。通常，建議您選擇機(jī)型時(shí)考慮以下配置：
Broker機(jī)型的CPU和內(nèi)存配比為1：4。
選擇云盤作為數(shù)據(jù)存儲(chǔ)盤。
充分考慮云盤的IO吞吐率以及網(wǎng)卡帶寬之間的關(guān)系。
在部署參數(shù)上，考慮以下因素：
由于EMR Kafka版本仍依賴于Zookeeper，且Zookeeper的可用性直接關(guān)系到Kafka服務(wù)的高可用，因此，建議您創(chuàng)建集群時(shí)，選擇高可用的部署方式。啟用高可用后，將創(chuàng)建3個(gè)節(jié)點(diǎn)的Zookeeper服務(wù)。
如果Master機(jī)器組只部署Zookeeper，則Master機(jī)器組只需要配置1塊數(shù)據(jù)盤即可。
更詳細(xì)的評(píng)估建議，請(qǐng)參見集群資源規(guī)格評(píng)估建議。
操作步驟
進(jìn)入創(chuàng)建集群頁(yè)面。
可選：在頂部菜單欄處，根據(jù)實(shí)際情況選擇地域和資源組。
地域：創(chuàng)建的集群將會(huì)在對(duì)應(yīng)的地域內(nèi)，一旦創(chuàng)建不能修改。
資源組：默認(rèn)顯示賬號(hào)全部資源。
單擊上方的創(chuàng)建集群，進(jìn)行創(chuàng)建。
配置集群信息。
創(chuàng)建集群時(shí)，您需要對(duì)集群進(jìn)行軟件配置、硬件配置和基礎(chǔ)配置。
重要集群創(chuàng)建完成后，除了集群名稱以外，其他配置均無(wú)法修改，所以在創(chuàng)建時(shí)請(qǐng)仔細(xì)確認(rèn)各項(xiàng)配置。更多參數(shù)信息，請(qǐng)參見創(chuàng)建集群。
軟件配置。
配置項(xiàng)
示例
描述
地域
華東1（杭州）
創(chuàng)建的集群將會(huì)在對(duì)應(yīng)的地域內(nèi)，一旦創(chuàng)建不能修改。
業(yè)務(wù)場(chǎng)景
實(shí)時(shí)數(shù)據(jù)流場(chǎng)景
選擇實(shí)時(shí)數(shù)據(jù)流場(chǎng)景。
產(chǎn)品版本
EMR-3.43.1
選擇EMR版本后，您可以查看各服務(wù)的版本。
例如，EMR-3.43.1版本中的Kafka為2.12_2.4.1，其中2.12表示Scala的版本，2.4.1為開源Kafka的版本。
服務(wù)高可用
開啟
默認(rèn)不開啟。
重要啟用高可用后，將在Master機(jī)器組上部署3個(gè)節(jié)點(diǎn)的Zookeeper服務(wù)。由于EMR Kafka版本的服務(wù)可用性仍依賴于Zookeeper，所以建議您創(chuàng)建集群時(shí)，選擇高可用的部署方式。
可選服務(wù)
Kafka
選擇Kafka服務(wù)。
您也可以根據(jù)您的實(shí)際需求選擇其他的一些組件，被選中的組件會(huì)默認(rèn)啟動(dòng)相關(guān)的服務(wù)進(jìn)程。
允許采集服務(wù)運(yùn)行日志
開啟
支持一鍵開啟或關(guān)閉所有服務(wù)的日志采集。默認(rèn)開啟，將收集您的服務(wù)運(yùn)行日志，這些日志僅供集群診斷使用。
集群創(chuàng)建后，您可以在基礎(chǔ)信息頁(yè)面，修改服務(wù)運(yùn)行日志收集狀態(tài)。
重要關(guān)閉日志采集后，EMR的健康檢查和技術(shù)支持將受到限制，但其他功能仍可正常使用。如何關(guān)閉及影響詳情，請(qǐng)參見如何停止采集服務(wù)日志？。
硬件配置。
配置項(xiàng)
示例
描述
付費(fèi)類型
按量付費(fèi)
默認(rèn)包年包月。當(dāng)前支持的付費(fèi)類型如下：
按量付費(fèi)：一種后付費(fèi)模式，即先使用再付費(fèi)。按量付費(fèi)是根據(jù)實(shí)際使用的小時(shí)數(shù)來(lái)支付費(fèi)用，每小時(shí)計(jì)費(fèi)一次，適合短期的測(cè)試任務(wù)或是靈活的動(dòng)態(tài)任務(wù)。
包年包月：一種預(yù)付費(fèi)模式，即先付費(fèi)再使用。
說(shuō)明建議測(cè)試場(chǎng)景下使用按量付費(fèi)，測(cè)試正常后再新建一個(gè)包年包月的生產(chǎn)集群正式使用。
可用區(qū)
華東1（杭州） 可用區(qū) I
可用區(qū)為在同一地域下的不同物理區(qū)域，可用區(qū)之間內(nèi)網(wǎng)互通。通常使用默認(rèn)的可用區(qū)即可。
專有網(wǎng)絡(luò)
emr_test/vpc-bp1f4epmkvncimpgs****
默認(rèn)選擇已有的專有網(wǎng)絡(luò)。
如需創(chuàng)建新的專有網(wǎng)絡(luò)，請(qǐng)?jiān)趯Ｓ芯W(wǎng)絡(luò)控制臺(tái)新創(chuàng)建一個(gè)，詳情請(qǐng)參見創(chuàng)建和管理專有網(wǎng)絡(luò)。
交換機(jī)
vsw_test/vsw-bp1e2f5fhaplp0g6p****
選擇在對(duì)應(yīng)VPC下可用區(qū)的交換機(jī)，如果在這個(gè)可用區(qū)沒有可用的交換機(jī)，則需要在專有網(wǎng)絡(luò)控制臺(tái)新創(chuàng)建一個(gè)，詳情請(qǐng)參見創(chuàng)建和管理交換機(jī)。
默認(rèn)安全組
sg-bp1ddw7sm2risw****/sg-bp1ddw7sm2risw****
默認(rèn)選擇已有的安全組。安全組詳情請(qǐng)參見安全組。
您也可以單擊新建安全組，在ECS控制臺(tái)新建一個(gè)安全組，詳情請(qǐng)參見創(chuàng)建安全組。
重要禁止使用ECS上創(chuàng)建的企業(yè)安全組。
節(jié)點(diǎn)組
根據(jù)實(shí)際情況配置
實(shí)例類型：您可以根據(jù)需要或者評(píng)估建議選擇實(shí)例規(guī)格。評(píng)估建議詳情，請(qǐng)參見集群資源規(guī)格評(píng)估建議。
加入部署集：開啟高可用后，Master默認(rèn)加入部署集，詳情請(qǐng)參見開啟部署集。
系統(tǒng)盤：根據(jù)需要選擇系統(tǒng)盤。
系統(tǒng)盤大小：根據(jù)需要調(diào)整磁盤容量，推薦至少120 GiB。取值范圍為80 ~ 500 GiB。
數(shù)據(jù)盤：根據(jù)需要選擇數(shù)據(jù)盤。
說(shuō)明建議選擇云盤。
數(shù)據(jù)盤大小：根據(jù)需要調(diào)整磁盤容量，推薦至少80 GiB。取值范圍為40 ~ 32768 GiB。
實(shí)例數(shù)量：默認(rèn)3臺(tái)Master，3臺(tái)Core。
附加安全組：您可以為該節(jié)點(diǎn)組關(guān)聯(lián)最多2個(gè)附加安全組，附加安全組可以靈活定制不同的外部資源或應(yīng)用程序之間的訪問。
掛載公網(wǎng)：集群是否掛載彈性公網(wǎng)IP地址，默認(rèn)不開啟。
說(shuō)明創(chuàng)建后如果您需要使用公網(wǎng)IP地址訪問，請(qǐng)?jiān)贓CS上申請(qǐng)開通公網(wǎng)IP地址，詳情請(qǐng)參見彈性公網(wǎng)IP中的申請(qǐng)EIP的內(nèi)容。
基礎(chǔ)配置。
在基礎(chǔ)信息區(qū)域，配置如下參數(shù)。
重要暫不支持高級(jí)配置區(qū)域的參數(shù)，因此請(qǐng)勿設(shè)置。
配置項(xiàng)
示例
描述
集群名稱
Emr-Kafka
集群的名字，長(zhǎng)度限制為1~64個(gè)字符，僅可使用中文、字母、數(shù)字、短劃線（-）和下劃線（_）。
身份憑證
自定義密碼
密鑰對(duì)（默認(rèn)）：使用SSH密鑰對(duì)登錄Linux實(shí)例。
關(guān)于密鑰對(duì)的使用詳情，請(qǐng)參見SSH密鑰對(duì)。
密碼：設(shè)置Master節(jié)點(diǎn)的登錄密碼，使用密碼登錄Linux實(shí)例。
密碼規(guī)則：8~30個(gè)字符，且必須同時(shí)包含大寫字母、小寫字母、數(shù)字和特殊字符。
特殊字符包括：感嘆號(hào)（!）、at（@）、井號(hào)（#）、美元符號(hào)（$）、百分號(hào)（%）、乘方（^）、and（&）和星號(hào)（*）。
在確認(rèn)訂單頁(yè)面，選中E-MapReduce服務(wù)條款復(fù)選框。
單擊創(chuàng)建。
創(chuàng)建集群后可以通過(guò)刷新頁(yè)面來(lái)查看進(jìn)度，當(dāng)集群狀態(tài)顯示為運(yùn)行中時(shí)，表示集群創(chuàng)建成功。
后續(xù)步驟
集群創(chuàng)建成功后，您可以根據(jù)實(shí)際的業(yè)務(wù)場(chǎng)景，修改集群的默認(rèn)參數(shù)，使集群正式交付生產(chǎn)時(shí)符合相關(guān)的要求。例如：
是否啟用SSL來(lái)加密網(wǎng)絡(luò)鏈接，詳情請(qǐng)參見使用SSL加密Kafka鏈接。
是否啟用SASL來(lái)進(jìn)行登錄認(rèn)證，詳情請(qǐng)參見使用SASL登錄認(rèn)證Kafka服務(wù)。