集群資源規(guī)格評估建議
本文主要介紹通過簡單規(guī)則來評估一般業(yè)務(wù)場景下EMR Kafka集群所需硬件資源。實(shí)際業(yè)務(wù)場景中，您可以通過這些規(guī)則評估出資源規(guī)模后，再結(jié)合負(fù)載測試來確定最終的集群規(guī)格。集群創(chuàng)建后，您也可以根據(jù)實(shí)際資源使用率通過集群擴(kuò)容功能來變更集群的資源配置。
Kafka集群硬件資源的影響因素較多，包括消息流量的峰值、消息的平均大小、分區(qū)的個數(shù)、副本因子、客戶端的個數(shù)等，以及使用的業(yè)務(wù)場景、業(yè)務(wù)應(yīng)用程序的性能等非Kafka服務(wù)控制因素。因此評估硬件資源需求時(shí)，需要先預(yù)估實(shí)際業(yè)務(wù)的規(guī)模，并以此作為業(yè)務(wù)參數(shù)輸入來評估所需資源。您可以使用kafka-producer-perf-test、kafka-consumer-perf-test等工具來模擬實(shí)際負(fù)載，進(jìn)一步評估實(shí)際需要的硬件資源。
Master節(jié)點(diǎn)組（Zookeeper）資源評估
Master節(jié)點(diǎn)組主要用于安裝Zookeeper組件。此外，Kafka Manager、Schema Registry、Rest Proxy等Kafka生態(tài)組件也安裝在Master節(jié)點(diǎn)組。
通常情況下，Master節(jié)點(diǎn)組規(guī)格配置推薦如下：
節(jié)點(diǎn)數(shù)：3個。
數(shù)據(jù)盤：選擇1塊云盤，存儲容量120 GiB。
系統(tǒng)盤：80 GiB。
CPU：4 Core。
內(nèi)存：8 GiB。
重要建議選擇CPU和內(nèi)存配比為1：2的機(jī)型。
Core節(jié)點(diǎn)組（Kafka Broker）資源評估
評估業(yè)務(wù)需求
您需要根據(jù)業(yè)務(wù)情況，評估以下參數(shù)：
扇出因子：業(yè)務(wù)數(shù)據(jù)會被下游消費(fèi)的次數(shù)，不包含Kafka本身副本復(fù)制產(chǎn)生的消費(fèi)次數(shù)。
數(shù)據(jù)峰值流入：業(yè)務(wù)數(shù)據(jù)的峰值流量，單位MB/s。
數(shù)據(jù)平均流入：業(yè)務(wù)數(shù)據(jù)的平均流量，單位MB/s。
數(shù)據(jù)保留時(shí)長：數(shù)據(jù)保留時(shí)長，默認(rèn)7天。
分區(qū)副本因子：分區(qū)副本因子，默認(rèn)為3，即每個分區(qū)具有3個副本。
需要根據(jù)實(shí)際的業(yè)務(wù)情況，充分評估峰值流量，峰值流量通常會比平均流量高1個數(shù)量級以上。
在評估參數(shù)時(shí)，需要保留適度的冗余以便在極端業(yè)務(wù)場景負(fù)載時(shí)，集群仍能正常提供服務(wù)。根據(jù)以上參數(shù)，可以計(jì)算出以下需求指標(biāo)：
集群總寫入流量峰值：
數(shù)據(jù)峰值流入 * 分區(qū)副本因子。集群總讀取流量峰值：
數(shù)據(jù)峰值流入 *（扇出因子 + 分區(qū)副本因子 - 1）。數(shù)據(jù)總存儲容量：
數(shù)據(jù)平均流入 * 數(shù)據(jù)保留時(shí)長 * 分區(qū)副本因子。
節(jié)點(diǎn)規(guī)格推薦
通常情況下，Core節(jié)點(diǎn)組規(guī)格配置推薦如下：
節(jié)點(diǎn)數(shù)：根據(jù)業(yè)務(wù)需求評估，具體請參見評估Broker的節(jié)點(diǎn)數(shù)。
CPU：16 Core。
內(nèi)存：64 GiB。
重要建議選擇CPU和內(nèi)存配比為1：4的機(jī)型。
系統(tǒng)盤：80 GiB。
數(shù)據(jù)盤：選擇4塊云盤，云盤容量根據(jù)業(yè)務(wù)需求評估。
網(wǎng)卡帶寬：根據(jù)節(jié)點(diǎn)磁盤總IO計(jì)算網(wǎng)卡帶寬。
數(shù)據(jù)盤推薦使用云盤機(jī)型，避免因磁盤故障產(chǎn)生的運(yùn)維工作量，可以獲取更高的服務(wù)可用性并降低人力運(yùn)維成本。
選擇數(shù)據(jù)盤類型以及塊數(shù)之后，計(jì)算出總的磁盤IO吞吐量。建議選擇網(wǎng)卡帶寬不低于磁盤IO吞吐量。
評估Broker的節(jié)點(diǎn)數(shù)
理想情況下，Kafka Broker最大流量能夠達(dá)到節(jié)點(diǎn)磁盤IO的最大吞吐量或者網(wǎng)卡最大帶寬。因此，可以根據(jù)數(shù)據(jù)峰值流量以及每個節(jié)點(diǎn)IO吞吐量（或者網(wǎng)卡帶寬）計(jì)算所需Broker的節(jié)點(diǎn)數(shù)。
獲取單個節(jié)點(diǎn)磁盤性能指標(biāo)
單個節(jié)點(diǎn)磁盤吞吐量 = 單塊盤吞吐量 * 數(shù)據(jù)盤個數(shù)云盤的IO性能理論值請參見塊存儲性能。例如，PL1每塊云盤的最大吞吐量為350 MB/s。對于本地盤機(jī)型，建議根據(jù)理論值的一半來計(jì)算磁盤吞吐量指標(biāo)。例如，通常一塊本地盤按照50 MB/s估算。
計(jì)算所需Broker節(jié)點(diǎn)數(shù)
如果您的分區(qū)副本數(shù)為3，則建議選擇4個及以上Broker節(jié)點(diǎn)，即出現(xiàn)一個節(jié)點(diǎn)暫時(shí)不可用時(shí)，仍然可以創(chuàng)建3副本的分區(qū)。通常建議保留50%的硬件資源冗余。基于以上前提，計(jì)算所需Broker節(jié)點(diǎn)數(shù)公式為：
Broker節(jié)點(diǎn)數(shù) = Max（4，（集群總讀取流量峰值 + 集群總寫入流量峰值）/ 單個節(jié)點(diǎn)磁盤吞吐量 / 50%）此外，從分區(qū)副本限制考慮，每個Broker建議不超過2000個分區(qū)副本、最多不能超過4000個分區(qū)副本；整個集群不應(yīng)超過200,000個分區(qū)副本。如果預(yù)估集群總分區(qū)副本數(shù)量會比較多，建議您從總分區(qū)數(shù)來評估所需Broker的節(jié)點(diǎn)數(shù)。此時(shí)，計(jì)算所需Broker節(jié)點(diǎn)數(shù)公式為：
Broker節(jié)點(diǎn)數(shù) = Max（4，總預(yù)估分區(qū)數(shù) * 分區(qū)副本因子 / 2000）估算每個Broker的磁盤大小
每個Broker的磁盤大小 = 數(shù)據(jù)總存儲容量 / Broker節(jié)點(diǎn)數(shù) / 節(jié)點(diǎn)數(shù)據(jù)盤塊數(shù) / 50%
（可選）Task節(jié)點(diǎn)組（Kafka Connect）資源評估
該節(jié)點(diǎn)組是可選的。集群創(chuàng)建后，您可以根據(jù)資源使用情況隨時(shí)擴(kuò)容。
通常情況下，Task節(jié)點(diǎn)組規(guī)格配置推薦如下：
節(jié)點(diǎn)數(shù)：建議選擇2個節(jié)點(diǎn)以上，這樣Connect集群是高可用的。
數(shù)據(jù)盤：選擇1塊云盤，存儲容量80 GiB以上。
CPU：建議每個節(jié)點(diǎn)選擇8 Core以上，根據(jù)Connector的計(jì)算量隨時(shí)擴(kuò)容。
內(nèi)存：根據(jù)Connector的類型以及內(nèi)存使用情況選擇。
重要建議選擇CPU和內(nèi)存配比為1：2或者1：4的機(jī)型。