本文介紹導(dǎo)入Kafka數(shù)據(jù)到日志服務(wù)所涉及的使用限制。
采集限制
| 限制項(xiàng) | 說(shuō)明 |
|---|---|
| 壓縮格式 | Kafka Producer采用的壓縮格式需被限制為gzip、zstd、lz4或snappy。其他壓縮格式的Kafka數(shù)據(jù)會(huì)被丟棄。
數(shù)據(jù)處理流量觀測(cè)儀表盤(pán)中的寫(xiě)失敗條數(shù)代表被丟棄的數(shù)據(jù)條數(shù)。如何查看，請(qǐng)參見(jiàn)查看導(dǎo)入配置。 |
| 最大Topic數(shù)量 | 單個(gè)數(shù)據(jù)導(dǎo)入配置最大支持指定10,000個(gè)Topic。 |
| 單條日志大小 | 單條日志最大為3 MB。單條日志大小超過(guò)限制時(shí)，該日志會(huì)被丟棄。
數(shù)據(jù)處理流量觀測(cè)儀表盤(pán)中的寫(xiě)失敗條數(shù)代表被丟棄的數(shù)據(jù)條數(shù)。如何查看，請(qǐng)參見(jiàn)查看導(dǎo)入配置。 |
| 起始位置 | 僅支持指定最早和最晚位置。不支持從指定時(shí)間的位置開(kāi)始導(dǎo)入。 |
配置限制
| 限制項(xiàng) | 說(shuō)明 |
|---|---|
| 數(shù)據(jù)導(dǎo)入配置數(shù)量 | 單個(gè)Project允許創(chuàng)建的所有類型的導(dǎo)入配置總數(shù)最大為100個(gè)。如果您有更大的使用需求，請(qǐng)?zhí)?span props="CHINA">工單申請(qǐng)。 |
| 帶寬限制 | 數(shù)據(jù)導(dǎo)入任務(wù)通過(guò)VPC網(wǎng)絡(luò)讀取阿里云Kafka集群的數(shù)據(jù)時(shí)，默認(rèn)支持的最大網(wǎng)絡(luò)帶寬為128 MB/s。如果您需要更大的帶寬，請(qǐng)?zhí)?span props="CHINA">工單申請(qǐng)。 |
性能限制
| 限制項(xiàng) | 說(shuō)明 |
|---|---|
| 并發(fā)子任務(wù)數(shù)量 | 日志服務(wù)后臺(tái)會(huì)自動(dòng)根據(jù)Topic數(shù)量，創(chuàng)建多個(gè)導(dǎo)入子任務(wù)進(jìn)行并發(fā)導(dǎo)入。每個(gè)子任務(wù)最大支持50 MB/s的處理速度（解壓后的數(shù)據(jù)）。
如果您有更大的使用需求，請(qǐng)?zhí)?span props="CHINA">工單申請(qǐng)。 |
| Topic Partition數(shù)量 | Kafka Topic的Partition數(shù)量越多，越利于通過(guò)擴(kuò)容子任務(wù)來(lái)提升處理吞吐。
針對(duì)數(shù)據(jù)量較大的Topic，您可以適當(dāng)增加其Partition數(shù)量（建議不低于16個(gè)）。 |
| Logstore Shard數(shù)量 | 日志服務(wù)的寫(xiě)性能取決于目標(biāo)Logstore的Shard數(shù)量（單個(gè)Shard支持5 MB/s的寫(xiě)入）。當(dāng)數(shù)據(jù)量較大時(shí)，建議增加目標(biāo)Logstore的Shard數(shù)量。具體操作，請(qǐng)參見(jiàn)管理Shard。 |
| 數(shù)據(jù)是否壓縮 | 當(dāng)數(shù)據(jù)量較大時(shí)，建議在寫(xiě)數(shù)據(jù)到Kafka時(shí)就進(jìn)行壓縮，這樣可顯著節(jié)省通過(guò)網(wǎng)絡(luò)讀取的數(shù)據(jù)量。
網(wǎng)絡(luò)傳輸階段往往比解壓數(shù)據(jù)階段更耗時(shí)，特別是采用公網(wǎng)導(dǎo)入數(shù)據(jù)時(shí)。 |
| 網(wǎng)絡(luò) | 如果是VPC環(huán)境下的阿里云Kafka集群，您可通過(guò)VPC網(wǎng)絡(luò)讀取數(shù)據(jù)，節(jié)省公網(wǎng)流量且傳輸速度快（達(dá)到100 MB/s以上的帶寬）。
采用公網(wǎng)導(dǎo)入數(shù)據(jù)時(shí)，網(wǎng)絡(luò)的性能和帶寬無(wú)法保障，容易出現(xiàn)導(dǎo)入延遲問(wèn)題。 |
其他限制
| 限制項(xiàng) | 說(shuō)明 |
|---|---|
| 元數(shù)據(jù)同步延遲 | 導(dǎo)入任務(wù)每10分鐘與Kafka集群同步一次集群的元數(shù)據(jù)信息。對(duì)于新增的Topic、Partitons，導(dǎo)入其元數(shù)據(jù)會(huì)存在10分鐘左右的延遲。
說(shuō)明 采用最遲策略讀取數(shù)據(jù)時(shí)，對(duì)于新增Topic，最初寫(xiě)入的數(shù)據(jù)（最大10分鐘的數(shù)據(jù)）將被跳過(guò)。
|
| Topic Offset有效時(shí)間 | Topic Offset的最大有效時(shí)間為7天，即如果有一個(gè)Topic在7天沒(méi)有讀取到數(shù)據(jù)，之前的Offset會(huì)被丟棄。后續(xù)有新數(shù)據(jù)時(shí)，按照導(dǎo)入配置中的起始位置的設(shè)置來(lái)決定要使用的Offset。 |