穩(wěn)定項(xiàng)

說(shuō)明

可用性

可用性較高。

如果日志服務(wù)出錯(cuò)，無(wú)法讀取數(shù)據(jù)，OSS投遞任務(wù)會(huì)在內(nèi)部至少重試10次。如果仍然失敗，任務(wù)執(zhí)行會(huì)報(bào)錯(cuò)，然后任務(wù)重啟。

穩(wěn)定項(xiàng)

說(shuō)明

并發(fā)度

按照日志服務(wù)Shard進(jìn)行分區(qū)并創(chuàng)建投遞實(shí)例，支持快速擴(kuò)容。

如果日志服務(wù)源Logstore進(jìn)行Shard分裂，可以在數(shù)秒以內(nèi)完成投遞實(shí)例的擴(kuò)容，加快數(shù)據(jù)導(dǎo)出速度。

數(shù)據(jù)不丟失

OSS投遞任務(wù)基于消費(fèi)組進(jìn)行擴(kuò)展，提供一致性保證。投遞完成后，才會(huì)提交offset，因此可以保證數(shù)據(jù)寫入OSS之前，offset不被提交，即保證投遞數(shù)據(jù)不丟失。

穩(wěn)定項(xiàng)

說(shuō)明

監(jiān)控告警

數(shù)據(jù)投遞有完善的監(jiān)控，可實(shí)時(shí)追蹤投遞任務(wù)的延遲、流量等指標(biāo)。您可以根據(jù)業(yè)務(wù)需求，配置自定義告警，及時(shí)發(fā)現(xiàn)投遞問(wèn)題（例如導(dǎo)出實(shí)例不足、網(wǎng)絡(luò)Quota限制等）。具體操作，請(qǐng)參見(jiàn)為OSS投遞任務(wù)（新版）設(shè)置告警。

限制項(xiàng)

說(shuō)明

網(wǎng)絡(luò)類型

通過(guò)阿里云內(nèi)網(wǎng)傳輸數(shù)據(jù)，網(wǎng)絡(luò)穩(wěn)定性和速度具有保障。

限制項(xiàng)

說(shuō)明

授權(quán)

涉及OSS投遞操作權(quán)限和數(shù)據(jù)訪問(wèn)權(quán)限。更多信息，請(qǐng)參見(jiàn)準(zhǔn)備權(quán)限。

服務(wù)端加密

如果開(kāi)啟了服務(wù)端加密，需要為RAM角色添加額外的權(quán)限。更多信息，請(qǐng)參見(jiàn)OSS配置文檔。

限制項(xiàng)

說(shuō)明

讀流量

單個(gè)Project以及單個(gè)Shard存在最高流量限制。更多信息，請(qǐng)參見(jiàn)數(shù)據(jù)讀寫。

如果超過(guò)最高流量限制，請(qǐng)分裂Shard或者申請(qǐng)擴(kuò)容Project讀流量限制。超過(guò)限制，會(huì)導(dǎo)致OSS投遞任務(wù)讀取數(shù)據(jù)失敗，并在內(nèi)部至少重試10次，如果仍然失敗，任務(wù)執(zhí)行會(huì)報(bào)錯(cuò)，然后任務(wù)重啟。

限制項(xiàng)

說(shuō)明

并發(fā)實(shí)例

并發(fā)實(shí)例數(shù)量與Shard數(shù)量相同（包括讀寫Shard和只讀Shard）。

投遞限制

• 通過(guò)每個(gè)Shard的投遞大小控制OSS Object大?。ㄒ晕磯嚎s計(jì)算），取值范圍為5~256 MB。

• 每個(gè)Shard的投遞周期取值范圍為300～900秒。

• 每個(gè)并發(fā)實(shí)例的每次投遞，都會(huì)產(chǎn)生一個(gè)單獨(dú)的OSS文件。

  重要

  創(chuàng)建OSS投遞任務(wù)后，每個(gè)Shard都會(huì)根據(jù)投遞大小、投遞時(shí)間決定投遞的頻率，當(dāng)任一條件滿足時(shí)，即會(huì)執(zhí)行一次投遞。

時(shí)間分區(qū)

OSS投遞是攢批進(jìn)行，每次寫一個(gè)文件，文件內(nèi)包括一批數(shù)據(jù)，文件路徑由該批數(shù)據(jù)中最小的receive_time（數(shù)據(jù)到達(dá)日志服務(wù)的時(shí)間）決定。

文件格式

數(shù)據(jù)被投遞到OSS后，支持存儲(chǔ)為CSV、JSON、Parquet、ORC四種文件格式。更多信息，請(qǐng)參見(jiàn)JSON格式、CSV格式、Parquet格式和ORC格式。

壓縮方式

支持snappy、gzip、zstd三種壓縮方式以及不壓縮。

OSS Bucket

• 只支持投遞給已存在且未開(kāi)啟WORM的Bucket，且該Bucket與日志服務(wù)Project位于相同地域。關(guān)于WORM的更多信息，請(qǐng)參見(jiàn)保留策略。

• 支持投遞到標(biāo)準(zhǔn)、低訪問(wèn)、歸檔、冷歸檔四種存儲(chǔ)類型的Bucket中。投遞后，生成的OSS Object的存儲(chǔ)類型默認(rèn)與Bucket一致。更多信息，請(qǐng)參見(jiàn)存儲(chǔ)類型介紹。

• 非標(biāo)準(zhǔn)存儲(chǔ)的Bucket存在最低存儲(chǔ)時(shí)間和最小計(jì)量單位限制，請(qǐng)根據(jù)需求合理設(shè)置目標(biāo)Bucket存儲(chǔ)類型。更多信息，請(qǐng)參見(jiàn)存儲(chǔ)類型對(duì)比。

限制項(xiàng)

說(shuō)明

延遲投遞

延遲投遞配置項(xiàng)中設(shè)置的時(shí)間不能超過(guò)當(dāng)前Logstore的數(shù)據(jù)保存時(shí)間。

建議預(yù)留一段緩沖時(shí)間，否則可能會(huì)導(dǎo)致數(shù)據(jù)丟失。例如Logstore的數(shù)據(jù)保存時(shí)間為30天，則延遲投遞的時(shí)間最好不要超過(guò)25天。

限制項(xiàng)

說(shuō)明

暫停投遞任務(wù)

投遞任務(wù)會(huì)記錄上次投遞的日志Cursor，恢復(fù)運(yùn)行時(shí)從記錄的Cursor開(kāi)始繼續(xù)投遞。因此暫停投遞任務(wù)時(shí)存在如下機(jī)制。

• 暫停任務(wù)一段時(shí)間且沒(méi)有超過(guò)數(shù)據(jù)的保存時(shí)間，則再運(yùn)行任務(wù)時(shí)，系統(tǒng)從上次暫停的位置繼續(xù)開(kāi)始投遞，不會(huì)丟失數(shù)據(jù)。

• 暫停任務(wù)一段時(shí)間但超過(guò)了數(shù)據(jù)的保存時(shí)間，則再運(yùn)行任務(wù)時(shí)，系統(tǒng)從離上次暫停位置最近的一條數(shù)據(jù)開(kāi)始投遞。