本文介紹導入OSS數據到日志服務所涉及的使用限制。

采集限制

限制項說明
單個文件大小
  • 如果是Snappy壓縮格式的文件（非Framing-format格式），最大支持350 MB。
  • 如果是其他格式的文件，最大支持5 GB。

單個文件大小超過限制時，導入任務會忽略整個文件。

單條數據大小單條數據最大為3 MB。數據大小超過限制時，該數據會被丟棄。

數據處理流量觀測儀表盤中的寫失敗條數代表被丟棄的數據條數。如何查看，請參見查看導入配置。

文件更新針對更新過的OSS文件，數據導入任務會重新進行全量導入。即之前已導入過的文件，又追加了部分內容，那么這個文件中數據將再次被全部導入。
新文件發現延遲發現新文件的最小間隔支持設置為1分鐘。當待導入的文件特別多時，可能存在更多延遲。

配置限制

限制項說明
數據導入配置數量單個Project允許創建的所有類型的導入配置總數最多為100個。如果您有更大的使用需求，請提工單申請。

性能限制

限制項說明
并發子任務數量日志服務后臺會自動根據待導入的文件數量，創建多個導入子任務進行并發導入。每個導入配置默認最多生成8個子任務，每個子任務最大支持10 MB/s的處理速度（針對解壓后的數據），即默認情況下，導入任務支持最大80 MB/s的處理速度。

如果您有更大的使用需求，請提工單申請。

Logstore Shard數量日志服務的寫性能取決于目標Logstore的Shard數量（單個Shard支持5 MB/s的寫入）。當數據量較大時，建議增加目標Logstore的Shard數量。具體操作，請參見管理Shard。
歸檔文件的讀取如果待導入的文件是歸檔類型，則需要解凍后才能被讀取。

一般情況下，解凍一個文件大約需要1分鐘。

文件大小相同數據總量的情況下，平均文件大小越大，讀取吞吐越高。反之，小文件越多，讀取吞吐越低。
網絡如果OSS Bucket和日志服務Project處于同一地域，可節省公網流量且傳輸速度快。

跨地域導入時，讀取OSS文件受網絡影響較大，性能相對較差。

新數據導入延遲當存量文件較多時，如果您未開啟使用OSS元數據索引配置，則可能無法按照新文件的檢查周期對新文件進行采集。

存在100萬左右的存量文件時，新文件采集的延遲時間大約為2分鐘。其他數量的存量文件，可依次進行線性類推。