費用和兩方面因素相關:
- 數據量:用戶的數據量是業務決定的,無法優化。
- 配置:使用和數據量相匹配的配置,選擇最優的解決方案,才能使成本最小化。
優化配置
配置可以從以下兩個方面進行優化:
-
分區個數
一個分區最大可以處理5M/s的數據。只有readwrite的分區會收費。請調整分區個數,使其正好能處理5M/s的數據。減少分區個數請合并分區。
-
Logstore 數據保存周期
針對您對日志的查詢、存儲的需求不同,建議您優化Logstore 數據保存周期。
-
如果您收集日志是為了做流計算,建議您只使用LogHub,不創建索引。
-
如果您需要經常查詢最近90天的日志數據,偶爾查詢90天前的數據,建議您把Logstore 數據保存周期調整到90天,同時把數據導入MaxCompute。查詢90天內數據,使用日志服務,查詢90天前數據,使用MaxCompute。
-
如果您對日志有長時間存儲和備份的需求,建議您把日志導入到OSS。
-
其他優化建議
- 使用Logtail:有 Batch 與斷點續傳功能,在保障實時性的同時以最優算法傳輸數據。Logtail 消耗資源是開源軟件(Logstash,FluentD)的1/4,減少CPU消耗。
- API寫入用戶盡量使用64KB~1MB大包寫入,減少請求次數。
- 索引關鍵字段,例如UserID,Action等,對無用字段不配置索引。