成本優(yōu)化指南
數(shù)據(jù)加工主要解決您規(guī)整數(shù)據(jù)的痛點(diǎn)以及幫助您進(jìn)一步挖掘數(shù)據(jù)的價值，降低時間與人力成本。合理配置可以節(jié)約一定的成本，本文檔介紹如何以較優(yōu)的成本方式使用數(shù)據(jù)加工功能。
典型配置
成本因素
通過日志服務(wù)的按使用功能計(jì)費(fèi)模式計(jì)費(fèi)項(xiàng)，可以了解到日志服務(wù)的成本主要由以下幾個因素決定。
每日導(dǎo)入的數(shù)據(jù)量。
數(shù)據(jù)存儲的時間。
是否建立索引。
根據(jù)成本因素，本文通過如下兩個案例介紹如何進(jìn)行成本優(yōu)化。
優(yōu)化存儲結(jié)構(gòu)
如果您持續(xù)采集某應(yīng)用的日志，每天的寫入量為100 GB，存儲30天并建立全文索引，那么日志服務(wù)的成本大約是2248元/每月。
如果您更關(guān)心的是其中某一類POD的日志，例如操作日志與出錯日志。假設(shè)這類日志的比例是20%，且希望存儲30天。對其他的日志只需要存儲7天。那么推薦您使用如下加工方案。
構(gòu)建接入源Logstore，存儲3天不建立索引。
構(gòu)建目標(biāo)Logstore1，用于存儲操作日志與錯誤日志，存儲30天并建立索引。
構(gòu)建目標(biāo)logstore2，用于存儲一般性日志，存儲7天并建立索引。
這種情況下您的成本約為1672元/每月，與加工之前相比大約可以節(jié)省25%的成本。
如果您的原始日志存儲周期為60天，可以通過數(shù)據(jù)加工將只關(guān)心的20%的日志存儲60天，其他日志存儲7天即可，這樣可以節(jié)約12%的成本， 并對關(guān)心的日志增加1倍存儲時間。
優(yōu)化存儲內(nèi)容
如果您持續(xù)采集某應(yīng)用的日志，每天的寫入量為100 GB，存儲30天并建立全文索引，那么日志服務(wù)的成本大約是2248元/每月。
如下為采集到的一條原始日志，大小為1021 Bytes。
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
cc_action: none
cc_blocks:
cc_phase:
content_type: text/x-flv
host: www.example.com
http_cookie: i1=w1;x2=q2
http_referer: http://www.example.com
http_user_agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/192.0.2.1 Safari/537.36
http_x_forwarded_for: 192.0.2.2
https: true
isp_line: BGP
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
remote_addr: 192.0.2.4
remote_port: 48196
request_length: 2946
request_method: GET
request_time_msec: 78920
request_uri: /request/nvwlvvkhw
server_name: www.example.com
status: 502
time: 2019-07-22T17:40:26+08:00
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
ua_os_family:
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5假設(shè)您只關(guān)心原始日志中的某些字段，則可以通過數(shù)據(jù)加工將關(guān)心的字段存儲30天并建立索引，其他冗余字段僅存儲3天即可。那么推薦您使用如下加工方案。
構(gòu)建接入源Logstore，存儲3天不建立索引。
構(gòu)建目標(biāo)Logstore，用于存儲操作日志與錯誤日志，存儲30天并建立索引。
假設(shè)每條日志經(jīng)過加工后大小約為原來的60%，這種情況下您的成本約為1579元/每月，與加工之前相比大約可以節(jié)省30%的成本。
原始日志大小1021 Bytes，加工后日志如下所示，大小僅為618 Bytes。
__source__: 192.0.2.0
__topic__: ddos_access_log
body_bytes_sent: 3866
content_type: text/x-flv
host: www.example.com
http_referer: http://www.example.com
ua_browser: mozilla
ua_browser_family:
ua_browser_type:
ua_browser_version: 9.0
ua_device_type:
ua_os: windows_7
http_x_forwarded_for: 192.0.2.2
matched_host: www.example.com
method: GET
real_client_ip: 192.0.2.3
request_length: 2946
request_uri: /request/nvwlvvkhw
status: 502
upstream_addr: 192.0.2.4:80
upstream_ip: 192.0.2.5
upstream_response_time: 0.858
upstream_status: 200
user_id: st0s2b5