JSON格式
日志服務(wù)將數(shù)據(jù)投遞到OSS后,支持存儲為不同的文件格式。本文介紹JSON格式。
參數(shù)配置
在創(chuàng)建OSS投遞任務(wù)(新版)時,如果選擇存儲格式為json,對應(yīng)的參數(shù)配置如下所示。
參數(shù) | 說明 |
是否投遞tag | 是否投遞日志tag字段,例如__tag__:abc。 |
OSS文件地址
投遞到OSS后,OSS文件地址樣例如下所示。
在創(chuàng)建OSS投遞任務(wù)時,如果您自定義了文件后綴,則文件后綴由您自定義的后綴決定。
在創(chuàng)建OSS投遞任務(wù)時,如果您未自定義文件后綴,則文件后綴由壓縮類型決定。
壓縮類型 | 文件后綴 | OSS文件地址示例 | 說明 |
不壓縮 | 如果您自定義了文件后綴,則以您的設(shè)置為準(zhǔn),例如.json。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json | 未壓縮的JSON文件可下載到本地,以文本方式打開查看。文件樣例如下所示。
|
如果未自定義文件后綴,則無文件后綴。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937 | ||
壓縮(snappy) | 如果您自定義了文件后綴,則以您的設(shè)置為準(zhǔn),例如.json。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json | 使用snappy壓縮、解壓縮的詳細(xì)說明,請參見解壓Snappy壓縮文件。 問題: 如果使用了snappy壓縮且通過EMR的hive讀取文件時,可能會報如下錯誤: 解決方案: 請先執(zhí)行語句: |
如果未自定義文件后綴,則文件后綴為.snappy。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.snappy | ||
壓縮(gzip) | 如果您自定義了文件后綴,則以您的設(shè)置為準(zhǔn),例如.json。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json | 如果使用了gzip壓縮,則您可以安裝并使用gzip命令進(jìn)行解壓。 |
如果未自定義文件后綴,則文件后綴為.gz。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.gz | ||
壓縮(zstd) | 如果您自定義了文件后綴,則以您的設(shè)置為準(zhǔn),例如.json。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.json | 如果使用了zstd壓縮,則您可以安裝并使用zstd命令進(jìn)行解壓。 |
如果未自定義文件后綴,則文件后綴為.zst。 | oss://oss-shipper-chengdu/ecs_test/2022/01/26/20/54_1453812893059571256_937.zst |