日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關(guān)鍵字查找
首頁 日志服務(wù) 操作指南 消費與投遞 數(shù)據(jù)投遞 投遞日志到OSS（舊版） Parquet格式

Parquet格式

更新時間：
產(chǎn)品詳情
我的收藏

日志服務(wù)將日志投遞到OSS后，支持存儲為不同的文件格式，本文介紹Parquet格式。

參數(shù)配置

在配置投遞規(guī)則時，如果選擇存儲格式為Parquet，對應(yīng)的參數(shù)配置如下所示。Parquet字段配置

相關(guān)參數(shù)說明如下表所示。

參數(shù)

說明

Key名稱

您可以在日志服務(wù)的原始日志頁簽中查看日志字段的Key，將您需要投遞到OSS的字段名（Key）有序填入，在投遞時將按照此順序組織Parquet數(shù)據(jù)，并使用該key作為Parquet數(shù)據(jù)列名。除了日志內(nèi)容的Key外，日志服務(wù)還提供保留字段__time__、__topic__、__source__，保留字段詳情請參見保留字段。如果遇到如下兩種情況時，Parquet數(shù)據(jù)列的值為null。

  • 此處配置的key在日志服務(wù)的日志中不存在。

  • 將string類型字段設(shè)置為非string類型（如double、int64等），導(dǎo)致投遞時，轉(zhuǎn)換數(shù)據(jù)類型失敗。

說明

  • 同一個Key在Parquet字段中只能配置一次，不支持多次使用。

  • 如果您的日志中存在同名字段（例如都為request_time），則日志服務(wù)會將其中一個字段名顯示為request_time_0，底層存儲的字段名仍為request_time。因此您在投遞時，只能使用原始字段名request_time。

    存在同名字段時，系統(tǒng)只隨機投遞其中一個字段的值。請盡量避免日志中使用同名字段。

類型

Parquet格式支持存儲string、boolean、int32、int64、float、double這6種類型的數(shù)據(jù)。其中， 日志投遞后，string類型會以Parquet中的byte_array類型進(jìn)行存儲，且系統(tǒng)不會設(shè)置Parquet數(shù)據(jù)中logical_type字段的值。

OSS文件地址

投遞到OSS后，OSS文件地址示例如下表所示。

壓縮類型

文件后綴

OSS文件地址示例

說明

不壓縮

.parquet

oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.parquet

下載到本地，使用數(shù)據(jù)消費方式打開 。具體操作，請參見數(shù)據(jù)消費。

壓縮（snappy）

.snappy.parquet

oss://oss-shipper-shenzhen/ecs_test/2016/01/26/20/54_1453812893059571256_937.snappy.parquet

數(shù)據(jù)消費

  • 通過E-MapReduce、Spark 、Hive消費數(shù)據(jù)。更多信息，請參見社區(qū)文檔。

  • 通過單機校驗工具消費數(shù)據(jù)。

    Python的parquet-tools可以用于驗證Parquet格式的文件、查看詳細(xì)信息、讀取數(shù)據(jù)內(nèi)容。您可以自行安裝或者使用如下命令安裝。

    pip3 install parquet-tools

    • 查看Parquet文件指定列的內(nèi)容。

      • 命令

        例如查看remote_addr、body_bytes_sent列。

        parquet-tools show -n 2 -c remote_addr,body_bytes_sent 44_1693464263000000000_2288ff590970d092.parquet

      • 返回結(jié)果

        +----------------+-------------------+
| remote_addr    |   body_bytes_sent |
|----------------+-------------------|
| 61.243.1.63    |           b'1904' |
| 112.235.74.182 |           b'4996' |
+----------------+-------------------+

    • 查看Parquet文件內(nèi)容，也可以使用轉(zhuǎn)成CSV格式的命令。

      • 命令

        parquet-tools csv -n 2 44_1693464263000000000_2288ff590970d092.parquet

      • 返回結(jié)果

        remote_addr,body_bytes_sent,time_local,request_method,request_uri,http_user_agent,remote_user,request_time,request_length,http_referer,host,http_x_forwarded_for,upstream_response_time,status
b'61.**.**.63',b'1904',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-0/file-7',"b'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_5_8) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.801.0 Safari/535.1'",b'uh2z',b'49',b'4082',b'www.kwm.mock.com',b'www.ap.mock.com',b'222.**.**.161',b'2.63',b'200'
b'112.**.**.182',b'4996',b'31/Aug/2023:06:44:01',b'GET',b'/request/path-1/file-5',b'Mozilla/5.0 (Windows NT 6.1; de;rv:12.0) Gecko/20120403211507 Firefox/12.0',b'tix',b'71',b'1862',b'www.gx.mock.com',b'www.da.mock.com',b'36.**.**.237',b'2.43',b'200'

    • 查看Parquet文件的詳細(xì)信息的命令。

      • 命令

        parquet-tools inspect 44_1693464263000000000_2288ff590970d092.parquet

      • 返回結(jié)果

        ############ file meta data ############
created_by: SLS version 1
num_columns: 14
num_rows: 4661
num_row_groups: 1
format_version: 1.0
serialized_size: 2345


############ Columns ############
remote_addr
body_bytes_sent
time_local
request_method
request_uri
http_user_agent
remote_user
request_time
request_length
http_referer
host
http_x_forwarded_for
upstream_response_time
status

############ Column(remote_addr) ############
name: remote_addr
path: remote_addr
max_definition_level: 1
max_repetition_level: 0
physical_type: BYTE_ARRAY
logical_type: None
converted_type (legacy): NONE
compression: UNCOMPRESSED (space_saved: 0%)
......