project

保留與給定模式相匹配的字段、同時(shí)可重命名指定字段。指令執(zhí)行過(guò)程中，先執(zhí)行完成所有字段保留表達(dá)式，再執(zhí)行重命名表達(dá)式。

語(yǔ)法

| project -wildcard <field-pattern>, <output>=<field>, ...

參數(shù)說(shuō)明

示例

• 示例1：保留特定字段。

  * | project level, err_msg

• 示例2：重命名字段。

  * | project log_level=level, err_msg

• 示例3：保留精確匹配的字段__tag__:*。

  * | project "__tag__:*"

project-away

移除與給定模式相匹配的字段，原樣保留其他所有字段。

語(yǔ)法

| project-away -wildcard <field-pattern>, ...

參數(shù)說(shuō)明

project-rename

重命名指定字段，并保留其他所有字段原樣。

語(yǔ)法

| project-rename <output>=<field>, ...

參數(shù)說(shuō)明

示例

重命名指定字段。

* | project-rename log_level=level, log_err_msg=err_msg

expand-values

展開(kāi)指定字段的第一層JSON對(duì)象，生成多條結(jié)果。

語(yǔ)法

| expand-values -path=<path> -limit=<limit> -keep <field> as <output>

參數(shù)說(shuō)明

示例

• 示例1：展開(kāi)數(shù)組，輸出多條結(jié)果數(shù)據(jù)。

  • SPL語(yǔ)句

    * | expand-values y

  • 輸入數(shù)據(jù)

    x: 'abc'
    y: '[0,1,2]'

  • 輸出數(shù)據(jù)，展開(kāi)為3條數(shù)據(jù)

    # 條目1
    x: 'abc'
    y: '0'
    
    # 條目2
    x: 'abc'
    y: '1'
    
    # 條目3
    x: 'abc'
    y: '2'

• 示例2：展開(kāi)字典，輸出多條結(jié)果數(shù)據(jù)。

  • SPL語(yǔ)句

    * | expand-values y

  • 輸入數(shù)據(jù)

    x: 'abc'
    y: '{"a": 1, "b": 2}'

  • 輸出數(shù)據(jù)，展開(kāi)為2條數(shù)據(jù)

    # 條目1
    x: 'abc'
    y: '{"a": 1}'
    
    # 條目2
    x: 'abc'
    y: '{"b": 2}'

• 示例3：展開(kāi)指定JSON Path下的內(nèi)容，并輸出至新字段。

  • SPL語(yǔ)句

    * | expand-values -keep content -path='$.body' as body

  • 輸入數(shù)據(jù)

    content: '{"body": [0, {"a": 1, "b": 2}]}'

  • 輸出數(shù)據(jù)，展開(kāi)為2條數(shù)據(jù)

    # 條目1
    content: '{"body": [1, 2]}'
    body: '0'
    
    # 條目2
    content: '{"body": [1, 2]}'
    body: '{"a": 1, "b": 2}'

extend

通過(guò)SQL表達(dá)式計(jì)算結(jié)果產(chǎn)生新字段。支持的SQL函數(shù)列表，請(qǐng)參見(jiàn)SPL支持的SQL函數(shù)列表。

語(yǔ)法

| extend <output>=<sql-expr>, ...

參數(shù)說(shuō)明

示例

• 示例1：使用計(jì)算表達(dá)式。

  * | extend Duration = EndTime - StartTime

• 示例2：使用正則表達(dá)式。

  * | extend server_protocol_version=regexp_extract(server_protocol, '\d+')

• 示例3：提取JSON路徑內(nèi)容，并轉(zhuǎn)換部分字段的數(shù)據(jù)類型。

  • SPL語(yǔ)句

    *
    | extend a=json_extract(content, '$.body.a'), b=json_extract(content, '$.body.b')
    | extend b=cast(b as BIGINT)

  • 輸入數(shù)據(jù)

    content: '{"body": {"a": 1, "b": 2}}'

  • 輸出結(jié)果

    content: '{"body": {"a": 1, "b": 2}}'
    a: '1'
    b: 2

where

根據(jù)SQL表達(dá)式過(guò)濾數(shù)據(jù)，保留滿足SQL表達(dá)式的數(shù)據(jù)條目。where指令支持的SQL函數(shù)列表，請(qǐng)參見(jiàn)SPL支持的SQL函數(shù)列表。

語(yǔ)法

| where <sql-expr>

參數(shù)說(shuō)明

示例

• 示例1：根據(jù)字段內(nèi)容過(guò)濾數(shù)據(jù)條目。

  * | where userId='123'

• 示例2：使用匹配字段名的正則表達(dá)式過(guò)濾數(shù)據(jù)條目。

  * | where regexp_like(server_protocol, '\d+')

• 示例3：轉(zhuǎn)換數(shù)據(jù)類型后，匹配所有服務(wù)端錯(cuò)誤數(shù)據(jù)。

  * | where cast(status as BIGINT) >= 500

parse-regexp

提取指定字段中的正則表達(dá)式分組匹配信息。

語(yǔ)法

| parse-regexp <field>, <pattern> as <output>, ...

參數(shù)說(shuō)明

示例

• 示例1：探索式逐個(gè)進(jìn)行匹配。

  • SPL語(yǔ)句

    *
    | parse-regexp content, '(\S+)' as ip -- 生成字段ip: 10.0.0.0。
    | parse-regexp content, '\S+\s+(\w+)' as method -- 生成字段method: GET。

  • 輸入數(shù)據(jù)

    content: '10.0.0.0 GET /index.html 15824 0.043'

  • 輸出結(jié)果

    content: '10.0.0.0 GET /index.html 15824 0.043'
    ip: '10.0.0.0'
    method: 'GET'

• 示例2：完整模式匹配，使用非命名正則捕獲。

  • SPL語(yǔ)句

    * | parse-regexp content, '(\S+)\s+(\w+)' as ip, method

  • 輸入數(shù)據(jù)

    content: '10.0.0.0 GET /index.html 15824 0.043'

  • 輸出結(jié)果

    content: '10.0.0.0 GET /index.html 15824 0.043'
    ip: '10.0.0.0'
    method: 'GET'

parse-csv

提取指定字段中的CSV格式的信息。

語(yǔ)法

| parse-csv -delim=<delim> -quote=<quote> -strict <field> as <output>, ...

參數(shù)說(shuō)明

示例

• 示例1：簡(jiǎn)單數(shù)據(jù)匹配。

  • SPL語(yǔ)句

    * | parse-csv content as x, y, z

  • 輸入數(shù)據(jù)

    content: 'a,b,c'

  • 輸出結(jié)果

    content: 'a,b,c'
    x: 'a'
    y: 'b'
    z: 'c'

• 示例2：默認(rèn)使用雙引號(hào)作為引用符，匹配包含特殊字符的內(nèi)容。

  • SPL語(yǔ)句

    * | parse-csv content as ip, time, host

  • 輸入數(shù)據(jù)

    content: '192.168.0.100,"10/Jun/2019:11:32:16,127 +0800",example.aliyundoc.com'

  • 輸出結(jié)果

    content: '192.168.0.100,"10/Jun/2019:11:32:16,127 +0800",example.aliyundoc.com'
    ip: '192.168.0.100'
    time: '10/Jun/2019:11:32:16,127 +0800'
    host: 'example.aliyundoc.com'

• 示例3：使用多字符組合作為分隔符。

  • SPL語(yǔ)句

    * | parse-csv -delim='||' content as time, ip, req

  • 輸入數(shù)據(jù)

    content: '05/May/2022:13:30:28||127.0.0.1||POST /put?a=1&b=2'

  • 輸出結(jié)果

    content: '05/May/2022:13:30:28||127.0.0.1||POST /put?a=1&b=2'
    time: '05/May/2022:13:30:28'
    ip: '127.0.0.1'
    req: 'POST /put?a=1&b=2'

parse-json

提取指定字段中的第一層JSON信息。

語(yǔ)法

| parse-json -mode=<mode> -path=<path> -prefix=<prefix> <field>

參數(shù)說(shuō)明

示例

• 示例1：提取y字段中的所有鍵值。

  • SPL語(yǔ)句

    * | parse-json y

  • 輸入數(shù)據(jù)

    x: '0'
    y: '{"a": 1, "b": 2}'

  • 輸出結(jié)果

    x: '0'
    y: '{"a": 1, "b": 2}'
    a: '1'
    b: '2'

• 示例2：提取content字段中的body鍵對(duì)應(yīng)的內(nèi)容，并將其所有鍵值提取為字段。

  • SPL語(yǔ)句

    * | parse-json -path='$.body' content

  • 輸入數(shù)據(jù)

    content: '{"body": {"a": 1, "b": 2}}'

  • 輸出結(jié)果

    content: '{"body": {"a": 1, "b": 2}}'
    a: '1'
    b: '2'

• 示例3：指定字段值輸出模式為preserve，對(duì)于已有字段，保留原始值。

  • SPL語(yǔ)句

    * | parse-json -mode='preserve' y

  • 輸入數(shù)據(jù)

    a: 'xyz'
    x: '0'
    y: '{"a": 1, "b": 2}'

  • 輸出結(jié)果

    x: '0'
    y: '{"a": 1, "b": 2}'
    a: 'xyz'
    b: '2'

parse-kv

提取指定字段中的鍵值對(duì)信息。

語(yǔ)法

| parse-kv -mode=<mode> -prefix=<prefix> -regexp <field>, <pattern>

參數(shù)

示例

• 示例1：正則提取模式，處理復(fù)雜的鍵值對(duì)之間的定界符、以及鍵與值之間的分隔符。

  • SPL語(yǔ)句

    * | parse-kv -regexp content, '([^&?]+)(?:=|:)([^&?]+)'

  • 輸入數(shù)據(jù)

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 輸出數(shù)據(jù)

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'v1'
    k2: 'v2'
    k3: 'v3'

• 示例2：正則提取模式，并指定字段值輸出模式為preserve，對(duì)于已有字段，保留原始值。

  • SPL語(yǔ)句

    * | parse-kv -regexp -mode='preserve' content, '([^&?]+)(?:=|:)([^&?]+)'

  • 輸入數(shù)據(jù)

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'

  • 輸出結(jié)果

    content: 'k1=v1&k2=v2?k3:v3'
    k1: 'xyz'
    k2: 'v2'
    k3: 'v3'

• 示例3：正則提取模式，提取復(fù)雜非結(jié)構(gòu)數(shù)據(jù)，值格式為數(shù)字或者雙引號(hào)包裹的字符串。

  • SPL語(yǔ)句

    * | parse-kv -regexp content, '([^&?]+)(?:=|:)([^&?]+)'

  • 輸入數(shù)據(jù)

    content: 'verb="GET" URI="/healthz" latency="45.911μs" userAgent="kube-probe/1.30+" audit-ID="" srcIP="192.168.123.45:40092" contentType="text/plain; charset=utf-8" resp=200'

  • 輸出結(jié)果

    content: 'verb="GET" URI="/healthz" latency="45.911μs" userAgent="kube-probe/1.30+" audit-ID="" srcIP="192.168.123.45:40092" contentType="text/plain; charset=utf-8" resp=200'
    verb: 'GET'
    URI: '/healthz'
    latency: '45.911μs'
    userAgent: 'kube-probe/1.30+'
    audit-ID: ''
    srcIP: '192.168.123.45:40092'
    contentType: 'text/plain; charset=utf-8'
    resp: '200'