字段名稱沖突處理

在日志上傳或者SPL運行期間，基于大小寫敏感的處理可能會涉及字段名的沖突，如原始日志中同時存在Method和method字段名；針對不同的場景SPL會使用不同的方式進行字段沖突解決。

為了避免以下情況，建議在原始日志中規范輸入的字段。

運行結果中存在沖突

日志服務完整保留字段列表請參見保留字段。SPL讀取存儲在SLS的LogGroup結構數據作為輸入（LogGroup定義詳情請參見數據編碼方式），如果原始寫入日志服務的數據不符合標準LogGroup編碼規范，即某些保留字段并未按照標準編碼在對應位置，而是放在LogContent中，則SPL在讀取此類保留字段策略如下：

• 對于__source__、__topic__、__time__和__time_ns_part__字段，SPL會從標準LogGroup編碼結果中讀取值，忽略同名的LogContent字段。

• 對于以__tag__: 為前綴的Tag字段，SPL將優先從標準LogGroup編碼結果中讀取值，未取到再從LogContent中取值。例如對于字段__tag__:ip，優先從LogTag列表中讀取key為ip的字段，如果不存在，再從LogContent中的自定義日志字段中讀取key為__tag__:ip的 Log 字段。

全文字段__line__

如果在控制臺或者GetLogstoreLogs接口中想對原始日志進行過濾，可以使用__line__字段。

示例

• 在日志中搜索關鍵詞error。

* | where __line__ like '%error%'

• 如果日志中有字段名為__line__，需要使用反引號包裹，即 `__line__`來引用日志中的字段。

* | where `__line__` ='20'

新舊值類型不一致

直接保留輸入字段原始值。

示例

• 示例1：project重命名字段重名。

  • SPL語句

    * 
    | extend status=cast(status as BIGINT) -- status類型轉為BIGINT
    | project code=status -- code舊值類型為VARCHAR，新值為BIGINT，直接保留舊值

  • 輸入數據

    status: '200'
    code: 'Success'

  • 輸出結果

    code: 'Success'

• 示例2：parse-json提取字段重名。

  • SPL語句

    * 
    | extend status=cast(status as BIGINT) -- status類型轉為BIGINT
    | parse-json content -- status舊值類型為BIGINT，新值為VARCHAR，直接保留舊值

  • 輸入數據

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 200
    body: 'this is test'

新舊值類型一致

如果輸入值為null，直接使用新值填充。否則，由指令中指定的mode參數確定，定義如下表。

示例

• 示例1：project重命名字段重名，且類型相同，mode默認值為overwrite。

  • SPL語句

  * | project code=status -- code新舊值類型均為VARCHAR，根據overwrite引用新值

  • 輸入數據

    status: '200'
    code: 'Success'

  • 輸出結果

    code: '200'

• 示例2：parse-json提取字段重名，且類型相同，mode默認值為overwrite。

  • SPL語句

    * | parse-json content -- status新舊值類型均為VARCHAR，根據overwrite引用新值

  • 輸入數據

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: 'Success'
    body: 'this is test'

• 示例3：parse-json提取字段重名，且類型相同，mode指定為preserve。

  • SPL語句

    * | parse-json -mode='preserve' content -- status新舊值類型均為VARCHAR，根據preserve保留舊值

  • 輸入數據

    status: '200'
    content: '{"status": "Success", "body": "this is test"}'

  • 輸出結果

    content: '{"status": "Success", "body": "this is test"}'
    status: '200'
    body: 'this is test'

數據類型轉換

初始類型

除日志時間字段外，數據處理SPL的輸入字段的初始數據類型均為VARCHAR。在后續的處理邏輯中，如果涉及到強數據類型時，需要進行數據類型轉換。

示例

篩選出狀態碼為5xx的訪問日志時，需要將status字段的類型轉為BIGINT之后再進行比較。

* -- status字段的初始類型為VARCHAR
| where cast(status as BIGINT) >= 500 -- 將status字段的類型轉為BIGINT，再進行比較

類型保持

在SPL處理數據過程中，使用extend指令對字段進行數據類型轉換后，后續的處理邏輯將沿用轉換后的數據類型。

示例

* -- Logstore作為輸入數據，除時間字段外，所有字段初始類型為VARCHAR
| where __source__='127.0.0.1' -- 對__source__字段進行過濾
| extent status=cast(status as BIGINT) -- 將status字段的類型轉為BIGINT
| project status, content
| where status>=500 -- status字段的類型保持為BIGINT，可以直接與數字500做比較

產生null值

SPL處理數據過程中，如下兩個場景將產生null值：

1. SPL表達式中使用到的字段在輸入數據中不存在時，則將其值視為null值進行計算。

2. SPL表達式計算過程中出現異常，其計算結果即為null值。比如cast類型轉換失敗、數組越界等。

示例

1. 字段不存在時，計算代入null值。

• SPL語句

* | extend withoutStatus=(status is null)

• 輸入數據

# 條目1
status: '200'
code: 'Success'

# 條目2
code: 'Success'

• 輸出結果

# 條目1
status: '200'
code: 'Success'
withoutStatus: false

# 條目2
code: 'Success'
withoutStatus: true

2. 計算過程異常，計算結果為null值。

• SPL語句

  *
  | extend code=cast(code as BIGINT) -- code字段轉為BIGINT失敗
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=arr[10] -- 數組越界

• 輸入數據

  status: '200'
  code: 'Success'
  values: '[1,2,3]'

• 輸出結果

  status: '200'
  code: null
  values: [1, 2, 3]
  last: null

消除null值

為了消除計算過程中的null值，需使用COALESCE表達式將多個值按優先級聯合，獲取第一個非null值作為最終計算結果。在所有表達式計算結果都為null時，也可以設置最終默認值。

示例

讀取數組最后一個元素，如果數組為空，默認值為0。

• SPL語句

  *
  | extend values=json_parse(values)
  | extend values=cast(values as ARRAY(BIGINT))
  | extend last=COALESCE(values[3], values[2], values[1], 0)

• 輸入數據

  # 條目1
  values: '[1, 2, 3]'
  
  # 條目2
  values: '[]'

• 輸出結果

  # 條目1
  values: [1, 2, 3]
  last: 3
  
  # 條目2
  values: []
  last: 0