快速預覽可免費、快速檢驗數據加工腳本語法正確性,驗證加工語句的輸出結果是否符合預期。本文介紹快速預覽的操作步驟及示例。
前提條件
已采集數據。具體操作,請參見數據采集。
操作步驟
登錄日志服務控制臺。
進入數據加工頁面。
在Project列表區域,單擊目標Project。
在 頁簽中,單擊目標Logstore。
在查詢和分析頁面,單擊數據加工。
在頁面右上角,選擇數據的時間范圍。
選擇時間范圍后,請確認原始日志頁簽中存在日志。
在編輯框中,輸入數據加工語句。
加工語句的語法請參見數據加工語法。
說明編輯框中的加工語句支持注釋,您可以使用此功能逐行調試。
預覽數據。
在頁面右上角,單擊快速。
在頁面下方,單擊測試數據。
在測試數據頁簽中,輸入測試數據。
測試數據包括基礎數據和維表數據。
在數據頁簽中設置測試數據。
您可以在原始日志頁簽中,找到一條目標日志,單擊加入測試數據,將該日志加入到測試數據中。您也可以手動輸入一條測試數據。
說明單次預覽的測試數據大小不超過1 MB。
多條測試數據之間用空行分隔。
跨行字段值使用Markdown編輯格式,通過
```
,識別整個字段。在數據頁簽中配設置的測試數據可以為KV格式或者JSON格式,其中KV格式數據使用英文冒號(:)連接字段名和字段值。
樣例1:包含2條測試數目,第1條是KV格式(包含1個跨行字段traceback),第2條是JSON格式。
time_local: 25/May/2020:01:56:22 user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18 "request:method": GET ``` traceback: Traceback (most recent call last): File "traceback_print_exc.py", line 20, in <module> produce_exception() File "/home/user/code/test.py", line 16, in produce_exception produce_exception(recursion_level-1) File "/home/user/code/test.py", line 18, in produce_exception raise RuntimeError() RuntimeError ``` { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }
樣例2:1個完整的JSON實例,包含3條測試數據。
[ { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" }, { "time_local": "25/May/2020:01:56:22", "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18", "request:method": "GET", "remote user": "john" } ]
在維表頁簽中設置測試數據。
維表用于快速預覽資源函數所涉及的資源。您可以輸入對應的維表數據樣本,用于數據預覽調試。
說明在維表頁簽中配設置的測試數據,如果是res_rds_mysql、res_log_logstore_pull資源函數對應的數據樣例必須為CSV格式,如果是res_oss_file、res_local資源函數對應的數據樣例可以為CSV格式,也可以為JSON格式。
樣例:包含2條測試數據,第1條是CSV格式,第2條是JSON格式。
ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang [ { "ip": "127.0.0.1", "country": "China", "province": "Shanghai" }, { "ip": "192.168.0.0", "country": "China", "province": "Zhejiang" } ]
單擊預覽數據。
說明單次預覽最多返回100條加工結果。
完成預覽設置后,您可以在加工結果頁簽中查看預覽結果。
如果加工語句錯誤或者權限配置錯誤,導致數據加工失敗,請根據頁面提示處理。
如果確認數據加工結果無誤,可保存加工結果。具體操作,請參見創建數據加工任務。
快速預覽示例
加工語句
在編輯框中輸入如下加工語句。
# e_set("insert_field", "test_value") e_table_map( res_rds_mysql( address="rm-uf6wjk5****.mysql.rds.aliyuncs.com", username="test_username", password="****", database="test_db", table="test_table", ), "ip", ["country", "province"], )
測試數據
在
頁簽中輸入如下內容。{ "id": "1001", "ip": "127.0.0.1" }
維表數據
在
頁簽中輸入如下內容。ip,country,province 127.0.0.1,China,Shanghai 192.168.0.0,China,Zhejiang
預覽結果