準(zhǔn)備工作

• 已創(chuàng)建名為web-project的Project。具體操作，請(qǐng)參見管理Project。

• 在Project（web-project）中創(chuàng)建名為website_log的源Logstore。具體操作，請(qǐng)參見管理Logstore。

• 已采集網(wǎng)站訪問日志到源Logstore（website_log）。具體操作，請(qǐng)參見數(shù)據(jù)采集概述。

• 在Project（web-project）中創(chuàng)建目標(biāo)Logstore（website_fail）。

• 如果您使用的是RAM用戶，則需要先授予RAM用戶數(shù)據(jù)加工操作權(quán)限。具體操作，請(qǐng)參見授予RAM用戶數(shù)據(jù)加工操作權(quán)限。

• 已配置源Logstore和目標(biāo)Logstore的索引。具體操作，請(qǐng)參見創(chuàng)建索引。

背景信息

某網(wǎng)站將其所有的訪問日志存儲(chǔ)在Logstore（website_log）中，目前為了提升用戶體驗(yàn)，需要對(duì)用戶訪問錯(cuò)誤進(jìn)行分析。所以，需求是將訪問狀態(tài)碼為4XX的訪問日志篩選出來(lái)，同時(shí)過(guò)濾掉訪問的用戶個(gè)人信息，并將結(jié)果寫入新的Logstore（website_fail）,提供給業(yè)務(wù)分析人員使用。日志樣例如下：

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

步驟一：創(chuàng)建數(shù)據(jù)加工任務(wù)

1. 登錄日志服務(wù)控制臺(tái)。

2. 進(jìn)入數(shù)據(jù)加工頁(yè)面。

   1. 在Project列表區(qū)域，單擊目標(biāo)Project。

   2. 在日志存儲(chǔ) > 日志庫(kù)頁(yè)簽中，單擊目標(biāo)Logstore。

   3. 在查詢與分析頁(yè)面，單擊數(shù)據(jù)加工。

3. 在頁(yè)面右上角，選擇數(shù)據(jù)的時(shí)間范圍。

   選擇時(shí)間范圍后，請(qǐng)確認(rèn)原始日志頁(yè)簽中存在日志。

4. 在編輯框中，輸入如下加工SPL規(guī)則。

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. 調(diào)試SPL規(guī)則。

   1. 從原始數(shù)據(jù)中選擇測(cè)試數(shù)據(jù)，或者手動(dòng)填入測(cè)試數(shù)據(jù)。

   2. 點(diǎn)擊?，執(zhí)行調(diào)試運(yùn)行。

   3. 查看預(yù)覽結(jié)果。

6. 創(chuàng)建數(shù)據(jù)加工任務(wù)。

   1. 單擊保存數(shù)據(jù)加工（新版）。

   2. 在創(chuàng)建數(shù)據(jù)加工任務(wù)（新版）面板中，配置如下信息，然后單擊確定。

   參數(shù)	說(shuō)明
   任務(wù)名稱	數(shù)據(jù)加工任務(wù)的名稱。
   顯示名稱	數(shù)據(jù)加工顯示的名稱。
   任務(wù)描述	數(shù)據(jù)加工任務(wù)的描述。
   授權(quán)方式	您可以通過(guò)如下方式授予數(shù)據(jù)加工任務(wù)讀取源Logstore中數(shù)據(jù)的權(quán)限。 默認(rèn)角色：授予數(shù)據(jù)加工任務(wù)使用阿里云系統(tǒng)角色AliyunLogETLRole來(lái)讀取源Logstore中的數(shù)據(jù)。單擊授權(quán)系統(tǒng)角色AliyunLogETLRole，根據(jù)頁(yè)面提示完成授權(quán)。更多信息，請(qǐng)參見通過(guò)默認(rèn)角色訪問數(shù)據(jù)。 重要 如果您使用的是RAM用戶，需要由阿里云賬號(hào)先完成授權(quán)。 已完成授權(quán)的阿里云賬號(hào)，無(wú)需再次授權(quán)。 自定義角色：授予數(shù)據(jù)加工任務(wù)使用自定義角色來(lái)讀取源Logstore中的數(shù)據(jù)。 您需先授予自定義角色讀取源Logstore數(shù)據(jù)的權(quán)限，然后在角色ARN中輸入您自定義角色的ARN。如何授權(quán)，請(qǐng)參見通過(guò)自定義角色訪問數(shù)據(jù)。 密鑰：授予數(shù)據(jù)加工任務(wù)使用阿里云賬號(hào)或RAM用戶的訪問密鑰來(lái)讀取源Logstore中的數(shù)據(jù)。 阿里云主賬戶：阿里云賬號(hào)的訪問密鑰具備源Logstore數(shù)據(jù)讀取權(quán)限，您在AccessKey ID和AccessKey Secret中輸入阿里云賬號(hào)的訪問密鑰即可。如何獲取訪問密鑰，請(qǐng)參見訪問密鑰。 RAM用戶：您需先授予RAM用戶讀取源Logstore數(shù)據(jù)的權(quán)限，然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權(quán)，請(qǐng)參見通過(guò)訪問密鑰訪問數(shù)據(jù)。
   存儲(chǔ)目標(biāo)
   目標(biāo)名稱	存儲(chǔ)目標(biāo)的名稱。存儲(chǔ)目標(biāo)中包括Project、Logstore等配置。
   目標(biāo)Region	選擇目標(biāo)Project所在地域。 重要 數(shù)據(jù)加工（新版）目前僅支持同地域傳輸。
   目標(biāo)Project	用于存儲(chǔ)數(shù)據(jù)加工結(jié)果的目標(biāo)Project名稱。
   目標(biāo)庫(kù)	用于存儲(chǔ)數(shù)據(jù)加工結(jié)果的目標(biāo)Logstore名稱。
   授權(quán)方式	您可以通過(guò)如下方式授予數(shù)據(jù)加工任務(wù)寫目標(biāo)Logstore的權(quán)限。 默認(rèn)角色：授予數(shù)據(jù)加工任務(wù)使用阿里云系統(tǒng)角色AliyunLogETLRole將數(shù)據(jù)加工結(jié)果寫入目標(biāo)Logstore。 單擊授權(quán)系統(tǒng)角色AliyunLogETLRole，根據(jù)頁(yè)面提示完成授權(quán)。更多信息，請(qǐng)參見通過(guò)默認(rèn)角色訪問數(shù)據(jù)。 重要 如果您使用的是RAM用戶，需要由阿里云賬號(hào)先完成授權(quán)。 已完成授權(quán)的阿里云賬號(hào)，無(wú)需再次授權(quán)。 自定義角色：授予數(shù)據(jù)加工任務(wù)使用自定義角色將數(shù)據(jù)加工結(jié)果寫入目標(biāo)Logstore。您需先授予自定義角色寫數(shù)據(jù)到目標(biāo)Logstore的權(quán)限，然后在角色ARN中輸入您自定義角色的ARN。如何授權(quán)，請(qǐng)參見通過(guò)自定義角色訪問數(shù)據(jù)。 密鑰：授予數(shù)據(jù)加工任務(wù)使用阿里云賬號(hào)或RAM用戶的訪問密鑰將數(shù)據(jù)加工結(jié)果寫入目標(biāo)Logstore。 阿里云主賬戶：阿里云賬號(hào)的訪問密鑰具備寫數(shù)據(jù)到目標(biāo)Logstore的權(quán)限，您在AccessKey ID和AccessKey Secret中輸入阿里云賬號(hào)的訪問密鑰即可。如何獲取訪問密鑰，請(qǐng)參見訪問密鑰。 RAM用戶：您需先授予RAM用戶寫數(shù)據(jù)到目標(biāo)Logstore的權(quán)限，然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權(quán)，請(qǐng)參見通過(guò)訪問密鑰訪問數(shù)據(jù)。
   寫入結(jié)果集	需要寫入至當(dāng)前目標(biāo)Logstore的SPL規(guī)則處理結(jié)果集。支持__UNNAMED__，表示所有未命名的結(jié)果集。
   加工范圍
   時(shí)間范圍 （數(shù)據(jù)接收時(shí)間）	指定數(shù)據(jù)加工任務(wù)的時(shí)間范圍，詳細(xì)說(shuō)明如下： 所有：從Logstore接收到第一條日志的時(shí)間點(diǎn)開始數(shù)據(jù)加工任務(wù)，直到加工任務(wù)被手動(dòng)停止。 某時(shí)間開始：指定數(shù)據(jù)加工任務(wù)的開始時(shí)間，從該時(shí)間點(diǎn)開始加工，直到加工任務(wù)被手動(dòng)停止。 特定時(shí)間范圍：指定數(shù)據(jù)加工任務(wù)的起止時(shí)間，加工任務(wù)執(zhí)行到指定時(shí)間后自動(dòng)停止。
   高級(jí)選項(xiàng)
   高級(jí)參數(shù)配置	對(duì)于加工語(yǔ)句中需要使用的密碼信息（例如數(shù)據(jù)庫(kù)連接密碼），日志服務(wù)支持使用鍵值對(duì)形式保存在密鑰對(duì)中，即您可以在加工語(yǔ)句中通過(guò)res_local("key")進(jìn)行引用。 單擊+，可添加多個(gè)鍵值對(duì)。例如config.vpc.vpc_id.test1：vpc-uf6mskb0b****n9yj，表示RDS實(shí)例所屬的專有網(wǎng)絡(luò)ID。

7. 進(jìn)入目標(biāo)Logstore（website_fail），執(zhí)行查詢和分析操作。具體操作，請(qǐng)參見查詢和分析日志。

步驟二：觀測(cè)數(shù)據(jù)加工任務(wù)

1. 在左側(cè)導(dǎo)航欄中，選擇任務(wù)管理 > 數(shù)據(jù)加工。

2. 在加工任務(wù)列表中，單擊目標(biāo)加工任務(wù)。

3. 在數(shù)據(jù)加工概覽（新版）頁(yè)面，查看數(shù)據(jù)加工任務(wù)詳情。您可以查看任務(wù)詳情與狀態(tài)，修改、啟動(dòng)、停止和刪除任務(wù)等。具體操作，請(qǐng)參見管理數(shù)據(jù)加工（新版）任務(wù)。也可以觀測(cè)任務(wù)運(yùn)行狀態(tài)和運(yùn)行指標(biāo)，具體操作，請(qǐng)參見觀測(cè)與監(jiān)控?cái)?shù)據(jù)加工（新版）任務(wù)。