創(chuàng)建數(shù)據(jù)加工任務(wù)
日志服務(wù)支持您使用數(shù)據(jù)加工讀取源Logstore中的數(shù)據(jù),對數(shù)據(jù)進行加工處理后,寫入到不同的目標Logstore中。您也可以對加工后的數(shù)據(jù)進行查詢和分析,進一步發(fā)掘數(shù)據(jù)價值。本文介紹如何在日志服務(wù)控制臺上創(chuàng)建數(shù)據(jù)加工任務(wù)。
前提條件
已采集數(shù)據(jù)到日志服務(wù)。具體操作,請參見數(shù)據(jù)采集。
如果您使用的是RAM用戶,則需要先授予RAM用戶數(shù)據(jù)加工操作權(quán)限。具體操作,請參見授予RAM用戶數(shù)據(jù)加工操作權(quán)限。
操作步驟
登錄日志服務(wù)控制臺。
進入數(shù)據(jù)加工頁面。
在Project列表區(qū)域,單擊目標Project。
在 頁簽中,單擊目標Logstore。
在查詢和分析頁面,單擊數(shù)據(jù)加工。
在頁面右上角,選擇數(shù)據(jù)的時間范圍。
選擇時間范圍后,請確認原始日志頁簽中存在日志。
在編輯框中,輸入數(shù)據(jù)加工語句。
加工語句的語法請參見數(shù)據(jù)加工語法。
預覽數(shù)據(jù)。
單擊快速。
日志服務(wù)支持快速預覽和高級預覽。更多信息,請參見預覽調(diào)試概述。
單擊預覽數(shù)據(jù)。
查看預覽結(jié)果。
如果加工語句錯誤或者權(quán)限配置錯誤,導致數(shù)據(jù)加工失敗,請根據(jù)頁面提示處理。
如果確認數(shù)據(jù)加工結(jié)果無誤,請執(zhí)行步驟6。
創(chuàng)建數(shù)據(jù)加工任務(wù)。
單擊保存數(shù)據(jù)加工(舊版)。
在創(chuàng)建數(shù)據(jù)加工任務(wù)面板中,配置如下信息,然后單擊確定。
參數(shù)
說明
任務(wù)名稱
數(shù)據(jù)加工任務(wù)的名稱。
顯示名稱
數(shù)據(jù)加工顯示的名稱。
任務(wù)描述
數(shù)據(jù)加工任務(wù)的描述。
授權(quán)方式
您可以通過如下方式授予數(shù)據(jù)加工任務(wù)讀取源Logstore數(shù)據(jù)的權(quán)限。
默認角色:授予數(shù)據(jù)加工任務(wù)使用阿里云系統(tǒng)角色AliyunLogETLRole來讀取源Logstore中的數(shù)據(jù)。
自定義角色:授予數(shù)據(jù)加工任務(wù)使用自定義角色來讀取源Logstore中的數(shù)據(jù)。
您需先授予自定義角色讀取源Logstore數(shù)據(jù)的權(quán)限,然后在角色ARN中輸入您自定義角色的ARN。如何授權(quán),請參見通過自定義角色訪問數(shù)據(jù)。
密鑰:授予數(shù)據(jù)加工任務(wù)使用阿里云賬號或RAM用戶的訪問密鑰來讀取源Logstore中的數(shù)據(jù)。
阿里云賬號:阿里云賬號的訪問密鑰具備源Logstore數(shù)據(jù)讀取權(quán)限,您在AccessKey ID和AccessKey Secret中輸入阿里云賬號的訪問密鑰即可。如何獲取訪問密鑰,請參見訪問密鑰。
RAM用戶:您需先授予RAM用戶讀取源Logstore數(shù)據(jù)的權(quán)限,然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權(quán),請參見通過訪問密鑰訪問數(shù)據(jù)。
存儲目標
目標名稱
存儲目標的名稱。存儲目標中包括Project、Logstore等配置。
日志服務(wù)支持創(chuàng)建多個存儲目標,將數(shù)據(jù)加工結(jié)果存儲到多個Logstore中,相關(guān)說明如下:
您可以在數(shù)據(jù)加工語句中,使用e_output函數(shù)或e_coutput函數(shù)中的name參數(shù)定義目標名稱。更多信息,請參見e_output、e_coutput。
如果數(shù)據(jù)加工語句中沒有使用e_output函數(shù),則默認將數(shù)據(jù)加工結(jié)果寫入到第1個存儲目標的Logstore中。
如果只有1個目標Logstore,則一般無需在加工語句中使用e_output函數(shù)。
如果您在e_output函數(shù)或e_coutput函數(shù)中設(shè)置了name、project和logstore參數(shù),又在此處設(shè)置目標Project、目標庫,最終以e_output函數(shù)或e_coutput函數(shù)中設(shè)置的為準。
目標Region
選擇目標Project所在地域。
跨地域數(shù)據(jù)加工使用HTTPS協(xié)議傳輸,確保日志數(shù)據(jù)的私密性。
跨地域數(shù)據(jù)加工使用公網(wǎng)傳輸數(shù)據(jù),可能因為公網(wǎng)傳輸網(wǎng)絡(luò)的不確定性導致加工任務(wù)出現(xiàn)延遲。您可以選中DCDN加速復選框,加快跨地域傳輸速度。在使用DCDN加速時,需確保對應(yīng)的Project已開啟加速功能。更多信息,請參見采集加速。
說明跨地域數(shù)據(jù)加工按公網(wǎng)流量(壓縮后)計費。更多信息,請參見按使用功能計費模式計費項。
目標Project
用于存儲數(shù)據(jù)加工結(jié)果的目標Project名稱。
目標庫
用于存儲數(shù)據(jù)加工結(jié)果的目標Logstore名稱。
授權(quán)方式
您可以通過如下方式授予數(shù)據(jù)加工任務(wù)寫數(shù)據(jù)到目標Logstore的權(quán)限。
默認角色:授予數(shù)據(jù)加工任務(wù)使用阿里云系統(tǒng)角色AliyunLogETLRole將數(shù)據(jù)加工結(jié)果寫入目標Logstore。
自定義角色:授予數(shù)據(jù)加工任務(wù)使用自定義角色將數(shù)據(jù)加工結(jié)果寫入目標Logstore。
您需先授予自定義角色寫數(shù)據(jù)到目標Logstore的權(quán)限,然后在角色ARN中輸入您自定義角色的ARN。如何授權(quán),請參見通過自定義角色訪問數(shù)據(jù)。
密鑰:授予數(shù)據(jù)加工任務(wù)使用阿里云賬號或RAM用戶的訪問密鑰將數(shù)據(jù)加工結(jié)果寫入目標Logstore。
阿里云賬號:阿里云賬號的訪問密鑰具備寫數(shù)據(jù)到目標Logstore的權(quán)限,您在AccessKey ID和AccessKey Secret中輸入阿里云賬號的訪問密鑰即可。如何獲取訪問密鑰,請參見訪問密鑰。
RAM用戶:您需先授予RAM用戶寫數(shù)據(jù)到目標Logstore的權(quán)限,然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權(quán),請參見通過訪問密鑰訪問數(shù)據(jù)。
加工范圍
時間范圍
指定數(shù)據(jù)加工任務(wù)的時間范圍,詳細說明如下:
說明此處的時間范圍依賴日志的接收時間。
所有:從Logstore接收到第一條日志的時間點開始數(shù)據(jù)加工任務(wù),直到加工任務(wù)被手動停止。
某時間開始:指定數(shù)據(jù)加工任務(wù)的開始時間,從該時間點開始加工,直到加工任務(wù)被手動停止。
特定時間范圍:指定數(shù)據(jù)加工任務(wù)的起止時間,加工任務(wù)執(zhí)行到指定時間后自動停止。
高級選項
高級參數(shù)配置
對于加工語句中需要使用的密碼信息(例如數(shù)據(jù)庫連接密碼),日志服務(wù)支持使用鍵值對形式保存在密鑰對中,即您可以在加工語句中通過
res_local("key")
進行引用。單擊+,可添加多個鍵值對。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS實例所屬的專有網(wǎng)絡(luò)ID。
后續(xù)步驟
創(chuàng)建數(shù)據(jù)加工任務(wù)后,您可以執(zhí)行如下操作。
在數(shù)據(jù)加工概覽頁面中,查看數(shù)據(jù)加工任務(wù)詳情,修改加工任務(wù),停止加工任務(wù)等操作。更多信息,請參見管理數(shù)據(jù)加工任務(wù)。
在目標Logstore中,執(zhí)行查詢和分析操作。具體操作,請參見查詢和分析日志。