使用批處理對存儲空間(Bucket)中存量文件進行批量處理。例如將Bucket某個目錄中后綴為.docx的文件轉換成PDF格式、將所有MOV格式的文件轉碼為MP4等。
新版數據處理功能API、SDK支持在IMM服務接入點中的地域進行使用。
注意事項
批處理將對滿足條件的所有文件生成對應數據處理任務,請使用文件較少的前綴進行測試并驗證數據處理效果。
暫停批處理將立即停止生成新的數據處理任務,但已經提交生成的數據處理任務將會繼續正常運行。
輸出路徑應避免以輸入路徑為前綴,否則將導致觸發器循環觸發和源文件被覆蓋等非預期行為。
輸出路徑不能以
/
結尾,請填寫包含擴展名的完整輸出文件路徑,文件名支持使用變量。關于變量的更多信息,請參見變量。輸出路徑以非
/
結尾時,文件名需要至少包含一個變量,否則多個輸出文件將會互相覆蓋。使用{key}、{barename}、{basename}變量作為輸出路徑時,請確認輸出文件和輸入文件路徑不同,否則將導致源文件被覆蓋以及循環觸發。
創建批處理
登錄OSS管理控制臺。
在左側導航欄,單擊Bucket列表,然后單擊目標Bucket。
在左側導航欄,選擇數據處理。
根據需要選擇文檔處理、媒體處理或其他由智能媒體管理 (IMM) 提供的數據處理能力(以下以文檔處理為例進行介紹)。
單擊批處理頁簽,然后單擊創建批處理。
在創建批處理面板進行輸入配置、輸出配置、權限配置、通知配置。
參數
說明
輸入存儲桶
當前需要創建批處理的文件所在的Bucket。
選擇模式
可根據需要選中選擇文件或選擇前綴。
選擇文件:選擇特定的多個文件進行數據處理。
選擇前綴:對指定目錄中滿足特定規則的文件進行數據處理。
輸入路徑
當選擇模式選中選擇文件時,可選擇一個或多個需要進行數據處理的文件。
路徑前綴
當選擇模式選中選擇前綴時,可選擇文件的路徑前綴,配合過濾規則制定要進行數據處理的文件。
過濾規則
當選擇模式選中選擇前綴時,指定路徑前綴和過濾規則對要處理的文件進行過濾。
全部:對路徑前綴指定的目錄中所有文件進行處理。
文件前綴:對路徑前綴指定的目錄中文件名匹配到特定前綴的文件進行數據處理,多個前綴以半角逗號(,)分隔。
文件后綴:對路徑后綴指定的目錄中文件名匹配到特定后綴的文件進行數據處理,多個后綴以半角逗號(,)分隔。
樣式
選擇文件的處理樣式。如果沒有可以選擇的樣式,可單擊下拉列表中的添加樣式,添加新的樣式。
輸出路徑
選擇處理后文件的存儲路徑。
不支持以正斜線(/)結尾的路徑。建議您使用變量,否則多個任務的輸出結果會互相覆蓋。具體操作,請參見變量。
服務角色
授權給IMM服務以訪問其他云資源(例如OSS)的權限,建議使用服務角色
AliyunIMMBatchTriggerRole
。沒有服務角色時,您可以在云資源訪問授權頁面創建角色。消息隊列
選擇MNS主題。 任務結束時支持以消息通知的方式將處理結果發送到MNS。具體操作,請參見快速入門概述。
單擊確定。
批處理創建成功后會對每個存量文件生成對應的任務進行數據處理。執行任務會產生相應的費用。更多信息,請參見計費項。
查詢批處理
在左側導航欄,單擊Bucket列表,然后單擊目標Bucket。
根據需要進行數據處理的文件類型選擇文檔處理、媒體處理或其他由智能媒體管理 (IMM) 提供的數據處理能力。
選中批處理頁簽,查看批處理列表,單擊頁面下方翻頁按鈕可查看上一頁或下一頁。
批處理狀態說明如下表所示。
狀態
說明
就緒
任務就緒,剛創建的任務處于就緒狀態。
運行中
正在執行,正常執行的任務狀態。
成功
任務執行完成。
暫停
任務暫停。
失敗
任務失敗,任務執行出錯,且無法自動恢復。
在批處理ID搜索框輸入批處理ID,單擊搜索按鈕可以搜索指定的批處理。
單擊操作列的詳情可以查看批處理詳細信息。
單擊批處理ID前的展開按鈕,可以查看批處理的所有任務信息,可以根據源文件路徑和狀態來搜索任務,單擊操作列的詳情可以查看任務詳細信息。