OSS-HDFS服務支持在未部署任何導入和導出工具的情況下,直接將OSS元數據轉換為OSS-HDFS元數據。
前提條件
已開通并授權訪問OSS-HDFS服務。具體步驟,請參見開通OSS-HDFS服務。
僅華北3(張家口)地域支持將OSS元數據轉換為OSS-HDFS元數據。
已提交工單申請使用OSS-HDFS服務的元數據轉換功能。
使用限制
不支持將以下類型的OSS元數據轉換為OSS-HDFS元數據:歸檔類型Object、冷歸檔類型Object、深度冷歸檔類型Object、軟鏈接Symlink、通過追加上傳方式生成的Appendable類型Object、通過SSE-KMS或者SSE-OSS加密的Object。
對于轉換后的OSS-HDFS元數據,僅支持基礎的讀寫操作,不支持的接口和操作包括但不限于Append、Truncate、Concat、randomWrite、XAttr、ACL、Snapshot。
風險說明
元數據轉換任務開始執行后,請勿執行以下操作,否則導致轉換任務失敗。
請勿刪除文件
如果刪除被轉換的文件,可能導致轉換時找不到文件,造成轉換任務執行失敗。
請勿覆寫文件
如果覆寫被轉換的文件,可能導致覆寫的內容不會被轉換。
請勿在OSS-HDFS目的端上傳同名文件
如果在OSS-HDFS目的端上傳同名文件,可能導致文件名沖突,造成轉換任務執行失敗。
請勿修改轉換任務執行角色的權限
如果修改了轉換任務執行角色AliyunOSSDLSTransferRole或者AliyunOSSRole的權限,可能導致無權限執行轉換任務,造成轉換任務執行失敗。
請確保OSS中不存在同名文件和文件夾
如果轉換任務配置的前綴匹配了同名文件和文件夾,例如配置的轉換任務前綴為dir,OSS中存在文件dir以及文件夾dir/,可能出現只轉換文件或者文件夾,或者轉換任務失敗,具體以任務運行時的導入順序為準。
文件名不能以空格開頭或結尾。
以空格開頭或結尾的文件會轉換失敗,被記入不符合轉換條件的計數。
轉換后請務必確認數據完整性。
轉換完成后,請務必再次確保數據完整。原始數據不要立即刪除,可以通過轉換為歸檔等方式來保存。
操作步驟
新建數據轉換任務。
登錄OSS管理控制臺。
單擊Bucket 列表,然后單擊目標Bucket名稱。
在左側導航欄,選擇 。
單擊新建數據轉換任務。
重要默認情況下,最多支持配置3條轉換任務。
在數據轉換任務配置頁面,按以下說明配置必要參數,其他參數保留默認配置。
參數
說明
命中前綴
指定需要將哪些前綴的OSS數據轉換為OSS-HDFS,最多可支持指定10個前綴。
日志存放路徑
指定當前Bucket下用于存儲日志的路徑。
授權角色
下拉選擇新建角色,然后按照頁面指引完成AliyunOSSDLSTransferRole角色的創建操作,該角色用于授權數據轉換功能訪問您的云資源。
重要如果您此前已擁有AliyunOSSRole角色,也可以選擇使用該角色授權數據轉換功能訪問您的云資源。
單擊下一步,然后單擊確定。
此時,任務處于空閑狀態。
單擊當前任務右側操作欄下的啟動任務。
此時,任務處于運行中狀態,該狀態下后臺將掃描命中的文件,大約需要1小時完成掃描。待轉換任務完成后,任務將返回空閑狀態。
可選:單擊當前任務右側操作欄下的歷史記錄,查看導入信息。
轉換完成后,您可以在數據導入目錄下查看已成功轉換的文件,還可以前往導入的錯誤信息目錄下查看轉換失敗的原因。
可選:如果您在上一次轉換任務完成后,需要對與指定前綴匹配的OSS元數據再次進行轉換,需要先刪除已經轉換過的數據;或者更改轉換前綴,指定不重復的增量文件路徑,然后再次單擊啟動任務。
重要轉換任務不支持同名文件的重復轉換。
執行增量轉換任務過程中,雖然最終任務會失敗,但仍然會產生臨時數據,占用額外的存儲空間。因此,在執行重復轉換任務失敗之后,建議您查看歷史記錄中數據導入目錄下的數據存放地址,及時清理臨時數據。