任務說明

• 任務類型

  • 按任務對數據的操作，可分為導入（Import）、導出（Export）和刪除（Evict）三種類型。

    類型	說明
    導入（Import）	將源端存儲的數據導入CPFS文件系統。 導入類型：支持導入元數據（Metadata）和數據（MetaAndData）兩種數據類型。 元數據：只導入文件的元數據。 數據：導入文件的元數據和數據。 導入路徑：是文件OSS Bucket中的路徑。數據流動任務按文件在OSS Bucket中的路徑導入到Fileset中。 如果導入文件或導入目錄無POSIX元數據屬性，則默認owner為root，默認permission為0770。
    導出（Export）	將位于數據流動Fileset內的指定的目錄或文件導出到OSS Bucket中。 導出路徑：文件或目錄在CPFS文件系統中的路徑。數據流動任務按文件在Fileset中的路徑導出到Bucket中。 空目錄、hard link和symbol link不能導出到OSS。 元數據導出：支持將文件的CreateTime、ModifyTime、Ownership、Permission導出到OSS Bucket，但文件的ChangeTime不會導出到OSS。 警告 CPFS會將元數據導出到OSS Bucket的自定義元數據中，其命名為x-oss-meta-afm-xxx，不能刪除或修改，否則文件系統中的元數據會錯誤。
    刪除（Evict）	將釋放CPFS上文件的數據，刪除后文件在CPFS上只保留元數據，您仍能看到該文件，但文件的數據塊已清除，不占用CPFS上的存儲空間，訪問該文件數據時，再從源端存儲（例如OSS）按需加載。 說明 刪除前，請務必確認對應文件在OSS上有最新的版本。

  • 按任務的發起者，分為用戶任務和系統任務兩種類型。

    類型	描述
    用戶任務	通過控制臺或者OpenAPI創建的數據流動任務（CreateDataFlowTask）。 可在控制臺的數據流動 > 任務管理面板中查詢。 用戶任務運行結束時會生成任務報告，保存在CPFS文件系統的.dataflow_report目錄中。
    系統任務	在配置元數據自動更新后，CPFS自動生成的任務，用于將OSS Bucket中更新的文件元數據同步到CPFS。 系統任務每隔自動更新間隔（分鐘）時間會自動生成，以同步OSS Bucket中更新的文件元數據。 可在控制臺的數據流動 > 任務管理面板中查詢。 系統任務不會生成任務報告。

• 任務執行范圍

  任務執行的范圍為目錄（Directory）或指定的文件列表（EntryList）。當執行范圍為目錄時，任務會遍歷該目錄樹中的所有文件。

創建數據流動任務

1. 登錄NAS控制臺。

2. 在左側導航欄，選擇文件系統>文件系統列表。

3. 在頂部菜單欄，選擇地域。

4. 在文件系統列表頁面，單擊目標文件系統名稱。

5. 在文件系統詳情頁面，單擊數據流動。

6. 在數據流動頁簽，找到目標數據流動，單擊任務管理。

7. 在任務管理面板，單擊創建任務。

8. 在創建任務面板，您可以創建不同類型的任務并配置任務詳情。

   導入數據

   配置項	說明
   導入數據類型	選擇導入數據的類型。 數據：同時導入文件的數據塊及元數據。 元數據：僅導入文件的元數據。 當僅導入文件的元數據時，您只能查詢到文件名，訪問該數據時，將會從源端按需加載。
   導入文件	選擇數據流動任務執行的目錄或者文件列表。 導入OSS此目錄下所有文件：指定OSS目錄必須以/開頭和結尾。 導入此文件中列出的所有對象：文件中每一行代表該文件在OSS Bucket中的路徑，不支持目錄。

   導出數據

   • 空目錄、hard link、symbol link不能導出到OSS Bucket。

   • 支持將文件的CreateTime、ModifyTime、Ownership、Permission導出到OSS Bucket，但文件的ChangeTime不會導出到OSS Bucket。

   • CPFS將元數據導出到OSS Bucket的自定義元數據中，名稱為x-oss-meta-afm-xxx，用戶不能刪除或修改，否則文件系統中的元數據會錯誤。

     配置項	說明
     導出文件	選擇數據流動任務執行的目錄或者文件列表。 導出CPFS此目錄下所有文件：目錄必須以正斜線（/）開頭和結尾，且是該目錄在CPFS文件系統中的路徑。 導出此文件列出的所有文件：文件中每一行代表一個文件在CPFS文件系統中的路徑，不支持目錄。

   刪除數據

   配置項	說明
   刪除文件	選擇數據流動任務執行的目錄或者文件列表。 刪除CPFS此目錄下所有文件：目錄必須以正斜線（/）開頭和結尾。 刪除此文件列出的所有文件：文件中每一行代表一個文件在CPFS文件系統中的路徑，不支持目錄。

9. 確認配置信息，單擊確定。

   說明

   執行指定的數據流動任務時，該數據流動的自動數據更新任務會被中斷并等待。

查看任務報告

1. 登錄NAS控制臺。

2. 在左側導航欄，選擇文件系統>文件系統列表。

3. 在頂部菜單欄，選擇地域。

4. 在文件系統列表頁面，單擊目標文件系統名稱。

5. 在文件系統詳情頁面，單擊數據流動。

6. 在數據流動頁簽，找到目標數據流動，單擊任務管理。

7. 在任務管理面板，在需要查看任務報告的操作列，選擇圖標 > 報告。

8. 獲取目標任務報告的詳細路徑并下載。

   說明

   • 任務報告僅生成用戶任務報告，系統任務不生成任務報告。

   • 請您在用戶任務結束后再查看任務報告，報告會保存在CPFS文件系統的.dataflow_report目錄中。

   任務報告示例：

   SUMMARY,dataflowId,taskId,userId,fsId,startDate,endData,total,succ,skip,failed,throughput_MBps
   FILE,path,status,size
   
   SUMMARY,df-0001,task-0001,1001,cpfs-1234,1632477577,1632477677,18,10,1,7,0.01
   FILE,test1/object1,cached,131072
   FILE,test1/object2,cached,131072

   類別	字段	說明
   任務統計信息（SUMMARY）	dataflowId	數據流動ID。
   	taskId	任務ID。
   	userId	用戶ID。
   	fsId	文件系統ID。
   	startDate	任務啟動時間（number of sec since Epoch）。
   	endDate	任務結束時間（number of sec since Epoch）。
   	total	任務操作的文件總數。
   	succ	成功完成任務操作的文件數。
   	skip	無需操作的文件數，例如導入任務中文件已導入。
   	failed	任務操作失敗的文件數。
   	throughput_MBps	任務執行過程中的平均吞吐（MB/s）。
   文件信息（FILE）	path	文件在Fileset中的路徑。
   	status	文件狀態信息。 cached：文件已導入或導出。 uncached：文件未導入。 dirty：文件在CPFS端有修改，未導出。 NA：文件不存在。
   	size	文件大小，單位為字節。

相關操作