數據流動概述
文件存儲CPFS與對象存儲OSS之間已實現數據流動。您可以通過創建數據流動任務實現不同源端的數據同步。
背景信息
當CPFS Fileset與OSS Bucket創建數據流動后，CPFS文件系統會自動同步OSS Bucket中的對象元數據。同步完成后您能通過高性能且POSIX兼容的文件接口快速地處理OSS中的數據。同時，CPFS文件系統支持通過CPFS控制臺或OpenAPI將數據導出至OSS Bucket。
按需加載
CPFS文件系統與OSS Bucket建立數據流動后，當您訪問CPFS目錄或文件時會按需從OSS上加載需要的元數據或數據。例如，執行ls命令列出與OSS Bucket鏈接的目錄時，會按需從OSS加載目錄項的元數據，在訪問文件時會按需從OSS加載文件的數據塊。
數據的導入與導出
您可以創建數據流動任務實現CPFS與OSS之間的數據導入和導出，以便在計算任務開始前將數據同步至高性能的CPFS文件系統上。CPFS支持目錄樹的整體導入和導出，也支持按照文件列表的導入和導出。用戶任務結束后，可通過任務報告檢查任務的執行情況。
重要CPFS會將元數據導出到OSS Bucket的自定義元數據中，其命名為
x-oss-meta-afm-xxx，不能刪除或修改，否則文件系統中的元數據會錯誤。元數據自動更新
配置當OSS的數據發生變化后，CPFS可通過OSS的數據修改事件監控到元數據變化，并自動將修改后的文件元數據同步到CPFS上。這樣可確保CPFS與OSS上的數據保持最終一致，從而節省運維開銷。
彈性伸縮
數據流動的規格支持升配和降配，您可以在業務高峰時升級數據流動帶寬，在業務低谷時對數據流動帶寬降配。
使用限制
Fileset
僅CPFS 2.2.0及以上版本支持Fileset。
單個CPFS文件系統最多支持創建10個Fileset。
Fileset可鏈接到CPFS文件系統內的目錄的深度最大為8層。
Fileset內的文件或目錄數量上限是100萬個。
不支持Fileset中嵌套Fileset。
數據流動
僅CPFS 2.2.0及以上版本支持數據流動。
單個CPFS文件系統最多支持創建10個數據流動。
單個數據流動最多可配置5個自動更新目錄。
單個CPFS文件系統的Fileset只能與一個OSS Bucket鏈接。
數據流動任務的記錄最長保留90天。
數據流動任務報告保存在CPFS文件系統中，占用CPFS文件系統空間，最多可保存100萬個。
CPFS文件系統不支持與其他區域的OSS Bucket創建數據流動。
數據流動對文件系統的限制
在數據流動關聯的Fileset中，不可對非空目錄執行重命名操作，否則報錯
Permission Denied或者目錄非空。數據流動不支持對象存儲OSS中的歸檔或者冷歸檔文件。
目錄、文件名中的特殊字符需要謹慎使用，支持大小寫字母、數字、感嘆號（！）、短劃線（-）、下劃線（_）、半角句號（.）、星號（*）和半角圓括號（()）。
不支持超長路徑，數據流動支持的路徑最大長度是1023字符。
數據流動導出限制
數據流動不支持導出Hard links類型數據和Symlinks類型數據至OSS Bucket。
數據流動不支持將空目錄導出到OSS Bucket。
數據流動不支持將ChangeTime屬性導出到OSS Bucket。
數據流動導出稀疏數據時，0值會在填充后再導出到OSS Bucket。
使用流程
性能指標
操作類型 | 指標 | 說明 |
導入數據 | GB級以上文件吞吐 |
|
MB級文件OPS | 單目錄、多目錄導入：1000。 | |
導出數據 | GB級以上文件吞吐 |
|
MB級文件OPS | 單目錄、多目錄導出：600。 | |
刪除數據 | OPS | 單目錄、多目錄刪除：2000。 |
按需加載（Lazy-load） | GB級以上文件吞吐 |
|
MB級文件OPS | 單目錄、多目錄導入：1000。 | |
元數據自動更新 | OPS |
|