基礎操作

• CPFS 2.2.0 及以上版本、CPFS 智算版 2.4.0 及以上版本支持數據流動。
• CPFS、CPFS 智算版狀態為運行中，才能創建數據流動。
• 一個文件存儲 CPFS 或者 CPFS 智算版文件系統最大允許創建 10 個數據流動。
• 創建數據流動一般耗時 2～5 分鐘，您可通過 DescribeDataFlows 檢查數據流動創建是否完成。

權限

創建數據流動時，文件存儲 CPFS 會獲取AliyunServiceRoleForNasOssDataflow和AliyunServiceRoleForNasEventNotification兩個服務關聯角色。更多信息，請參見 CPFS 服務關聯角色。

CPFS 使用說明

• 計費

  • 創建數據流動將按照數據流動帶寬計費。更多信息，請參見 CPFS 計費說明。
  • 使用自動更新（AutoRefresh）時，需要通過 EventBridge 收集源端 OSS 存儲的對象修改事件，事件將產生費用。更多信息，請參見 EventBridge 計費說明。

• 數據流動規格

  • 數據流動帶寬（Throughput）支持 600 MB/s、1200 MB/s 和 1500 MB/s 三種規格。數據流動帶寬是指該數據流動進行導入或導出數據時能達到的最大傳輸帶寬。
  • 創建一個數據流動，會消耗 1 個文件存儲 CPFS 掛載點使用的 vSwitch IP 地址，請您確保該 vSwitch IP 資源充足。
  • 庫存查詢：當設置 DryRun 為 true 時，可校驗創建該規格的數據流動的資源是否滿足。

• Fileset

  • 數據流動的目的端是 CPFS 文件系統中的 Fileset。Fileset 是 CPFS 文件系統中一種新的目錄樹結構，是在父文件系統中的一個小型文件系統，擁有獨立的 inode 空間和管理能力。
  • 當文件系統類型為 CPFS 時，創建數據流動時該 Fileset 必須已存在，且不能與其他 Fileset 嵌套。一個 Fileset 上只能創建一個數據流動，對應一個源端存儲。
  • Fileset 內的文件數量上限是 100 萬，如果從 OSS Bucket 導入的文件數量超過上限，創建新文件會報錯no space。

• 自動更新

  • 配置自動更新（AutoRefresh）后，當源端存儲數據發生變化時，變化的元數據會自動同步到 CPFS 文件系統，變化的數據會在用戶訪問文件時按需加載，或者啟動數據流動任務加載數據。
  • 自動更新依賴 EventBridge 收集源端 OSS 存儲的對象修改事件。需要先開通 EventBridge 服務。
  • 自動更新的作用范圍是 prefix，由參數 RefreshPath 指定。一個數據流動最多可配置 5 個自動更新目錄。
  • 自動更新間隔（AutoRefreshInterval）指 CPFS 設置的自動更新時間，檢查源端 OSS Bucket 該 prefix 內是否存在數據更新，如果有數據更新則啟動自動更新任務。當 OSS 源端的對象修改事件頻率超過 CPFS 數據流動處理能力時，自動更新任務會堆積，元數據更新會延遲，數據流動的狀態為Misconfigured，您可以提升數據流動規格，或者降低 OSS 修改頻率來解決。
  • 在文件存儲 CPFS 數據流動對 prefix 配置自動更新時，會在用戶側創建事件總線，并創建源端 OSS Bucket 的 prefix 的事件規則。當源端 OSS Bucket 的 prefix 內發生對象修改后，會在 EventBridge 中產生 OSS 事件，由 CPFS 數據流動處理。
  說明 文件存儲 CPFS 在 EventBridge 創建的事件總線、事件規則帶有Create for cpfs auto refresh的描述，事件總線、事件規則都不能修改或刪除，否則自動更新無法正常工作。

• 源端存儲

  • 源端存儲僅支持 OSS。數據流動的源端存儲（SourceStorage）必須是 OSS Bucket。
  • CPFS 數據流動支持加密和非加密兩種方式訪問 OSS。選擇加密（SSL）方式訪問 OSS 時，需確認 OSS Bucket 的傳輸加密支持加密訪問方式。
  • 如果多個 CPFS 的數據流動、或者同一個文件存儲 CPFS 的多個數據流動的源端存儲是同一個 OSS Bucket，為了防止多個文件存儲 CPFS 向同一個源導出數據產生數據沖突，需要該 OSS Bucket 開啟版本控制。
  • 不支持跨地域的 OSS 數據流動，OSS Bucket 必須與 CPFS 文件系統在同一個地域。
  說明 創建數據流動前，您需要先給源端 OSS Bucket 設置標簽（key: cpfs-dataflow, value: true），以便 CPFS 數據流動訪問該 Bucket 的數據。在數據流動的使用過程中，不能刪除和修改該標簽，否則 CPFS 數據流動無法訪問 Bucket 的數據。

CPFS 智算版使用說明

• 源端存儲

  • 源端存儲僅支持 OSS。數據流動的源端存儲（SourceStorage）必須是 OSS Bucket。
  • CPFS 智算版數據流動支持加密和非加密兩種方式訪問 OSS。選擇加密（SSL）方式訪問 OSS 時，需確認 OSS Bucket 的傳輸加密支持加密訪問方式。
  • 如果多個 CPFS 智算版的數據流動、或者同一個 CPFS 智算版的多個數據流動的源端存儲是同一個 OSS Bucket，為了防止多個 CPFS 智算版向同一個源導出數據產生數據沖突，需要該 OSS Bucket 開啟版本控制。
  • 不支持跨地域的 OSS 數據流動，OSS Bucket 必須與 CPFS 文件系統在同一個地域。
  • CPFS 智算版 2.6.0 及以上版本支持使用跨賬號 OSS 進行數據流動的創建。
  • 只有在使用跨賬號的 OSS 時，需要設置 account id 參數。
  • 使用跨賬號的 OSS 時，需要先進行賬號授權。具體授權請參考跨賬號數據流動授權。
    說明 創建數據流動前，您需要先給源端 OSS Bucket 設置標簽（key: cpfs-dataflow, value: true），以便 CPFS 智算版數據流動訪問該 Bucket 的數據。在數據流動的使用過程中，不能刪除和修改該標簽，否則 CPFS 智算版數據流動無法訪問 Bucket 的數據。

• 數據流動對文件系統的限制

  • 在數據流動關聯的文件系統路徑中，不可對非空目錄執行重命名操作，否則報錯 Permission Denied 或者目錄非空。
  • 目錄、文件名中的特殊字符需要謹慎使用，支持大小寫字母、數字、感嘆號（！）、短劃線（-）、下劃線（_）、半角句號（.）、星號（*）和半角圓括號（()）。
  • 不支持超長路徑，數據流動支持的路徑最大長度是 1023 字符。

• 數據流動導入限制

  • Symlink 類型的文件導入到 CPFS 智算版后，會轉變為包含數據的普通文件，并丟失 Symlink 信息。
  • 如果 OSS Bucket 存在多個版本，則只復制最新的版本。
  • 不支持長度大于 255 字節的文件名或子目錄名。

• 數據流動導出限制

  • Symlink 類型的文件在同步到 OSS 后，不會同步 Symlink 所指向的文件，而是會變成一個普通的無數據空白對象。
  • Hardlink 類型的文件僅作為普通文件同步到 OSS。
  • Socket、Device、Pipe 類型的文件導出到 OSS Bucket 時，會變成一個普通的無數據空白對象。
  • 不支持長度大于 1023 字符的目錄路徑。