數(shù)據(jù)流動任務(wù)
CPFS智算版提供批式任務(wù)和流式任務(wù)兩種任務(wù)類型，您可以根據(jù)業(yè)務(wù)場景選擇適合的任務(wù)類型。
批式任務(wù)
批式任務(wù)是將一個目錄的所有文件一次性導(dǎo)入到另一個目錄。適用于智算訓(xùn)練前數(shù)據(jù)集的預(yù)加載。
流式任務(wù)
流式任務(wù)是一個目錄到另一個目錄的單個文件粒度的持續(xù)流動。適用于計算任務(wù)訓(xùn)練中模型多個Checkpoint文件持續(xù)性的寫回與加載場景。
僅CPFS智算版2.6.0及以上版本支持流式任務(wù)。
僅支持通過OpenAPI使用流式任務(wù)。具體操作，請參見數(shù)據(jù)流動流式任務(wù)最佳實踐。
任務(wù)說明
按任務(wù)對數(shù)據(jù)的操作，可分為導(dǎo)入（Import）、導(dǎo)出（Export）、流式導(dǎo)入（StreamImport）、流式導(dǎo)出（StreamExport）四種類型。
類型 | 說明 |
導(dǎo)入（Import） | 將源端存儲的數(shù)據(jù)一次性導(dǎo)入CPFS智算版文件系統(tǒng)。
|
導(dǎo)出（Export） | 將CPFS智算版文件系統(tǒng)內(nèi)指定的數(shù)據(jù)一次性導(dǎo)出到OSS Bucket中。 導(dǎo)出路徑：文件或目錄在CPFS智算版文件系統(tǒng)中的路徑。數(shù)據(jù)流動任務(wù)按文件在文件系統(tǒng)中的路徑導(dǎo)出到Bucket中。 警告
|
流式導(dǎo)入（StreamImport） | 將源端存儲指定的數(shù)據(jù)按單個文件粒度的子任務(wù)形式導(dǎo)入到CPFS智算版文件系統(tǒng)。僅支持通過OpenAPI進(jìn)行操作。
|
流式導(dǎo)出（StreamExport） | 將CPFS智算版文件系統(tǒng)內(nèi)指定的數(shù)據(jù)按單個文件粒度的子任務(wù)形式導(dǎo)出到OSS Bucket中。僅支持通過OpenAPI進(jìn)行操作。 導(dǎo)出路徑：文件或目錄在CPFS智算版文件系統(tǒng)中的路徑。數(shù)據(jù)流動任務(wù)按文件在文件系統(tǒng)中的路徑導(dǎo)出到Bucket中。 |