數(shù)據(jù)流動(dòng)概述
文件存儲(chǔ)CPFS與對(duì)象存儲(chǔ)OSS之間已實(shí)現(xiàn)數(shù)據(jù)流動(dòng)。您可以通過(guò)創(chuàng)建數(shù)據(jù)流動(dòng)任務(wù)實(shí)現(xiàn)不同源端的數(shù)據(jù)同步。
背景信息
當(dāng)CPFS Fileset與OSS Bucket創(chuàng)建數(shù)據(jù)流動(dòng)后，CPFS文件系統(tǒng)會(huì)自動(dòng)同步OSS Bucket中的對(duì)象元數(shù)據(jù)。同步完成后您能通過(guò)高性能且POSIX兼容的文件接口快速地處理OSS中的數(shù)據(jù)。同時(shí)，CPFS文件系統(tǒng)支持通過(guò)CPFS控制臺(tái)或OpenAPI將數(shù)據(jù)導(dǎo)出至OSS Bucket。
按需加載
CPFS文件系統(tǒng)與OSS Bucket建立數(shù)據(jù)流動(dòng)后，當(dāng)您訪問(wèn)CPFS目錄或文件時(shí)會(huì)按需從OSS上加載需要的元數(shù)據(jù)或數(shù)據(jù)。例如，執(zhí)行ls命令列出與OSS Bucket鏈接的目錄時(shí)，會(huì)按需從OSS加載目錄項(xiàng)的元數(shù)據(jù)，在訪問(wèn)文件時(shí)會(huì)按需從OSS加載文件的數(shù)據(jù)塊。
數(shù)據(jù)的導(dǎo)入與導(dǎo)出
您可以創(chuàng)建數(shù)據(jù)流動(dòng)任務(wù)實(shí)現(xiàn)CPFS與OSS之間的數(shù)據(jù)導(dǎo)入和導(dǎo)出，以便在計(jì)算任務(wù)開(kāi)始前將數(shù)據(jù)同步至高性能的CPFS文件系統(tǒng)上。CPFS支持目錄樹(shù)的整體導(dǎo)入和導(dǎo)出，也支持按照文件列表的導(dǎo)入和導(dǎo)出。用戶任務(wù)結(jié)束后，可通過(guò)任務(wù)報(bào)告檢查任務(wù)的執(zhí)行情況。
重要CPFS會(huì)將元數(shù)據(jù)導(dǎo)出到OSS Bucket的自定義元數(shù)據(jù)中，其命名為
x-oss-meta-afm-xxx，不能刪除或修改，否則文件系統(tǒng)中的元數(shù)據(jù)會(huì)錯(cuò)誤。元數(shù)據(jù)自動(dòng)更新
配置當(dāng)OSS的數(shù)據(jù)發(fā)生變化后，CPFS可通過(guò)OSS的數(shù)據(jù)修改事件監(jiān)控到元數(shù)據(jù)變化，并自動(dòng)將修改后的文件元數(shù)據(jù)同步到CPFS上。這樣可確保CPFS與OSS上的數(shù)據(jù)保持最終一致，從而節(jié)省運(yùn)維開(kāi)銷。
彈性伸縮
數(shù)據(jù)流動(dòng)的規(guī)格支持升配和降配，您可以在業(yè)務(wù)高峰時(shí)升級(jí)數(shù)據(jù)流動(dòng)帶寬，在業(yè)務(wù)低谷時(shí)對(duì)數(shù)據(jù)流動(dòng)帶寬降配。
使用限制
Fileset
僅CPFS 2.2.0及以上版本支持Fileset。
單個(gè)CPFS文件系統(tǒng)最多支持創(chuàng)建10個(gè)Fileset。
Fileset可鏈接到CPFS文件系統(tǒng)內(nèi)的目錄的深度最大為8層。
Fileset內(nèi)的文件或目錄數(shù)量上限是100萬(wàn)個(gè)。
不支持Fileset中嵌套Fileset。
數(shù)據(jù)流動(dòng)
僅CPFS 2.2.0及以上版本支持?jǐn)?shù)據(jù)流動(dòng)。
單個(gè)CPFS文件系統(tǒng)最多支持創(chuàng)建10個(gè)數(shù)據(jù)流動(dòng)。
單個(gè)數(shù)據(jù)流動(dòng)最多可配置5個(gè)自動(dòng)更新目錄。
單個(gè)CPFS文件系統(tǒng)的Fileset只能與一個(gè)OSS Bucket鏈接。
數(shù)據(jù)流動(dòng)任務(wù)的記錄最長(zhǎng)保留90天。
數(shù)據(jù)流動(dòng)任務(wù)報(bào)告保存在CPFS文件系統(tǒng)中，占用CPFS文件系統(tǒng)空間，最多可保存100萬(wàn)個(gè)。
CPFS文件系統(tǒng)不支持與其他區(qū)域的OSS Bucket創(chuàng)建數(shù)據(jù)流動(dòng)。
數(shù)據(jù)流動(dòng)對(duì)文件系統(tǒng)的限制
在數(shù)據(jù)流動(dòng)關(guān)聯(lián)的Fileset中，不可對(duì)非空目錄執(zhí)行重命名操作，否則報(bào)錯(cuò)
Permission Denied或者目錄非空。數(shù)據(jù)流動(dòng)不支持對(duì)象存儲(chǔ)OSS中的歸檔或者冷歸檔文件。
目錄、文件名中的特殊字符需要謹(jǐn)慎使用，支持大小寫(xiě)字母、數(shù)字、感嘆號(hào)（！）、短劃線（-）、下劃線（_）、半角句號(hào)（.）、星號(hào)（*）和半角圓括號(hào)（()）。
不支持超長(zhǎng)路徑，數(shù)據(jù)流動(dòng)支持的路徑最大長(zhǎng)度是1023字符。
數(shù)據(jù)流動(dòng)導(dǎo)出限制
數(shù)據(jù)流動(dòng)不支持導(dǎo)出Hard links類型數(shù)據(jù)和Symlinks類型數(shù)據(jù)至OSS Bucket。
數(shù)據(jù)流動(dòng)不支持將空目錄導(dǎo)出到OSS Bucket。
數(shù)據(jù)流動(dòng)不支持將ChangeTime屬性導(dǎo)出到OSS Bucket。
數(shù)據(jù)流動(dòng)導(dǎo)出稀疏數(shù)據(jù)時(shí)，0值會(huì)在填充后再導(dǎo)出到OSS Bucket。
使用流程
創(chuàng)建CPFS Fileset。具體操作，請(qǐng)參見(jiàn)創(chuàng)建Fileset。
創(chuàng)建數(shù)據(jù)流動(dòng)。具體操作，請(qǐng)參見(jiàn)創(chuàng)建數(shù)據(jù)流動(dòng)。
創(chuàng)建數(shù)據(jù)導(dǎo)入、數(shù)據(jù)導(dǎo)出或數(shù)據(jù)刪除任務(wù)。具體操作，請(qǐng)參見(jiàn)創(chuàng)建數(shù)據(jù)流動(dòng)任務(wù)。
性能指標(biāo)
操作類型 | 指標(biāo) | 說(shuō)明 |
導(dǎo)入數(shù)據(jù) | GB級(jí)以上文件吞吐 |
|
MB級(jí)文件OPS | 單目錄、多目錄導(dǎo)入：1000。 | |
導(dǎo)出數(shù)據(jù) | GB級(jí)以上文件吞吐 |
|
MB級(jí)文件OPS | 單目錄、多目錄導(dǎo)出：600。 | |
刪除數(shù)據(jù) | OPS | 單目錄、多目錄刪除：2000。 |
按需加載（Lazy-load） | GB級(jí)以上文件吞吐 |
|
MB級(jí)文件OPS | 單目錄、多目錄導(dǎo)入：1000。 | |
元數(shù)據(jù)自動(dòng)更新 | OPS |
|