數(shù)據(jù)下載
在文件網(wǎng)關(guān)復(fù)制模式下,您可以使用數(shù)據(jù)下載功能將OSS Bucket中的數(shù)據(jù)下載至本地客戶端。
前提條件
已創(chuàng)建文件網(wǎng)關(guān)并添加緩存。更多信息,請(qǐng)參見(jiàn)管理文件網(wǎng)關(guān)及添加緩存。
已創(chuàng)建OSS Bucket。更多信息,請(qǐng)參見(jiàn)控制臺(tái)創(chuàng)建存儲(chǔ)空間。
重要文件網(wǎng)關(guān)僅支持標(biāo)準(zhǔn)(Standard)類型、低頻訪問(wèn)(IA)類型和歸檔存儲(chǔ)類型的OSS Bucket。不支持回源特性的OSS Bucket。
不建議網(wǎng)關(guān)直接對(duì)接歸檔類型的存儲(chǔ)桶。如果文件寫入后長(zhǎng)時(shí)間不會(huì)修改,可以考慮使用標(biāo)準(zhǔn)類型或者低頻類型的存儲(chǔ)桶,然后以生命周期的方式將文件的存儲(chǔ)類型修改為歸檔類型或者冷歸檔類型,減少不必要的解凍動(dòng)作,這種方案從成本以及效率的角度來(lái)看都更優(yōu)于其他方案。
客戶端寫入文件到網(wǎng)關(guān)時(shí),網(wǎng)關(guān)至少記錄兩個(gè)動(dòng)作:寫入文件以及設(shè)置文件修改時(shí)間。網(wǎng)關(guān)會(huì)盡量合并這兩個(gè)動(dòng)作,但仍可能針對(duì)某個(gè)文件向存儲(chǔ)桶發(fā)起多個(gè)操作。設(shè)置修改時(shí)間會(huì)被轉(zhuǎn)換成修改存儲(chǔ)桶里的對(duì)象的元數(shù)據(jù),通過(guò)調(diào)用拷貝對(duì)象API來(lái)實(shí)現(xiàn),如果是歸檔類型或者冷歸檔類型的文件,則需要執(zhí)行耗時(shí)的解凍動(dòng)作,影響上傳效率,甚至可能因?yàn)榫彺姹P內(nèi)的數(shù)據(jù)來(lái)不及上傳導(dǎo)致寫入失敗。
文件網(wǎng)關(guān)使用反向同步或極速同步。具體操作,請(qǐng)參見(jiàn)極速同步。
背景信息
在默認(rèn)情況下,文件網(wǎng)關(guān)通過(guò)反向同步或極速同步將OSS Bucket元數(shù)據(jù)同步到本地客戶端。文件網(wǎng)關(guān)復(fù)制模式下數(shù)據(jù)會(huì)在本地客戶端和OSS Bucket分別有一份拷貝。新增數(shù)據(jù)下載功能,實(shí)現(xiàn)文件網(wǎng)關(guān)通過(guò)反向同步或極速同步的文件數(shù)據(jù)可以下載指定路徑目錄文件數(shù)據(jù)或全量數(shù)據(jù)至本地客戶端。
經(jīng)公網(wǎng)下載數(shù)據(jù)會(huì)產(chǎn)生OSS服務(wù)費(fèi)用,您可以根據(jù)自己的需求進(jìn)行選擇使用。更多信息,請(qǐng)參見(jiàn)計(jì)費(fèi)概述。
新建共享目錄開(kāi)啟數(shù)據(jù)下載
在云存儲(chǔ)網(wǎng)關(guān)控制臺(tái)的網(wǎng)關(guān)列表頁(yè)面,找到并單擊目標(biāo)文件網(wǎng)關(guān),單擊 。
在配置頁(yè)面,完成共享配置。具體操作,請(qǐng)參見(jiàn)創(chuàng)建共享。
在高級(jí)設(shè)置頁(yè)面中需額外配置以下參數(shù),然后單擊下一步。
參數(shù)
說(shuō)明
模式
開(kāi)啟復(fù)制模式功能。
反向同步
開(kāi)啟反向同步功能,將OSS上的元數(shù)據(jù)同步回本地,適用于網(wǎng)關(guān)容災(zāi)和數(shù)據(jù)恢復(fù)/共享場(chǎng)景。
由于反向同步只在訪問(wèn)目錄時(shí)觸發(fā),為確保未訪問(wèn)目錄中的數(shù)據(jù)及新增數(shù)據(jù)能及時(shí)下載,推薦使用極速同步。更多信息,請(qǐng)參見(jiàn)極速同步。
說(shuō)明反向同步會(huì)掃描Bucket下的所有對(duì)象,如果對(duì)象數(shù)量較多,會(huì)產(chǎn)生OSS API請(qǐng)求費(fèi)用。具體費(fèi)用,請(qǐng)參見(jiàn)對(duì)象存儲(chǔ) OSS 定價(jià)頁(yè)中的請(qǐng)求費(fèi)用。
如果您在基本信息頁(yè)簽中勾選了加入同步組,則此選項(xiàng)不可用。
反向同步時(shí)間間隔
最小值為15s,最大值為36000s。
說(shuō)明如果Bucket內(nèi)的對(duì)象比較多,建議反向同步間隔大于3600s,否則會(huì)由于反復(fù)掃描產(chǎn)生大量的OSS API的請(qǐng)求費(fèi)用。
復(fù)制模式高級(jí)選項(xiàng)
勾選復(fù)制模式高級(jí)選項(xiàng)。
在復(fù)制模式高級(jí)設(shè)置頁(yè)面完成以下參數(shù)配置,開(kāi)啟數(shù)據(jù)下載。
參數(shù)
說(shuō)明
配置復(fù)制目錄
此配置項(xiàng)可以選擇運(yùn)行在復(fù)制模式的文件數(shù)據(jù)范圍。
未選中時(shí),默認(rèn)共享全量數(shù)據(jù)運(yùn)行在復(fù)制模式。
選中時(shí),在配置頁(yè)面單擊添加目錄,輸入目標(biāo)數(shù)據(jù)目錄路徑。指定目錄路徑數(shù)據(jù)運(yùn)行在復(fù)制模式,未指定部分?jǐn)?shù)據(jù)運(yùn)行在緩存模式。
說(shuō)明當(dāng)更改目錄從緩存模式變成復(fù)制模式時(shí),目錄中的文件只有在開(kāi)啟數(shù)據(jù)下載時(shí)才會(huì)被同步。推薦您同時(shí)開(kāi)啟復(fù)制模式數(shù)據(jù)下載。
指定目錄路徑為基于共享根目錄的相對(duì)路徑。例如,需要開(kāi)啟復(fù)制模式的目錄的真實(shí)路徑為/mnt/myshare/mydir/,其中/mnt/myshare為掛載點(diǎn),那么填入/mydir/即可。
數(shù)據(jù)下載
開(kāi)啟數(shù)據(jù)下載時(shí)反向同步或極速同步可以同時(shí)下載元數(shù)據(jù)和文件數(shù)據(jù),未開(kāi)啟時(shí)僅同步元數(shù)據(jù)。
說(shuō)明復(fù)制模式文件數(shù)據(jù)下載要求緩存盤容量大于所需復(fù)制文件總大小的1.1倍,請(qǐng)根據(jù)bucket使用量的增長(zhǎng)預(yù)期,合理規(guī)劃緩存盤容量大小。
初次開(kāi)啟數(shù)據(jù)下載時(shí),會(huì)觸發(fā)一次全量掃描,可能會(huì)對(duì)性能產(chǎn)生影響,請(qǐng)確保開(kāi)啟數(shù)據(jù)下載時(shí),網(wǎng)關(guān)處于空閑狀態(tài),直到完成所有數(shù)據(jù)下載。
數(shù)據(jù)下載只支持一寫多讀的情況。如果對(duì)應(yīng)的bucket有多個(gè)訪問(wèn)者(包括但不限于網(wǎng)關(guān)、直接OSS訪問(wèn)),只允許一個(gè)訪問(wèn)者上傳文件到Bucket,其他訪問(wèn)者只能下載。多寫多讀情況下可能造成數(shù)據(jù)丟失,請(qǐng)您慎用。
下載速度限制
當(dāng)開(kāi)啟復(fù)制模式文件數(shù)據(jù)下載時(shí)配置此項(xiàng),下載速度限制不小于0 MB/s,且不大于1280 MB/s,當(dāng)設(shè)置為0 MB/s即不限速。
反向同步時(shí)間間隔
當(dāng)開(kāi)啟復(fù)制模式文件數(shù)據(jù)下載時(shí)配置此項(xiàng),最小值為3600s,最大值為36000s。
說(shuō)明如果Bucket內(nèi)的對(duì)象比較多,建議反向同步間隔大于3600s,否則會(huì)由于反復(fù)掃描產(chǎn)生大量的OSS API的請(qǐng)求費(fèi)用。
由于反向同步只在訪問(wèn)目錄時(shí)觸發(fā),為確保未訪問(wèn)目錄中的數(shù)據(jù)能下載,以及確保新增數(shù)據(jù)能及時(shí)下載,推薦您使用極速同步。
現(xiàn)有共享目錄開(kāi)啟數(shù)據(jù)下載
在云存儲(chǔ)網(wǎng)關(guān)控制臺(tái)的網(wǎng)關(guān)列表頁(yè)面,找到并單擊目標(biāo)文件網(wǎng)關(guān),單擊右側(cè)高級(jí)設(shè)置。
在共享高級(jí)設(shè)置頁(yè)面需額外配置以下參數(shù),開(kāi)啟數(shù)據(jù)下載。
項(xiàng)目
說(shuō)明
模式
當(dāng)模式為復(fù)制模式時(shí),才可使用數(shù)據(jù)下載功能。
反向同步
開(kāi)啟反向同步功能,將OSS上的元數(shù)據(jù)同步回本地,適用于網(wǎng)關(guān)容災(zāi)和數(shù)據(jù)恢復(fù)/共享場(chǎng)景。
由于反向同步只在訪問(wèn)目錄時(shí)觸發(fā),為確保未訪問(wèn)目錄中的數(shù)據(jù)及新增數(shù)據(jù)能及時(shí)下載,推薦使用極速同步。更多信息,請(qǐng)參見(jiàn)極速同步。
說(shuō)明反向同步會(huì)掃描Bucket下的所有對(duì)象,如果對(duì)象數(shù)量較多,會(huì)產(chǎn)生OSS API請(qǐng)求費(fèi)用。具體費(fèi)用,請(qǐng)參見(jiàn)對(duì)象存儲(chǔ) OSS 定價(jià)頁(yè)中的請(qǐng)求費(fèi)用。
如果您在基本信息頁(yè)簽中勾選了加入同步組,則此選項(xiàng)不可用。
數(shù)據(jù)下載
開(kāi)啟數(shù)據(jù)下載時(shí)反向同步或極速同步可以同時(shí)下載元數(shù)據(jù)和文件數(shù)據(jù),未開(kāi)啟時(shí)僅同步元數(shù)據(jù)。
說(shuō)明數(shù)據(jù)下載要求緩存盤容量大于所需復(fù)制文件總大小的1.1倍,請(qǐng)根據(jù)bucket使用量的增長(zhǎng)預(yù)期,合理規(guī)劃緩存盤容量大小。
初次開(kāi)啟數(shù)據(jù)下載時(shí),會(huì)觸發(fā)一次全量掃描,可能會(huì)對(duì)性能產(chǎn)生影響,請(qǐng)確保開(kāi)啟數(shù)據(jù)下載時(shí),網(wǎng)關(guān)處于空閑狀態(tài),直到完成所有數(shù)據(jù)下載。
數(shù)據(jù)下載只支持一寫多讀的情況。如果對(duì)應(yīng)的bucket有多個(gè)訪問(wèn)者(包括并不局限于網(wǎng)關(guān)、直接OSS訪問(wèn)),只允許一個(gè)訪問(wèn)者上傳文件到bucket,其他訪問(wèn)者只能下載。多寫多讀情況下可能造成數(shù)據(jù)丟失,請(qǐng)您慎用。
下載速度限制
僅當(dāng)開(kāi)啟數(shù)據(jù)下載時(shí)配置此項(xiàng),限制下載速度不小于0MB/s,且不大于1280MB/s,當(dāng)設(shè)置為0MB/s即為不限速。