遷移實施
本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業(yè)務(wù)造成影響,請務(wù)必仔細(xì)閱讀。
本文介紹數(shù)據(jù)遷移的注意事項和操作步驟。
注意事項
使用在線遷移服務(wù)遷移數(shù)據(jù)時需要注意以下事項:
在線遷移服務(wù)使用源站存儲服務(wù)提供商公開的標(biāo)準(zhǔn)接口來訪問源數(shù)據(jù),其行為依賴于源站存儲服務(wù)提供商的具體實現(xiàn)。
在線遷移會占用源地址和目的地址的資源,可能會影響業(yè)務(wù)正常運(yùn)行。若您的業(yè)務(wù)比較重要,請?zhí)崆白龊迷u估后對遷移任務(wù)設(shè)置限速,或在空閑時間啟動遷移任務(wù)。
在線遷移前會檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務(wù)中配置了覆蓋方式為覆蓋,遷移時會直接覆蓋目的地址的文件。若兩個文件內(nèi)容不同,必須更改文件名或做好備份。
在線遷移會保留源文件的最后修改時間屬性,如果目的Bucket設(shè)置了生命周期規(guī)則,且遷移后文件處于該生命周期規(guī)則生效的時間范圍內(nèi),則該文件可能會在規(guī)則生效時被刪除或轉(zhuǎn)為指定的歸檔類型。
遷移限制
在線遷移目前僅支持單次遷移單個Bucket數(shù)據(jù),無法將整個賬號的數(shù)據(jù)一次性遷移。
不支持金融云、政務(wù)云的數(shù)據(jù)遷移。
若您遷移的源地址中設(shè)置了靜態(tài)網(wǎng)站托管,數(shù)據(jù)遷移時會額外掃描出實際不存在的目錄。例如上傳文件myapp/resource/1.jpg,開啟靜態(tài)網(wǎng)站托管后,遷移服務(wù)掃描會得到3個對象,分別為myapp/、myapp/resource/和myapp/resource/1.jpg,其中myapp/和myapp/resource/會遷移失敗,但不影響myapp/resource/1.jpg的正常遷移。
若您遷移的源地址中有軟鏈接,數(shù)據(jù)遷移時,會直接遷移軟鏈接對應(yīng)的實際文件或目錄,并以軟鏈接的名稱命名。例如:
當(dāng)軟鏈接指向文件時:源地址A有個軟鏈接a,對應(yīng)的實際文件是b.jpg,則遷移時會將b.jpg遷移到目的地址,并命名為a。
當(dāng)軟鏈接指向目錄時:源地址B有個軟鏈接b.txt,對應(yīng)的實際目錄是c/,則遷移時會將c/遷移到目的地址,并命名為b.txt/。
關(guān)于軟鏈接的詳細(xì)信息,請參見軟鏈接。
說明遷移文件中包含軟鏈接,會導(dǎo)致遷移完成量大于預(yù)估量,遷移進(jìn)度大于100%的情況,請以實際遷移量為準(zhǔn)。
源地址中有循環(huán)軟鏈接(例如:a>b,b>c,c>a,或目錄類型的軟鏈接指向其上層目錄),則遷移時會永遠(yuǎn)掃描不完,導(dǎo)致任務(wù)數(shù)據(jù)量一直增長,建議您使用
unlink
命令移除循環(huán)軟鏈接。
步驟一:創(chuàng)建源地址
使用創(chuàng)建的RAM用戶登錄阿里云數(shù)據(jù)在線遷移控制臺。
說明跨賬號遷移時,可選擇源或目的阿里云賬號生成的任一RAM用戶登錄。
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址面板,配置如下參數(shù),并單擊確定。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇OSS。
數(shù)據(jù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數(shù)據(jù)所在區(qū)域
是
選擇源地址所在的地域,例如華東1(杭州)。
開通并使用傳輸加速
否
在線遷移服務(wù)使用OSS的傳輸加速服務(wù),需要開通Bucket的傳輸加速服務(wù)。開啟傳輸加速后,會在30分鐘內(nèi)生效,請在30分鐘后再創(chuàng)建遷移任務(wù)。
重要開啟了傳輸加速的Bucket會收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請參見傳輸加速。
OSS Endpoint
是
根據(jù)您的數(shù)據(jù)所在區(qū)域,選擇一個Endpoint。關(guān)于Endpoint的具體信息,請參見訪問域名。
重要當(dāng)OSS的數(shù)據(jù)地址使用的是內(nèi)網(wǎng)Endpoint時,如果創(chuàng)建遷移任務(wù)時使用該地址作為源地址,則目標(biāo)地址僅可以選擇同地域的NAS或OSS的數(shù)據(jù)地址。
AccessKey Id
是
輸入創(chuàng)建的RAM用戶的AccessKey,用于OSS進(jìn)行身份識別,確認(rèn)該用戶是否有讀取源數(shù)據(jù)的權(quán)限。
說明如果需要跨賬號遷移數(shù)據(jù),此處請?zhí)顚懺窗⒗镌瀑~號生成的RAM用戶AccessKey。
AccessKey Secret
是
OSS Bucket
是
選擇或輸入待遷移數(shù)據(jù)所在的存儲桶(Bucket)名稱。
OSS Prefix
否
數(shù)據(jù)路徑前綴。
指定前綴:您可以設(shè)置數(shù)據(jù)路徑前綴遷移部分?jǐn)?shù)據(jù)。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾,例如
data/to/oss/
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時,會將源Bucket所有數(shù)據(jù)進(jìn)行遷移。
步驟二:創(chuàng)建目的地址
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建數(shù)據(jù)地址。在創(chuàng)建數(shù)據(jù)地址面板,配置如下參數(shù),然后單擊確定。
參數(shù)
是否必選
說明
數(shù)據(jù)類型
是
選擇OSS。
數(shù)據(jù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數(shù)據(jù)所在區(qū)域
是
選擇目的地址所在的地域。
開通并使用傳輸加速
否
在線遷移服務(wù)使用OSS的傳輸加速服務(wù),需要開通Bucket的傳輸加速服務(wù)。開啟傳輸加速后,會在30分鐘內(nèi)生效,請在30分鐘后再創(chuàng)建遷移任務(wù)。
重要開啟了傳輸加速的Bucket會收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請參見傳輸加速。
OSS Endpoint
是
根據(jù)您目的數(shù)據(jù)所在區(qū)域,選擇一個Endpoint。關(guān)于Endpoint的具體信息,請參見訪問域名。
AccessKey Id
是
輸入創(chuàng)建的RAM用戶的AccessKey,用于OSS進(jìn)行身份識別,確認(rèn)該用戶是否有寫入遷移數(shù)據(jù)的權(quán)限。
說明如果需要跨賬號遷移數(shù)據(jù),此處請?zhí)顚懩康陌⒗镌瀑~號生成的RAM用戶的AccessKey。
AccessKey Secret
是
OSS Bucket
是
選擇或輸入遷移目的所在的存儲桶(Bucket)名稱。
OSS Prefix
否
數(shù)據(jù)路徑前綴。
指定前綴:您可以設(shè)置數(shù)據(jù)路徑前綴將源數(shù)據(jù)遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾,例如
data/to/oss/
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時,會將源數(shù)據(jù)遷移至目的Bucket的根目錄。
步驟三:創(chuàng)建遷移任務(wù)
在左側(cè)導(dǎo)航欄,選擇
,單擊創(chuàng)建遷移任務(wù)。在創(chuàng)建遷移任務(wù)面板,閱讀遷移服務(wù)條款協(xié)議,選中我理解如上條款,并開通數(shù)據(jù)遷移服務(wù),單擊下一步。
在彈出的費(fèi)用提示對話框,單擊確認(rèn),繼續(xù)創(chuàng)建。
在配置任務(wù)頁簽,配置如下參數(shù),單擊下一步。
參數(shù)
是否必選
說明
任務(wù)名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
源地址
是
選擇已創(chuàng)建的源地址。
目的地址
是
選擇已創(chuàng)建的目的地址。
指定目錄
否
設(shè)置遷移時包含或排除指定目錄下的文件和子目錄。
不過濾:不過濾遷移目錄。
排除:遷移時,不遷移排除目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下除了root_dir/bad_sub1/
和root_dir/bad_sub2/
之外的所有目錄時,您可以選擇排除模式,然后添加兩項bad_sub1/
和bad_sub2/
。包含:遷移時,只遷移包含目錄下的文件和子目錄。
例如,當(dāng)您只想遷移
root_dir/
下的root_dir/good_sub1/
和root_dir/good_sub2/
這兩個目錄時,您可以選擇包含模式,然后添加兩項good_sub1/
和good_sub2/
。
說明目錄中僅支持?jǐn)?shù)字和大小寫字母,除此之外的特殊字符可能會導(dǎo)致遷移失敗。
目錄不能以正斜線(/)或者反斜線(\)開頭,并且目錄中不能出現(xiàn)兩個正斜線(//),兩個半角句號(..)和半角雙引號("),提交的所有目錄總字符長度不能超過10 KB。
目錄要以正斜線(/)結(jié)尾,例如
docs/
。最多可設(shè)置20個排除目錄或者包含目錄。
遷移方式
是
選擇遷移數(shù)據(jù)的方式。
全量遷移:根據(jù)遷移起點時間遷移一次指定遷移起點時間之后的全量數(shù)據(jù),數(shù)據(jù)遷移完成后任務(wù)結(jié)束。
如果遷移完成后源數(shù)據(jù)有變化,您可以再次提交全量遷移任務(wù),系統(tǒng)將僅遷移變化的數(shù)據(jù)。
增量遷移:按設(shè)定的增量遷移間隔和增量遷移次數(shù)執(zhí)行遷移任務(wù)。
首次根據(jù)遷移起點時間遷移指定遷移起點時間之后的全量數(shù)據(jù)。首次遷移完成后,按照增量遷移時間間隔執(zhí)行增量遷移任務(wù),將源地址從前次遷移任務(wù)開始后到下次遷移開始前新增或修改的增量數(shù)據(jù)遷移至目的地址。
如果配置的增量遷移次數(shù)是N,則執(zhí)行1次全量遷移,之后執(zhí)行N-1次增量遷移。
例如:設(shè)置遷移間隔1小時,遷移次數(shù)5次,遷移起點時間為2019-03-05 08:00,當(dāng)前時間為2019-03-10 08:00。則首次遷移最后修改時間在2019-03-05 08:00~2019-03-10 08:00之間的文件。假設(shè)遷移任務(wù)1小時完成,第二次遷移則從2019-03-10 10:00(遷移1小時,遷移間隔1小時)開始,遷移最后修改時間在2019-03-10 08:00~2019-03-10 10:00之間的文件,共進(jìn)行1次全量遷移和4次增量遷移。
重要全量遷移和增量遷移均會在每次遷移開始前,對源地址和目的地址的文件進(jìn)行對比。如果遷移同名文件,則以下三種情況的目標(biāo)地址文件會被覆蓋。
源地址文件與目標(biāo)地址文件的Content-Type不一致,目標(biāo)地址文件會被覆蓋。
源地址文件的最后修改時間晚于目標(biāo)地址文件的最后修改時間,目標(biāo)地址文件會被覆蓋。
源地址文件與目標(biāo)地址文件的大小不一致,目標(biāo)地址文件會被覆蓋。
遷移文件起點時間
是
選擇遷移文件的起點時間。
遷移全部:遷移所有時間的文件。
指定時間:只遷移指定時間之后創(chuàng)建或修改的文件。
例如指定時間設(shè)置為2018-11-01 08:00:00,則只遷移2018年11月01日8點之后創(chuàng)建或修改的文件,在這個時間之前創(chuàng)建或修改的文件被忽略。
增量遷移間隔
是(針對增量遷移)
默認(rèn)值1小時,最大值24小時。
增量遷移次數(shù)
是(針對增量遷移)
默認(rèn)值1次,最大值30次。
文件覆蓋方式
是
源地址中文件和目的地址中文件同名時,遷移過程中執(zhí)行的覆蓋方式。包括如下選項:
最后修改時間優(yōu)先:對于同名文件,判斷兩個文件的LastModified,即最后修改時間。
如果源地址中文件的LastModified晚于目的地址中文件的LastModified,則執(zhí)行覆蓋。
如果源地址中文件的LastModified早于目的地址中文件的LastModified,則執(zhí)行跳過。
如果兩個文件的LastModified相同,則繼續(xù)判斷兩個文件的Size和Content-Type是否均相同。
如果兩個文件的Size和Content-Type均相同,則執(zhí)行跳過;如果兩個文件的Size或者Content-Type中存在至少一個不同,則執(zhí)行覆蓋。
條件覆蓋:對于同名文件,判斷兩個文件的LastModified、Size和Content-Type是否相同。
如果兩個文件的LastModified、Size和Content-Type均相同,則執(zhí)行跳過。
如果兩個文件的LastModified、Size和Content-Type中存在至少一個不同,則執(zhí)行覆蓋。
全覆蓋:對于同名文件,不進(jìn)行任何判斷,直接執(zhí)行覆蓋。
不覆蓋:對于同名文件,不進(jìn)行任何判斷,直接執(zhí)行跳過。
警告條件覆蓋或最后修改時間優(yōu)先無法嚴(yán)格保證一定不會覆蓋更新的文件,存在舊文件覆蓋新文件的風(fēng)險。
若您選擇條件覆蓋或最后修改時間優(yōu)先覆蓋策略時,請務(wù)必確保源端文件能返回LastModified、Size、Content-Type等信息,否則覆蓋策略可能失效,產(chǎn)生非預(yù)期的遷移結(jié)果。
在性能調(diào)優(yōu)頁簽的數(shù)據(jù)預(yù)估區(qū)域,填寫待遷移存儲量和待遷移文件個數(shù)。
說明為了遷移任務(wù)的順利進(jìn)行,請盡量準(zhǔn)確進(jìn)行數(shù)據(jù)預(yù)估。更多信息,請參見預(yù)估遷移數(shù)據(jù)。
可選:在性能調(diào)優(yōu)頁簽的流量控制區(qū)域,設(shè)置限流時間段和最大流量,然后單擊添加。
說明為了不影響您在線業(yè)務(wù)的訪問,建議您根據(jù)業(yè)務(wù)訪問的波峰和波谷來設(shè)置遷移時的限流時間段和最大流量。
單擊創(chuàng)建,等待遷移任務(wù)完成。
步驟四:校驗數(shù)據(jù)
遷移服務(wù)僅負(fù)責(zé)數(shù)據(jù)的遷移,無法保證數(shù)據(jù)的一致性和完整性。遷移任務(wù)完成后,請您全量校驗遷移的數(shù)據(jù),務(wù)必自行做好源端和目的端數(shù)據(jù)一致性校驗。
請您務(wù)必在遷移任務(wù)完成后,校驗?zāi)康亩诉w移數(shù)據(jù)。您在刪除源數(shù)據(jù)前,未校驗?zāi)康亩诉w移數(shù)據(jù)無誤,導(dǎo)致數(shù)據(jù)丟失所引起的一切損失和后果均由您自行承擔(dān)。