遷移實施
本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
本文介紹數據遷移的注意事項和操作步驟。
注意事項
使用在線遷移服務遷移數據時需要注意以下事項:
在線遷移服務使用源站存儲服務提供商公開的標準接口來訪問源數據,其行為依賴于源站存儲服務提供商的具體實現。
在線遷移會占用源地址和目的地址的資源,可能會影響業務正常運行。若您的業務比較重要,請提前做好評估后對遷移任務設置限速,或在空閑時間啟動遷移任務。
在線遷移前會檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務中配置了覆蓋方式為覆蓋,遷移時會直接覆蓋目的地址的文件。若兩個文件內容不同,必須更改文件名或做好備份。
在線遷移會保留源文件的最后修改時間屬性,如果目的Bucket設置了生命周期規則,且遷移后文件處于該生命周期規則生效的時間范圍內,則該文件可能會在規則生效時被刪除或轉為指定的歸檔類型。
遷移限制
在線遷移目前僅支持單次遷移單個Bucket數據,無法將整個賬號的數據一次性遷移。
不支持金融云、政務云的數據遷移。
若您遷移的源地址中設置了靜態網站托管,數據遷移時會額外掃描出實際不存在的目錄。例如上傳文件myapp/resource/1.jpg,開啟靜態網站托管后,遷移服務掃描會得到3個對象,分別為myapp/、myapp/resource/和myapp/resource/1.jpg,其中myapp/和myapp/resource/會遷移失敗,但不影響myapp/resource/1.jpg的正常遷移。
若您遷移的源地址中有軟鏈接,數據遷移時,會直接遷移軟鏈接對應的實際文件或目錄,并以軟鏈接的名稱命名。例如:
當軟鏈接指向文件時:源地址A有個軟鏈接a,對應的實際文件是b.jpg,則遷移時會將b.jpg遷移到目的地址,并命名為a。
當軟鏈接指向目錄時:源地址B有個軟鏈接b.txt,對應的實際目錄是c/,則遷移時會將c/遷移到目的地址,并命名為b.txt/。
關于軟鏈接的詳細信息,請參見軟鏈接。
說明遷移文件中包含軟鏈接,會導致遷移完成量大于預估量,遷移進度大于100%的情況,請以實際遷移量為準。
源地址中有循環軟鏈接(例如:a>b,b>c,c>a,或目錄類型的軟鏈接指向其上層目錄),則遷移時會永遠掃描不完,導致任務數據量一直增長,建議您使用
unlink
命令移除循環軟鏈接。
步驟一:創建源地址
使用創建的RAM用戶登錄阿里云數據在線遷移控制臺。
說明跨賬號遷移時,可選擇源或目的阿里云賬號生成的任一RAM用戶登錄。
在左側導航欄,選擇
,單擊創建數據地址。在創建數據地址面板,配置如下參數,并單擊確定。
參數
是否必選
說明
數據類型
是
選擇OSS。
數據名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數據所在區域
是
選擇源地址所在的地域,例如華東1(杭州)。
開通并使用傳輸加速
否
在線遷移服務使用OSS的傳輸加速服務,需要開通Bucket的傳輸加速服務。開啟傳輸加速后,會在30分鐘內生效,請在30分鐘后再創建遷移任務。
重要開啟了傳輸加速的Bucket會收取傳輸加速費用。關于傳輸加速的更多信息,請參見傳輸加速。
OSS Endpoint
是
根據您的數據所在區域,選擇一個Endpoint。關于Endpoint的具體信息,請參見訪問域名。
重要當OSS的數據地址使用的是內網Endpoint時,如果創建遷移任務時使用該地址作為源地址,則目標地址僅可以選擇同地域的NAS或OSS的數據地址。
AccessKey Id
是
輸入創建的RAM用戶的AccessKey,用于OSS進行身份識別,確認該用戶是否有讀取源數據的權限。
說明如果需要跨賬號遷移數據,此處請填寫源阿里云賬號生成的RAM用戶AccessKey。
AccessKey Secret
是
OSS Bucket
是
選擇或輸入待遷移數據所在的存儲桶(Bucket)名稱。
OSS Prefix
否
數據路徑前綴。
指定前綴:您可以設置數據路徑前綴遷移部分數據。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結尾,例如
data/to/oss/
。不指定前綴:不設置數據路徑前綴時,會將源Bucket所有數據進行遷移。
步驟二:創建目的地址
在左側導航欄,選擇
,單擊創建數據地址。在創建數據地址面板,配置如下參數,然后單擊確定。
參數
是否必選
說明
數據類型
是
選擇OSS。
數據名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
數據所在區域
是
選擇目的地址所在的地域。
開通并使用傳輸加速
否
在線遷移服務使用OSS的傳輸加速服務,需要開通Bucket的傳輸加速服務。開啟傳輸加速后,會在30分鐘內生效,請在30分鐘后再創建遷移任務。
重要開啟了傳輸加速的Bucket會收取傳輸加速費用。關于傳輸加速的更多信息,請參見傳輸加速。
OSS Endpoint
是
根據您目的數據所在區域,選擇一個Endpoint。關于Endpoint的具體信息,請參見訪問域名。
AccessKey Id
是
輸入創建的RAM用戶的AccessKey,用于OSS進行身份識別,確認該用戶是否有寫入遷移數據的權限。
說明如果需要跨賬號遷移數據,此處請填寫目的阿里云賬號生成的RAM用戶的AccessKey。
AccessKey Secret
是
OSS Bucket
是
選擇或輸入遷移目的所在的存儲桶(Bucket)名稱。
OSS Prefix
否
數據路徑前綴。
指定前綴:您可以設置數據路徑前綴將源數據遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結尾,例如
data/to/oss/
。不指定前綴:不設置數據路徑前綴時,會將源數據遷移至目的Bucket的根目錄。
步驟三:創建遷移任務
在左側導航欄,選擇
,單擊創建遷移任務。在創建遷移任務面板,閱讀遷移服務條款協議,選中我理解如上條款,并開通數據遷移服務,單擊下一步。
在彈出的費用提示對話框,單擊確認,繼續創建。
在配置任務頁簽,配置如下參數,單擊下一步。
參數
是否必選
說明
任務名稱
是
輸入3~63位字符。不支持短劃線(-)和下劃線(_)之外的特殊字符。
源地址
是
選擇已創建的源地址。
目的地址
是
選擇已創建的目的地址。
指定目錄
否
設置遷移時包含或排除指定目錄下的文件和子目錄。
不過濾:不過濾遷移目錄。
排除:遷移時,不遷移排除目錄下的文件和子目錄。
例如,當您只想遷移
root_dir/
下除了root_dir/bad_sub1/
和root_dir/bad_sub2/
之外的所有目錄時,您可以選擇排除模式,然后添加兩項bad_sub1/
和bad_sub2/
。包含:遷移時,只遷移包含目錄下的文件和子目錄。
例如,當您只想遷移
root_dir/
下的root_dir/good_sub1/
和root_dir/good_sub2/
這兩個目錄時,您可以選擇包含模式,然后添加兩項good_sub1/
和good_sub2/
。
說明目錄中僅支持數字和大小寫字母,除此之外的特殊字符可能會導致遷移失敗。
目錄不能以正斜線(/)或者反斜線(\)開頭,并且目錄中不能出現兩個正斜線(//),兩個半角句號(..)和半角雙引號("),提交的所有目錄總字符長度不能超過10 KB。
目錄要以正斜線(/)結尾,例如
docs/
。最多可設置20個排除目錄或者包含目錄。
遷移方式
是
選擇遷移數據的方式。
全量遷移:根據遷移起點時間遷移一次指定遷移起點時間之后的全量數據,數據遷移完成后任務結束。
如果遷移完成后源數據有變化,您可以再次提交全量遷移任務,系統將僅遷移變化的數據。
增量遷移:按設定的增量遷移間隔和增量遷移次數執行遷移任務。
首次根據遷移起點時間遷移指定遷移起點時間之后的全量數據。首次遷移完成后,按照增量遷移時間間隔執行增量遷移任務,將源地址從前次遷移任務開始后到下次遷移開始前新增或修改的增量數據遷移至目的地址。
如果配置的增量遷移次數是N,則執行1次全量遷移,之后執行N-1次增量遷移。
例如:設置遷移間隔1小時,遷移次數5次,遷移起點時間為2019-03-05 08:00,當前時間為2019-03-10 08:00。則首次遷移最后修改時間在2019-03-05 08:00~2019-03-10 08:00之間的文件。假設遷移任務1小時完成,第二次遷移則從2019-03-10 10:00(遷移1小時,遷移間隔1小時)開始,遷移最后修改時間在2019-03-10 08:00~2019-03-10 10:00之間的文件,共進行1次全量遷移和4次增量遷移。
重要全量遷移和增量遷移均會在每次遷移開始前,對源地址和目的地址的文件進行對比。如果遷移同名文件,則以下三種情況的目標地址文件會被覆蓋。
源地址文件與目標地址文件的Content-Type不一致,目標地址文件會被覆蓋。
源地址文件的最后修改時間晚于目標地址文件的最后修改時間,目標地址文件會被覆蓋。
源地址文件與目標地址文件的大小不一致,目標地址文件會被覆蓋。
遷移文件起點時間
是
選擇遷移文件的起點時間。
遷移全部:遷移所有時間的文件。
指定時間:只遷移指定時間之后創建或修改的文件。
例如指定時間設置為2018-11-01 08:00:00,則只遷移2018年11月01日8點之后創建或修改的文件,在這個時間之前創建或修改的文件被忽略。
增量遷移間隔
是(針對增量遷移)
默認值1小時,最大值24小時。
增量遷移次數
是(針對增量遷移)
默認值1次,最大值30次。
文件覆蓋方式
是
源地址中文件和目的地址中文件同名時,遷移過程中執行的覆蓋方式。包括如下選項:
最后修改時間優先:對于同名文件,判斷兩個文件的LastModified,即最后修改時間。
如果源地址中文件的LastModified晚于目的地址中文件的LastModified,則執行覆蓋。
如果源地址中文件的LastModified早于目的地址中文件的LastModified,則執行跳過。
如果兩個文件的LastModified相同,則繼續判斷兩個文件的Size和Content-Type是否均相同。
如果兩個文件的Size和Content-Type均相同,則執行跳過;如果兩個文件的Size或者Content-Type中存在至少一個不同,則執行覆蓋。
條件覆蓋:對于同名文件,判斷兩個文件的LastModified、Size和Content-Type是否相同。
如果兩個文件的LastModified、Size和Content-Type均相同,則執行跳過。
如果兩個文件的LastModified、Size和Content-Type中存在至少一個不同,則執行覆蓋。
全覆蓋:對于同名文件,不進行任何判斷,直接執行覆蓋。
不覆蓋:對于同名文件,不進行任何判斷,直接執行跳過。
警告條件覆蓋或最后修改時間優先無法嚴格保證一定不會覆蓋更新的文件,存在舊文件覆蓋新文件的風險。
若您選擇條件覆蓋或最后修改時間優先覆蓋策略時,請務必確保源端文件能返回LastModified、Size、Content-Type等信息,否則覆蓋策略可能失效,產生非預期的遷移結果。
在性能調優頁簽的數據預估區域,填寫待遷移存儲量和待遷移文件個數。
說明為了遷移任務的順利進行,請盡量準確進行數據預估。更多信息,請參見預估遷移數據。
可選:在性能調優頁簽的流量控制區域,設置限流時間段和最大流量,然后單擊添加。
說明為了不影響您在線業務的訪問,建議您根據業務訪問的波峰和波谷來設置遷移時的限流時間段和最大流量。
單擊創建,等待遷移任務完成。
步驟四:校驗數據
遷移服務僅負責數據的遷移,無法保證數據的一致性和完整性。遷移任務完成后,請您全量校驗遷移的數據,務必自行做好源端和目的端數據一致性校驗。
請您務必在遷移任務完成后,校驗目的端遷移數據。您在刪除源數據前,未校驗目的端遷移數據無誤,導致數據丟失所引起的一切損失和后果均由您自行承擔。