遷移實(shí)施
本文中含有需要您注意的重要提示信息,忽略該信息可能對(duì)您的業(yè)務(wù)造成影響,請(qǐng)務(wù)必仔細(xì)閱讀。
本文介紹將華為云OBS中的數(shù)據(jù)遷移到阿里云對(duì)象存儲(chǔ)OSS的注意事項(xiàng)、遷移限制說明和操作步驟。
注意事項(xiàng)
使用在線遷移服務(wù)遷移數(shù)據(jù)時(shí)需要注意以下事項(xiàng):
在線遷移服務(wù)使用源站存儲(chǔ)服務(wù)提供商公開的標(biāo)準(zhǔn)接口來訪問源數(shù)據(jù),其行為依賴于源站存儲(chǔ)服務(wù)提供商的具體實(shí)現(xiàn)。
在線遷移會(huì)占用源地址和目的地址的資源,可能會(huì)影響業(yè)務(wù)正常運(yùn)行。若您的業(yè)務(wù)比較重要,請(qǐng)?zhí)崆白龊迷u(píng)估后對(duì)遷移任務(wù)設(shè)置限速,或在空閑時(shí)間啟動(dòng)遷移任務(wù)。
在線遷移前會(huì)檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務(wù)中配置了覆蓋方式為覆蓋,遷移時(shí)會(huì)直接覆蓋目的地址的文件。若兩個(gè)文件內(nèi)容不同,必須更改文件名或做好備份。
在線遷移會(huì)保留源文件的最后修改時(shí)間屬性,如果目的Bucket設(shè)置了生命周期規(guī)則,且遷移后文件處于該生命周期規(guī)則生效的時(shí)間范圍內(nèi),則該文件可能會(huì)在規(guī)則生效時(shí)被刪除或轉(zhuǎn)為指定的歸檔類型。
遷移限制說明
目前僅支持單次遷移單個(gè)Bucket數(shù)據(jù),無法將整個(gè)賬號(hào)的數(shù)據(jù)一次性遷移。
華為云OBS遷移數(shù)據(jù)的屬性說明如下:
支持遷移的屬性:x-obs-meta-*,LastModifyTime ,Content-Type,Cache-Control,Content-Encoding,Content-Language ,Expires。
不支持遷移的屬性(包括但不限于):StorageClass,Content-Disposition,ACL,服務(wù)端加密、標(biāo)簽Tagging等。
說明不支持遷移的屬性包括但不限于以上列舉的內(nèi)容,其他未列舉的屬性行為暫無法確定,以實(shí)際遷移完成的內(nèi)容為準(zhǔn)。
華為OBS不支持并行文件系統(tǒng)。
步驟一:選擇地域
使用創(chuàng)建的RAM用戶登錄阿里云在線遷移服務(wù)管理控制臺(tái)。
在頂部菜單欄左上角處的地域選擇代表“遷移服務(wù)部署地域”,因此請(qǐng)選擇數(shù)據(jù)源所在地域或距離數(shù)據(jù)源最近的地域,如下圖所示。
控制臺(tái)上方所選地域(代表在線遷移服務(wù)的部署地域),中國內(nèi)地地域包含北京、上海、杭州、深圳、烏蘭察布,其他地域包含中國香港、新加坡、德國(法蘭克福)、美國(弗吉尼亞)。
重要不同地域內(nèi)的數(shù)據(jù)地址和遷移任務(wù)不通用,請(qǐng)謹(jǐn)慎選擇。
優(yōu)先選擇源數(shù)據(jù)所在的地域,如果沒有源數(shù)據(jù)所在地對(duì)應(yīng)的地域,請(qǐng)盡可能選擇接近源數(shù)據(jù)所在的地域創(chuàng)建遷移任務(wù)。
跨境遷移時(shí),推薦您開啟傳輸加速,提高遷移速度。開啟了傳輸加速的Bucket會(huì)收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請(qǐng)參見傳輸加速。
步驟二:創(chuàng)建源地址
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 地址管理,單擊新建地址。
在創(chuàng)建數(shù)據(jù)地址頁面,配置如下參數(shù),然后單擊確認(rèn)。
參數(shù)
是否必選
說明
名稱
是
輸入源數(shù)據(jù)地址名稱。名稱命名規(guī)則如下:
名稱不能為空,長度為3~63個(gè)字符。
支持英文小寫字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫。
UTF-8編碼不能以短劃線(-)和下劃線(_)開頭。
類型
是
選擇Huawei OBS。
域名
是
輸入華為云OBS的訪問域名。Endpoint格式為
obs.桶所在的區(qū)域.myhuaweicloud.com
,例如當(dāng)桶所在區(qū)域?yàn)槿A北-北京一時(shí),Endpoint為obs.cn-north-1.myhuaweicloud.com
。華為云OBS支持的區(qū)域請(qǐng)參見華為云OBS。AccessKeyId
是
輸入創(chuàng)建的IAM用戶的訪問密鑰,用于Huawei OBS進(jìn)行身份識(shí)別,確認(rèn)該用戶是否有讀取源數(shù)據(jù)的權(quán)限。
SecretAccessKey
是
存儲(chǔ)桶(Bucket)
是
輸入待遷移數(shù)據(jù)所在的華為云OBS存儲(chǔ)桶名稱。
說明存儲(chǔ)桶名稱要求開頭和結(jié)尾不帶空格、換行、制表符等非法字符。
前綴
否
您可以指定數(shù)據(jù)路徑前綴遷移部分?jǐn)?shù)據(jù)。
指定前綴:遷移指定目錄(前綴)下的數(shù)據(jù)。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾。
不指定前綴:遷移整個(gè)Bucket中的數(shù)據(jù)。
通道
否
選擇需要使用的通道名稱。
重要僅通過專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
目的數(shù)據(jù)地址是LOCALFS的以及需要走專線(金融云、專有云等)的場景需要關(guān)聯(lián)代理。
代理
否
選擇需要使用的代理名稱。
重要僅通過專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
指定通道下,最多可同時(shí)選擇30個(gè)代理。
步驟三:創(chuàng)建目的地址
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 地址管理,單擊新建地址。
在新建地址面板,配置如下參數(shù),然后單擊確定。
名稱不能為空,長度為3~63個(gè)字符。
支持英文小寫字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫。
UTF-8編碼不能以短劃線(-)和下劃線(_)開頭。
目的Bucket歸屬于在線遷移控制臺(tái)賬號(hào)
目的Bucket不屬于在線遷移控制臺(tái)賬號(hào)
指定前綴:例如源數(shù)據(jù)地址前綴為
example/src/
,此路徑下有文件example.jpg,設(shè)置目的數(shù)據(jù)地址前綴為example/dest/
,則遷移后文件example.jpg的完整路徑為example/dest/example.jpg
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時(shí),會(huì)將源數(shù)據(jù)遷移至目的Bucket的根目錄。
僅通過專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
目的數(shù)據(jù)地址是LOCALFS的以及需要走專線(金融云、專有云等)的場景需要關(guān)聯(lián)代理。
僅通過專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
指定通道下,最多可同時(shí)選擇30個(gè)代理。
參數(shù) | 是否必選 | 說明 |
名稱 | 是 | 輸入目的數(shù)據(jù)地址名稱。名稱命名規(guī)則如下: |
類型 | 是 | 選擇Alibaba OSS。 |
自定義域名 | 否 | 支持用戶的自定義域名 |
地域 | 是 | 選擇目的地址所在的地域,例如華東1(杭州)。 |
授權(quán)角色 | 是 | |
存儲(chǔ)桶(Bucket) | 是 | 輸入當(dāng)前控制臺(tái)所在賬號(hào)下遷移后數(shù)據(jù)所在的存儲(chǔ)桶(Bucket)名稱。 |
前綴 | 否 | 您可以指定數(shù)據(jù)路徑前綴將源數(shù)據(jù)遷移至指定目錄下。格式要求不能以正斜線(/)開頭,必須以正斜線(/)結(jié)尾,例如 |
通道 | 否 | 選擇需要使用的通道名稱。 重要 |
代理 | 否 | 選擇需要使用的代理名稱。 重要 |
步驟四:創(chuàng)建遷移任務(wù)
遷移任務(wù)并發(fā)數(shù)量限制:遷移服務(wù)部署地域每個(gè)地域最多支持5個(gè)任務(wù)并發(fā),超出限制后可能導(dǎo)致定時(shí)任務(wù)調(diào)度無法按預(yù)期執(zhí)行。
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 遷移任務(wù),單擊新建任務(wù)。
在選擇地址頁面,配置如下參數(shù),然后單擊下一步。
參數(shù)
是否必選
說明
名稱
是
輸入遷移任務(wù)名稱。名稱命名規(guī)則如下:
名稱不能為空,長度為3~63個(gè)字符。
支持英文小寫字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫。
UTF-8編碼不能以短劃線(-)和下劃線(_)開頭。
源地址
是
選擇已創(chuàng)建的源地址。
目的地址
是
選擇已創(chuàng)建的目的地址。
在配置任務(wù)頁面,配置如下參數(shù)。
參數(shù)
是否必選
說明
遷移帶寬
否
選擇遷移帶寬。
默認(rèn):默認(rèn)最大帶寬,實(shí)際速度取決于文件大小和文件數(shù)量。
指定上限:根據(jù)控制臺(tái)提示指定具體的帶寬上限。
重要實(shí)際遷移帶寬與數(shù)據(jù)源、網(wǎng)絡(luò)、目的限流、文件大小等因素有關(guān),不一定能達(dá)到指定上限。
請(qǐng)您評(píng)估數(shù)據(jù)源、遷移目的、業(yè)務(wù)情況、網(wǎng)絡(luò)帶寬等,并根據(jù)實(shí)際情況選擇合理數(shù)值,限流不恰當(dāng)可能會(huì)影響業(yè)務(wù)的正常運(yùn)行。
每秒遷移文件數(shù)
否
選擇每秒遷移文件數(shù)。
默認(rèn):每秒遷移文件數(shù)。
指定上限:根據(jù)控制臺(tái)提示指定具體的每秒遷移文件數(shù)。
重要實(shí)際遷移帶寬與數(shù)據(jù)源、網(wǎng)絡(luò)、目的限流、文件大小等因素有關(guān),不一定能達(dá)到指定上限。
請(qǐng)您評(píng)估數(shù)據(jù)源、遷移目的、業(yè)務(wù)情況、網(wǎng)絡(luò)帶寬等,并根據(jù)實(shí)際情況選擇合理數(shù)值,限流不當(dāng)可能會(huì)影響業(yè)務(wù)的正常運(yùn)行。
覆蓋方式
否
選擇同名文件的覆蓋方式。
不覆蓋:不遷移該文件。
全部覆蓋:源地址中的文件會(huì)覆蓋目的地址中的文件。
根據(jù)最后修改時(shí)間覆蓋:
當(dāng)源地址中的文件最后修改時(shí)間晚于目的地址中的文件最后修改時(shí)間時(shí),目的地址中的文件會(huì)被覆蓋。
當(dāng)源地址中的文件最后修改時(shí)間與目的地址中的文件最后修改時(shí)間相同時(shí),若二者的Size和Content-Type有一項(xiàng)不同,則目的地址中的文件會(huì)被覆蓋。
根據(jù)最后修改時(shí)間覆蓋無法嚴(yán)格保證一定不會(huì)覆蓋更新的文件,存在舊文件覆蓋新文件的風(fēng)險(xiǎn)。
若您選擇根據(jù)最后修改時(shí)間覆蓋的覆蓋方式,請(qǐng)務(wù)必確保源端文件能返回最后修改時(shí)間、Size、Content-Type等信息,否則覆蓋策略可能失效,產(chǎn)生非預(yù)期的遷移結(jié)果。
選擇不覆蓋或根據(jù)最后修改時(shí)間覆蓋時(shí),為執(zhí)行后續(xù)覆蓋判斷,會(huì)分別請(qǐng)求源端和目的端meta信息一次,因此會(huì)在源端和目的端產(chǎn)生對(duì)應(yīng)的請(qǐng)求費(fèi)用。
警告遷移報(bào)告
是
遷移報(bào)告推送方式。
不推送(默認(rèn)):不推送遷移報(bào)告至目的bucket。
推送:將遷移報(bào)告推送至目的bucket,詳細(xì)路徑請(qǐng)參考后續(xù)操作。
重要遷移報(bào)告推送會(huì)占用目的端一定的存儲(chǔ)空間。
遷移報(bào)告的推送可能會(huì)存在一定的時(shí)間延遲,請(qǐng)您耐心等待遷移報(bào)告的生成。
每個(gè)任務(wù)執(zhí)行記錄都有一個(gè)唯一的ID,請(qǐng)注意,遷移報(bào)告只會(huì)推送一次,請(qǐng)謹(jǐn)慎刪除!
遷移日志
是
遷移日志推送方式。
不推送(默認(rèn)):不推送遷移日志。
推送:將遷移日志推送至日志服務(wù)SLS,可在SLS上查看遷移日志。
僅推送文件錯(cuò)誤日志:僅將錯(cuò)誤遷移日志推送至日志服務(wù)SLS,可在SLS上查看錯(cuò)誤遷移日志。
當(dāng)選擇推送或僅推送文件錯(cuò)誤日志時(shí),在線遷移服務(wù)會(huì)在日志服務(wù)SLS中創(chuàng)建名稱為aliyun-oss-import-log-阿里云賬號(hào)ID-當(dāng)前遷移服務(wù)部署地域的Project,例如aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要請(qǐng)務(wù)必完成以下操作后,再選擇推送或僅推送文件錯(cuò)誤日志,否則可能會(huì)導(dǎo)致遷移任務(wù)異常。
已開通SLS服務(wù)。
已在日志服務(wù)授權(quán)項(xiàng)授權(quán)頁面中同意授權(quán)。
日志服務(wù)授權(quán)
否
當(dāng)遷移日志選擇推送或僅推送文件錯(cuò)誤日志時(shí)出現(xiàn)該選項(xiàng)。
單擊授權(quán)進(jìn)入云資源訪問授權(quán)頁面,頁面會(huì)對(duì)應(yīng)創(chuàng)建AliyunOSSImportSlsAuditRole角色,并對(duì)角色做授權(quán),請(qǐng)單擊同意授權(quán)完成授權(quán)。
文件名
否
文件名過濾器。
支持包含和排除兩種過濾規(guī)則,請(qǐng)參見RE2庫的正則表達(dá)式語法(僅支持部分表達(dá)式語法)。例如:
.*\.jpg$表示以.jpg結(jié)尾的所有文件。
^file.*默認(rèn)表示根目錄下以file開頭的所有文件。
如果源數(shù)據(jù)地址設(shè)置了前綴,例如源數(shù)據(jù)地址前綴為data/to/oss/,則需要使用^data/to/oss/file.*來匹配指定前綴下以file開頭的所有文件。
.*/picture/.*表示匹配某一級(jí)為picture的子目錄。
重要當(dāng)過濾規(guī)則為包含時(shí),符合規(guī)則的文件都會(huì)被遷移,如果有多條規(guī)則,符合任意一個(gè)條件的文件都會(huì)被遷移。
例如2個(gè)文件picture.jpg和picture.png,設(shè)置一條包含規(guī)則過濾.*\.jpg$,此時(shí)只會(huì)遷移picture.jpg文件,如果同時(shí)也設(shè)置了包含規(guī)則過濾.*\.png$,則2個(gè)文件都會(huì)被遷移。
當(dāng)過濾規(guī)則為排除時(shí),符合規(guī)則的文件都不會(huì)被遷移,如果有多條規(guī)則,符合任意一個(gè)條件的文件都不會(huì)被遷移。
例如2個(gè)文件picture.jpg和picture.png,設(shè)置一條排除規(guī)則過濾.*\.jpg$,此時(shí)只會(huì)遷移picture.png,如果同時(shí)也設(shè)置了排除規(guī)則過濾.*\.png$,則2個(gè)文件都不會(huì)被遷移。
排除規(guī)則優(yōu)先。當(dāng)一個(gè)文件既在排除規(guī)則中又在包含規(guī)則中,則文件不會(huì)被遷移。
例如文件file.txt,設(shè)置排除規(guī)則過濾.*\.txt$文件,并同時(shí)設(shè)置包含規(guī)則過濾file.*,則此時(shí)file.txt文件不會(huì)被遷移。
文件修改時(shí)間
否
文件最后一次修改時(shí)間過濾器。
可指定文件最后一次修改時(shí)間作為過濾規(guī)則。如果指定了時(shí)間范圍,則只遷移文件最后一次修改時(shí)間在指定時(shí)間范圍內(nèi)的文件,具體規(guī)則如下。
當(dāng)僅指定開始時(shí)間為2019年01月01日,不指定結(jié)束時(shí)間時(shí),則只遷移文件最后一次修改時(shí)間晚于等于2019年01月01日的文件。
當(dāng)僅指定結(jié)束時(shí)間為2022年01月01日,不指定開始時(shí)間時(shí),則只遷移文件最后一次修改時(shí)間早于等于2022年01月01日的文件。
當(dāng)指定開始時(shí)間為2019年01月01日,結(jié)束時(shí)間為2022年01月01日,則遷移文件最后一次修改時(shí)間范圍在晚于等于2019年01月01日,且早于等于2022年01月01日的文件。
執(zhí)行時(shí)間
否
重要正在遷移中的任務(wù),在下一個(gè)指定時(shí)間前仍未結(jié)束本輪遷移,則會(huì)在本輪遷移結(jié)束后,自動(dòng)順延至下一個(gè)指定時(shí)間啟動(dòng)任務(wù),直至完成指定次數(shù)的遷移。
遷移任務(wù)并發(fā)數(shù)量限制:遷移服務(wù)部署地域選擇中國香港或中國內(nèi)地時(shí)最多支持10個(gè)任務(wù)并發(fā),選擇海外地域時(shí)最多支持5個(gè),超出限制后可能導(dǎo)致定時(shí)任務(wù)調(diào)度無法按預(yù)期執(zhí)行。
確定遷移任務(wù)的執(zhí)行時(shí)間。
立即執(zhí)行:立即執(zhí)行當(dāng)前任務(wù)。
指定執(zhí)行時(shí)間:指定任務(wù)執(zhí)行期間每天的執(zhí)行時(shí)間段。默認(rèn)情況下,任務(wù)將在指定的起始時(shí)間啟動(dòng),在指定的停止時(shí)間暫停。
周期調(diào)度:通過調(diào)整執(zhí)行頻率和執(zhí)行次數(shù)來啟動(dòng)任務(wù)。
執(zhí)行頻率:支持以每小時(shí)、每天、每周、一周中某些天、自定義等5種頻率,具體請(qǐng)查看執(zhí)行頻率參考。
執(zhí)行次數(shù):指定任務(wù)的執(zhí)行次數(shù),如不設(shè)置則默認(rèn)執(zhí)行一次,最大執(zhí)行次數(shù)請(qǐng)參考控制臺(tái)提示。
重要可隨時(shí)手動(dòng)啟動(dòng)和暫停任務(wù),不受自定義執(zhí)行時(shí)間的影響。
閱讀在線遷移服務(wù)協(xié)議,選中我已理解并確認(rèn),合規(guī)承諾聲明且當(dāng)遷移任務(wù)完成時(shí),我有確認(rèn)遷移數(shù)據(jù)一致性的義務(wù)和責(zé)任,然后單擊下一步。
檢查配置信息,確認(rèn)無誤后,單擊確定,等待遷移任務(wù)執(zhí)行。
執(zhí)行頻率參考
執(zhí)行頻率 | 說明 | 示例 |
每小時(shí) | 選擇以每小時(shí)為頻率,可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為8:05分,指定每小時(shí)為頻率,執(zhí)行3次任務(wù),則會(huì)在下一個(gè)整點(diǎn)9點(diǎn)鐘開始第一次任務(wù)。
|
每天 | 選擇以每天為頻率時(shí),需設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù),可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為8:05分,指定每天10點(diǎn),執(zhí)行5次,會(huì)在當(dāng)天10點(diǎn)開始第一次任務(wù)。
|
每周 | 選擇每周時(shí),需指定周內(nèi)任意一天,并設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù),可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為周一8:05分,指定每周一的10點(diǎn),執(zhí)行10次,則會(huì)在當(dāng)天10點(diǎn)時(shí)開始第一次任務(wù)。
|
一周中某些天 | 選擇一周中某些天時(shí),支持選擇周內(nèi)任意幾天,并設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù)。 | 當(dāng)前為周三8:05,指定每周一、三、五的10點(diǎn),則會(huì)在當(dāng)天的10點(diǎn)時(shí)開始第一次任務(wù)。
|
自定義 | 使用Cron表達(dá)式自定義設(shè)置任務(wù)啟動(dòng)時(shí)間。 | 說明 Cron表達(dá)式由6個(gè)字段組成,每個(gè)字段之間使用空格分隔,依次表示任務(wù)的執(zhí)行時(shí)間規(guī)則:秒 分鐘 小時(shí) 日 月 星期。 以下Cron表達(dá)式示例僅供參考,更多請(qǐng)參照Cron表達(dá)式生成器:
|
步驟五:校驗(yàn)數(shù)據(jù)
遷移服務(wù)僅負(fù)責(zé)數(shù)據(jù)的遷移,無法保證數(shù)據(jù)的一致性和完整性。遷移任務(wù)完成后,請(qǐng)您全量校驗(yàn)遷移的數(shù)據(jù),務(wù)必自行做好源端和目的端數(shù)據(jù)一致性校驗(yàn)。
請(qǐng)您務(wù)必在遷移任務(wù)完成后,校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)。您在刪除源數(shù)據(jù)前,未校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)無誤,導(dǎo)致數(shù)據(jù)丟失所引起的一切損失和后果均由您自行承擔(dān)。