遷移實(shí)施
本文中含有需要您注意的重要提示信息,忽略該信息可能對(duì)您的業(yè)務(wù)造成影響,請(qǐng)務(wù)必仔細(xì)閱讀。
本文介紹如何對(duì)源端為HTTP/HTTPS的數(shù)據(jù)進(jìn)行數(shù)據(jù)遷移的注意事項(xiàng)、遷移限制說(shuō)明和操作步驟。
注意事項(xiàng)
使用在線遷移服務(wù)遷移數(shù)據(jù)時(shí)需要注意以下事項(xiàng):
在線遷移服務(wù)使用源站存儲(chǔ)服務(wù)提供商公開(kāi)的標(biāo)準(zhǔn)接口來(lái)訪問(wèn)源數(shù)據(jù),其行為依賴于源站存儲(chǔ)服務(wù)提供商的具體實(shí)現(xiàn)。
在線遷移會(huì)占用源地址和目的地址的資源,可能會(huì)影響業(yè)務(wù)正常運(yùn)行。若您的業(yè)務(wù)比較重要,請(qǐng)?zhí)崆白龊迷u(píng)估后對(duì)遷移任務(wù)設(shè)置限速,或在空閑時(shí)間啟動(dòng)遷移任務(wù)。
在線遷移前會(huì)檢查源地址和目的地址的文件,但是若您源和目的地址有相同文件名的文件,且在遷移任務(wù)中配置了覆蓋方式為覆蓋,遷移時(shí)會(huì)直接覆蓋目的地址的文件。若兩個(gè)文件內(nèi)容不同,必須更改文件名或做好備份。
在線遷移會(huì)保留源文件的最后修改時(shí)間屬性,如果目的Bucket設(shè)置了生命周期規(guī)則,且遷移后文件處于該生命周期規(guī)則生效的時(shí)間范圍內(nèi),則該文件可能會(huì)在規(guī)則生效時(shí)被刪除或轉(zhuǎn)為指定的歸檔類型。
遷移限制說(shuō)明
HTTP/HTTPS遷移數(shù)據(jù)的屬性說(shuō)明如下:
支持遷移的屬性:LastModifyTime ,Content-Type,Cache-Control,Content-Encoding,Content-Disposition。Content-Language 、Expires。
不支持遷移的屬性:暫不明確,以實(shí)際遷移完成的內(nèi)容為準(zhǔn)。
步驟一:選擇地域
使用創(chuàng)建的RAM用戶登錄阿里云在線遷移服務(wù)管理控制臺(tái)。
在頂部菜單欄左上角處的地域選擇代表“遷移服務(wù)部署地域”,因此請(qǐng)選擇數(shù)據(jù)源所在地域或距離數(shù)據(jù)源最近的地域,如下圖所示。
控制臺(tái)上方所選地域(代表在線遷移服務(wù)的部署地域),中國(guó)內(nèi)地地域包含北京、上海、杭州、深圳、烏蘭察布,其他地域包含中國(guó)香港、新加坡、德國(guó)(法蘭克福)、美國(guó)(弗吉尼亞)。
重要不同地域內(nèi)的數(shù)據(jù)地址和遷移任務(wù)不通用,請(qǐng)謹(jǐn)慎選擇。
優(yōu)先選擇源數(shù)據(jù)所在的地域,如果沒(méi)有源數(shù)據(jù)所在地對(duì)應(yīng)的地域,請(qǐng)盡可能選擇接近源數(shù)據(jù)所在的地域創(chuàng)建遷移任務(wù)。
跨境遷移時(shí),推薦您開(kāi)啟傳輸加速,提高遷移速度。開(kāi)啟了傳輸加速的Bucket會(huì)收取傳輸加速費(fèi)用。關(guān)于傳輸加速的更多信息,請(qǐng)參見(jiàn)傳輸加速。
步驟二:創(chuàng)建源地址
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 地址管理,單擊新建地址。
在新建地址面板,配置如下參數(shù),然后單擊確定。
參數(shù)
是否必選
說(shuō)明
名稱
是
輸入源數(shù)據(jù)地址名稱。名稱命名規(guī)則如下:
名稱不能為空,長(zhǎng)度為3~63個(gè)字符。
支持英文小寫(xiě)字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫(xiě)。
UTF-8編碼不能以短劃線(-)和下劃線(_)開(kāi)頭。
類型
是
選擇HTTP/HTTPS。
協(xié)議
是
選擇HTTP或HTTPS。
端口
是
輸入指定端口號(hào),HTTP默認(rèn)為80端口,HTTPS默認(rèn)為443端口,端口范圍為0~65535。
列表位置
是
清單文件所在的存儲(chǔ)空間,可選擇Alibaba OSS或AWS S3。
列表域名或區(qū)域
是
當(dāng)列表位置選擇Alibaba OSS時(shí),輸入OSS清單所在的地域。
當(dāng)列表位置選擇AWS S3時(shí),輸入AWS S3清單的訪問(wèn)域名。更多信息,請(qǐng)參見(jiàn)Amazon S3終端節(jié)點(diǎn)。
授權(quán)角色
是(列表位置選擇Alibaba OSS )
清單Bucket歸屬于在線遷移控制臺(tái)賬號(hào)
清單Bucket不歸屬于在線遷移控制臺(tái)賬號(hào)
存儲(chǔ)桶(Bucket)
是
輸入當(dāng)前控制臺(tái)所在賬號(hào)下待遷移列表所在的存儲(chǔ)桶(Bucket)名稱。
列表AccessKeyId
是(列表位置選擇AW3 S3 )
當(dāng)列表位置選擇AWS S3時(shí),輸入用于訪問(wèn)AWS S3清單的密鑰,遷移完成后刪除。
列表SecretAccessKey
通道
否
選擇需要使用的通道名稱。
重要僅通過(guò)專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
目的數(shù)據(jù)地址是LOCALFS的以及需要走專線(金融云、專有云等)的場(chǎng)景需要關(guān)聯(lián)代理。
代理
否
選擇需要使用的代理名稱。
重要僅通過(guò)專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
指定通道下,最多可同時(shí)選擇30個(gè)代理。
步驟三:創(chuàng)建目的地址
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 地址管理,單擊新建地址。
在新建地址面板,配置如下參數(shù),然后單擊確定。
名稱不能為空,長(zhǎng)度為3~63個(gè)字符。
支持英文小寫(xiě)字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫(xiě)。
UTF-8編碼不能以短劃線(-)和下劃線(_)開(kāi)頭。
目的Bucket歸屬于在線遷移控制臺(tái)賬號(hào)
目的Bucket不屬于在線遷移控制臺(tái)賬號(hào)
指定前綴:例如源數(shù)據(jù)地址前綴為
example/src/
,此路徑下有文件example.jpg,設(shè)置目的數(shù)據(jù)地址前綴為example/dest/
,則遷移后文件example.jpg的完整路徑為example/dest/example.jpg
。不指定前綴:不設(shè)置數(shù)據(jù)路徑前綴時(shí),會(huì)將源數(shù)據(jù)遷移至目的Bucket的根目錄。
僅通過(guò)專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
目的數(shù)據(jù)地址是LOCALFS的以及需要走專線(金融云、專有云等)的場(chǎng)景需要關(guān)聯(lián)代理。
僅通過(guò)專線或VPN遷移數(shù)據(jù)上云、自建存儲(chǔ)數(shù)據(jù)遷移上云需要使用該參數(shù)。
指定通道下,最多可同時(shí)選擇30個(gè)代理。
參數(shù) | 是否必選 | 說(shuō)明 |
名稱 | 是 | 輸入目的數(shù)據(jù)地址名稱。名稱命名規(guī)則如下: |
類型 | 是 | 選擇Alibaba OSS。 |
自定義域名 | 否 | 支持用戶的自定義域名 |
地域 | 是 | 選擇目的地址所在的地域,例如華東1(杭州)。 |
授權(quán)角色 | 是 | |
存儲(chǔ)桶(Bucket) | 是 | 輸入當(dāng)前控制臺(tái)所在賬號(hào)下遷移后數(shù)據(jù)所在的存儲(chǔ)桶(Bucket)名稱。 |
前綴 | 否 | 您可以指定數(shù)據(jù)路徑前綴將源數(shù)據(jù)遷移至指定目錄下。格式要求不能以正斜線(/)開(kāi)頭,必須以正斜線(/)結(jié)尾,例如 |
通道 | 否 | 選擇需要使用的通道名稱。 重要 |
代理 | 否 | 選擇需要使用的代理名稱。 重要 |
步驟四:創(chuàng)建遷移任務(wù)
在左側(cè)導(dǎo)航欄,選擇在線遷移服務(wù) > 遷移任務(wù),單擊新建任務(wù)。
在選擇地址頁(yè)面,配置如下參數(shù),然后單擊下一步。
參數(shù)
是否必選
說(shuō)明
名稱
是
輸入遷移任務(wù)名稱。名稱命名規(guī)則如下:
名稱不能為空,長(zhǎng)度為3~63個(gè)字符。
支持英文小寫(xiě)字母、數(shù)字和特殊字符短劃線(-)和下劃線(_),且區(qū)分大小寫(xiě)。
UTF-8編碼不能以短劃線(-)和下劃線(_)開(kāi)頭。
源地址
是
選擇已創(chuàng)建的源地址。
目的地址
是
選擇已創(chuàng)建的目的地址。
在配置任務(wù)頁(yè)面,配置如下參數(shù)。
參數(shù)
是否必選
說(shuō)明
遷移帶寬
否
選擇遷移帶寬。
默認(rèn):默認(rèn)最大帶寬,實(shí)際速度取決于文件大小和文件數(shù)量。
指定上限:根據(jù)控制臺(tái)提示指定具體的帶寬上限。
重要實(shí)際遷移帶寬與數(shù)據(jù)源、網(wǎng)絡(luò)、目的限流、文件大小等因素有關(guān),不一定能達(dá)到指定上限。
請(qǐng)您評(píng)估數(shù)據(jù)源、遷移目的、業(yè)務(wù)情況、網(wǎng)絡(luò)帶寬等,并根據(jù)實(shí)際情況選擇合理數(shù)值,限流不恰當(dāng)可能會(huì)影響業(yè)務(wù)的正常運(yùn)行。
每秒遷移文件數(shù)
否
選擇每秒遷移文件數(shù)。
默認(rèn):每秒遷移文件數(shù)。
指定上限:根據(jù)控制臺(tái)提示指定具體的每秒遷移文件數(shù)。
重要實(shí)際遷移帶寬與數(shù)據(jù)源、網(wǎng)絡(luò)、目的限流、文件大小等因素有關(guān),不一定能達(dá)到指定上限。
請(qǐng)您評(píng)估數(shù)據(jù)源、遷移目的、業(yè)務(wù)情況、網(wǎng)絡(luò)帶寬等,并根據(jù)實(shí)際情況選擇合理數(shù)值,限流不當(dāng)可能會(huì)影響業(yè)務(wù)的正常運(yùn)行。
覆蓋方式
否
選擇同名文件的覆蓋方式。
不覆蓋:不遷移該文件。
全部覆蓋:源地址中的文件會(huì)覆蓋目的地址中的文件。
根據(jù)最后修改時(shí)間覆蓋:
當(dāng)源地址中的文件最后修改時(shí)間晚于目的地址中的文件最后修改時(shí)間時(shí),目的地址中的文件會(huì)被覆蓋。
當(dāng)源地址中的文件最后修改時(shí)間與目的地址中的文件最后修改時(shí)間相同時(shí),若二者的Size和Content-Type有一項(xiàng)不同,則目的地址中的文件會(huì)被覆蓋。
根據(jù)最后修改時(shí)間覆蓋無(wú)法嚴(yán)格保證一定不會(huì)覆蓋更新的文件,存在舊文件覆蓋新文件的風(fēng)險(xiǎn)。
若您選擇根據(jù)最后修改時(shí)間覆蓋的覆蓋方式,請(qǐng)務(wù)必確保源端文件能返回最后修改時(shí)間、Size、Content-Type等信息,否則覆蓋策略可能失效,產(chǎn)生非預(yù)期的遷移結(jié)果。
選擇不覆蓋或根據(jù)最后修改時(shí)間覆蓋時(shí),為執(zhí)行后續(xù)覆蓋判斷,會(huì)分別請(qǐng)求源端和目的端meta信息一次,因此會(huì)在源端和目的端產(chǎn)生對(duì)應(yīng)的請(qǐng)求費(fèi)用。
警告遷移報(bào)告
是
遷移報(bào)告推送方式。
不推送(默認(rèn)):不推送遷移報(bào)告至目的bucket。
推送:將遷移報(bào)告推送至目的bucket,詳細(xì)路徑請(qǐng)參考后續(xù)操作。
重要遷移報(bào)告推送會(huì)占用目的端一定的存儲(chǔ)空間。
遷移報(bào)告的推送可能會(huì)存在一定的時(shí)間延遲,請(qǐng)您耐心等待遷移報(bào)告的生成。
每個(gè)任務(wù)執(zhí)行記錄都有一個(gè)唯一的ID,請(qǐng)注意,遷移報(bào)告只會(huì)推送一次,請(qǐng)謹(jǐn)慎刪除!
遷移日志
是
遷移日志推送方式。
不推送(默認(rèn)):不推送遷移日志。
推送:將遷移日志推送至日志服務(wù)SLS,可在SLS上查看遷移日志。
僅推送文件錯(cuò)誤日志:僅將錯(cuò)誤遷移日志推送至日志服務(wù)SLS,可在SLS上查看錯(cuò)誤遷移日志。
當(dāng)選擇推送或僅推送文件錯(cuò)誤日志時(shí),在線遷移服務(wù)會(huì)在日志服務(wù)SLS中創(chuàng)建名稱為aliyun-oss-import-log-阿里云賬號(hào)ID-當(dāng)前遷移服務(wù)部署地域的Project,例如aliyun-oss-import-log-137918634953****-cn-hangzhou。
重要請(qǐng)務(wù)必完成以下操作后,再選擇推送或僅推送文件錯(cuò)誤日志,否則可能會(huì)導(dǎo)致遷移任務(wù)異常。
已開(kāi)通SLS服務(wù)。
已在日志服務(wù)授權(quán)項(xiàng)授權(quán)頁(yè)面中同意授權(quán)。
日志服務(wù)授權(quán)
否
當(dāng)遷移日志選擇推送或僅推送文件錯(cuò)誤日志時(shí)出現(xiàn)該選項(xiàng)。
單擊授權(quán)進(jìn)入云資源訪問(wèn)授權(quán)頁(yè)面,頁(yè)面會(huì)對(duì)應(yīng)創(chuàng)建AliyunOSSImportSlsAuditRole角色,并對(duì)角色做授權(quán),請(qǐng)單擊同意授權(quán)完成授權(quán)。
執(zhí)行時(shí)間
否
重要正在遷移中的任務(wù),在下一個(gè)指定時(shí)間前仍未結(jié)束本輪遷移,則會(huì)在本輪遷移結(jié)束后,自動(dòng)順延至下一個(gè)指定時(shí)間啟動(dòng)任務(wù),直至完成指定次數(shù)的遷移。
遷移任務(wù)并發(fā)數(shù)量限制:遷移服務(wù)部署地域選擇中國(guó)香港或中國(guó)內(nèi)地時(shí)最多支持10個(gè)任務(wù)并發(fā),選擇海外地域時(shí)最多支持5個(gè),超出限制后可能導(dǎo)致定時(shí)任務(wù)調(diào)度無(wú)法按預(yù)期執(zhí)行。
確定遷移任務(wù)的執(zhí)行時(shí)間。
立即執(zhí)行:立即執(zhí)行當(dāng)前任務(wù)。
指定執(zhí)行時(shí)間:指定任務(wù)執(zhí)行期間每天的執(zhí)行時(shí)間段。默認(rèn)情況下,任務(wù)將在指定的起始時(shí)間啟動(dòng),在指定的停止時(shí)間暫停。
周期調(diào)度:通過(guò)調(diào)整執(zhí)行頻率和執(zhí)行次數(shù)來(lái)啟動(dòng)任務(wù)。
執(zhí)行頻率:支持以每小時(shí)、每天、每周、一周中某些天、自定義等5種頻率,具體請(qǐng)查看執(zhí)行頻率參考。
執(zhí)行次數(shù):指定任務(wù)的執(zhí)行次數(shù),如不設(shè)置則默認(rèn)執(zhí)行一次,最大執(zhí)行次數(shù)請(qǐng)參考控制臺(tái)提示。
重要可隨時(shí)手動(dòng)啟動(dòng)和暫停任務(wù),不受自定義執(zhí)行時(shí)間的影響。
閱讀在線遷移服務(wù)協(xié)議,選中我已理解并確認(rèn),合規(guī)承諾聲明且當(dāng)遷移任務(wù)完成時(shí),我有確認(rèn)遷移數(shù)據(jù)一致性的義務(wù)和責(zé)任,然后單擊下一步。
檢查配置信息,確認(rèn)無(wú)誤后,單擊確定,等待遷移任務(wù)執(zhí)行。
執(zhí)行頻率參考
執(zhí)行頻率 | 說(shuō)明 | 示例 |
每小時(shí) | 選擇以每小時(shí)為頻率,可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為8:05分,指定每小時(shí)為頻率,執(zhí)行3次任務(wù),則會(huì)在下一個(gè)整點(diǎn)9點(diǎn)鐘開(kāi)始第一次任務(wù)。
|
每天 | 選擇以每天為頻率時(shí),需設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù),可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為8:05分,指定每天10點(diǎn),執(zhí)行5次,會(huì)在當(dāng)天10點(diǎn)開(kāi)始第一次任務(wù)。
|
每周 | 選擇每周時(shí),需指定周內(nèi)任意一天,并設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù),可搭配執(zhí)行次數(shù)一起使用。 | 當(dāng)前時(shí)間為周一8:05分,指定每周一的10點(diǎn),執(zhí)行10次,則會(huì)在當(dāng)天10點(diǎn)時(shí)開(kāi)始第一次任務(wù)。
|
一周中某些天 | 選擇一周中某些天時(shí),支持選擇周內(nèi)任意幾天,并設(shè)置0~23小時(shí)中任意整點(diǎn)時(shí)間啟動(dòng)任務(wù)。 | 當(dāng)前為周三8:05,指定每周一、三、五的10點(diǎn),則會(huì)在當(dāng)天的10點(diǎn)時(shí)開(kāi)始第一次任務(wù)。
|
自定義 | 使用Cron表達(dá)式自定義設(shè)置任務(wù)啟動(dòng)時(shí)間。 | 說(shuō)明 Cron表達(dá)式由6個(gè)字段組成,每個(gè)字段之間使用空格分隔,依次表示任務(wù)的執(zhí)行時(shí)間規(guī)則:秒 分鐘 小時(shí) 日 月 星期。 以下Cron表達(dá)式示例僅供參考,更多請(qǐng)參照Cron表達(dá)式生成器:
|
步驟五:校驗(yàn)數(shù)據(jù)
遷移服務(wù)僅負(fù)責(zé)數(shù)據(jù)的遷移,無(wú)法保證數(shù)據(jù)的一致性和完整性。遷移任務(wù)完成后,請(qǐng)您全量校驗(yàn)遷移的數(shù)據(jù),務(wù)必自行做好源端和目的端數(shù)據(jù)一致性校驗(yàn)。
請(qǐng)您務(wù)必在遷移任務(wù)完成后,校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)。您在刪除源數(shù)據(jù)前,未校驗(yàn)?zāi)康亩诉w移數(shù)據(jù)無(wú)誤,導(dǎo)致數(shù)據(jù)丟失所引起的一切損失和后果均由您自行承擔(dān)。