結合調度策略和覆蓋策略實現增量遷移
本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
本文介紹如何結合調度策略和覆蓋策略實現增量數據遷移。
概述
在線遷移服務執行遷移任務時,每一輪遷移都需要對源端數據進行全量掃描。若在遷移過程中產生了增量數據,需要等待下一輪執行才能掃描到并將其遷移到目的端。本文檔將介紹如何結合自動調度策略和覆蓋策略來實現增量數據的遷移。
在線遷移服務無法保證增量數據遷移的及時性,因此該方案不適用于文件數量較多且對時效性要求嚴格的場景。
在遷移過程中,無法確保數據的一致性,因此務必在遷移任務完成后對目的端的遷移數據進行校驗。在刪除源數據之前,必須確認目的端的遷移數據無誤,否則由此導致的數據丟失所引起的一切損失和后果均由您自行承擔。
遷移實施教程
結合調度策略和覆蓋策略實現增量數據遷移,適用于各種遷移場景,如需了解更詳細的信息,請參考遷移教程,并根據具體場景選擇相應的遷移教程。
在創建任務時,需要選擇相應的調度策略和覆蓋策略,具體介紹如下:
策略 | 描述 |
覆蓋策略 | 在線遷移服務提供三種文件覆蓋方式:不覆蓋,全部覆蓋,根據最后修改時間覆蓋。 為了實現增量遷移,選擇根據最后修改時間覆蓋,如果目的端文件符合跳過的條件,則不會重新遷移該文件。 說明 根據最后修改時間覆蓋仍然會請求源端和目的端獲取文件元信息。 |
調度策略 | 配置定時任務或周期調度,請參見執行頻率參考。任務執行ID在執行輪次限制內(任務從啟動到結束為一輪執行,執行ID加1),會根據啟動時間和暫停時間自動調度任務,超過執行輪次限制時,不會再自動調度,但您仍然可以手動進行調度。 |
在線遷移服務將根據調度策略自動調度您的任務。每一輪數據遷移都會進行全量數據掃描。如果目標端已經存在同名文件,系統將通過最后修改時間覆蓋策略的判斷條件來確定是否跳過,從而實現數據的增量遷移。
請查看每種場景的遷移教程->遷移實施->創建任務->執行時間,以獲取有關周期調度或指定執行時間的描述。
請查看每種場景的遷移教程->遷移實施->創建任務->覆蓋方式,以獲取覆蓋策略的詳細信息。
遷移示例
示例:每天零點進行一次增量數據遷移。
假設用戶在源端的OSS上存儲了2000個歷史數據文件,每天不定時會產生大約50個增量數據文件,用戶希望每天零點時將這些增量數據上傳至OSS。
請按照以下步驟參考阿里云OSS遷移教程,實現增量遷移:
創建遷移任務,覆蓋方式選擇根據最后修改時間覆蓋;任務調度選擇周期調度,執行頻率設置每天零點執行,執行次數100次。
根據此配置,在任務執行100輪次內,在線遷移服務會在每天零點自動啟動您的任務,全量掃描源端數據,并根據最后修改時間覆蓋策略將增量數據遷移到目的端。超出100輪次限制后,在線遷移服務將不再自動啟動您的任務,但您仍然可以手動啟動任務。
如果任務的文件數量很大,每輪執行在一天內不能完成,在零點啟動任務時,任務已經在運行中,則會在下一個零點嘗試啟動任務。