使用對象存儲OSS的清單功能可以周期性生成清單文件。在大數據量的OSS備份場景中,云備份使用OSS清單功能進行備份,可顯著提升備份的效率和性能。云備份提供了靈活的備份策略配置選項,可以將數據備份到云端,并隨時查看和恢復數據。本文介紹如何使用云備份來備份OSS Bucket中大量的文件。
前提條件
背景信息
OSS的清單功能用于記錄存儲空間(Bucket)中指定文件(Object)的數量、大小、存儲類型、加密狀態等信息。在大數據量的OSS備份場景中,使用云備份的OSS清單功能進行備份,可顯著提升增量備份的性能。推薦1億以上的對象使用OSS清單功能進行備份,OSS清單產生時間由OSS決定,清單文件產生之前備份將會失敗。更多信息,請參見設置存儲空間清單。
注意事項
使用云備份的OSS清單功能備份OSS數據時,有如下注意事項:
首次創建備份計劃或綁定備份策略,云備份會自動創建服務關聯角色AliyunServiceRoleForHbrOssBackup,用于獲取訪問相關資源權限。頁面會彈出授權對話框,根據提示授權角色。更多信息,請參見云備份服務關聯角色。
云備份僅支持備份和恢復標準和低頻訪問存儲類型的Bucket,不支持備份和恢復歸檔、冷歸檔以及深冷歸檔等存儲類型的Bucket。
云備份僅支持備份和恢復標準和低頻訪問存儲類型的Object,不支持備份和恢復歸檔、冷歸檔以及深冷歸檔等存儲類型的Object。
云備份不支持備份和恢復Object的讀寫權限ACL。
備份OSS將產生OSS請求費用,該費用由OSS收取。更多信息,請參見OSS計量計費。
云備份讀取低頻訪問的Bucket或者Object的OSS數據進行備份會產生OSS數據取回費用。該費用按數據取回量計費,由OSS收取。更多信息,請參見數據處理費用。
通過備份歷史刪除早期的備份版本時,不會影響其他備份版本數據的完整性。
OSS清單文件在OSS控制臺進行維護。如何創建OSS清單,請參見設置存儲空間清單。
創建OSS Bucket時開啟的定時備份為30天免費使用計劃,到期會自動停用。建議您及時轉為付費使用。
重要免費試用計劃存在限制,無法編輯備份路徑和備份周期,每個免費備份計劃使用各自獨立的備份庫,并且轉付費之后不可更換備份庫。如果您計劃將來所有數據備份到同一個備份庫,請不要使用免費試用計劃。
為提升增量備份性能,云備份使用最近7天內最新的清單文件進行備份。
生成OSS清單文件需要時間,在使用時有以下限制:
備份任務觸發時,如果沒有任何OSS清單文件,則備份任務直接失敗。
備份任務觸發時,如果有OSS清單文件,但是和上次相比沒有更新,則備份任務失敗。
備份任務觸發時,只會使用最近一次生成的OSS清單文件進行備份。備份完成后OSS清單文件中新增文件將在下個備份周期進行備份。
備份執行間隔必須大于等于OSS清單的生成周期,以確保每次都能使用OSS清單文件進行備份。
綜上,建議您將首次備份時間置成OSS清單文件生成之后,或者在OSS清單文件生成之后單擊立即執行手動執行一次備份,以便及時能使用清單文件加快備份速度。
創建備份計劃周期性備份大數量OSS文件
創建備份計劃后,執行的第一次備份任務為全量備份,之后默認為增量備份。
您可以按如下步驟創建備份計劃。
在左側導航欄,選擇 。
在頂部菜單欄,選擇OSS所在的地域。
在OSS備份頁面,單擊創建備份計劃。
在創建備份計劃面板,按照以下說明填寫各項參數,然后單擊確定。
說明您可以享受免費備份計劃,計劃到期日期為創建備份計劃之日起1個月內,假設您于2020年2月14日創建備份計劃,則您可享受的免費備份計劃到期日期為2020年3月14日。使用該功能備份OSS將產生OSS請求費用和OSS清單存儲費用,該費用由OSS收取。更多信息,請參見OSS計量計費。
免費試用計劃無法編輯備份路徑和備份周期,每個免費備份計劃使用各自獨立的備份庫,并且轉付費之后不可更換備份庫。如果您計劃將來所有數據備份到同一個備份庫,請不要使用免費試用計劃。
本文檔以付費模式為例,介紹操作的參數配置。免費模式配置與此相似。
單擊立即轉為付費使用,然后在對話框中單擊確認。
按以下說明填寫基礎設置中涉及的各項參數。
重要如果您選擇的地域支持備份策略,那么您只能通過關聯備份策略設置備份計劃,則云備份會按照該備份策略周期性的備份OSS。
您可以在控制臺左側導航欄,單擊策略中心,查看已支持備份策略的地域。如何創建備份策略,請參見新建備份策略。
參數
說明
備份OSS Bucket
從下拉框中選擇待備份的OSS Bucket名稱。云備份會自動獲取您賬號下該地域的所有Bucket列表。
備份Bucket Prefix
從下拉框中選擇備份Bucket的目錄。默認不選擇時表示備份整個Bucket根目錄。
備份策略
從下拉框選擇合適的備份策略。
云備份會按照您設置的備份策略,自動備份數據源。備份策略主要包括備份庫加密方式、備份間隔、備份保留時間、異地復制策略以及備份自動歸檔等操作,幫助您靈活管理各數據源資產。
如果默認備份策略無法滿足您的備份方案,您可以單擊新建策略或編輯策略,新建或者修改備份策略。
關于備份策略中的參數解讀,請參見管理備份策略。
性能調優
是否使用OSS清單
是否使用OSS清單功能備份OSS文件。該場景配置為使用已有清單。
不使用:不使用OSS清單功能,即使用遍歷Object方式備份。
使用已有清單:使用已有的OSS清單文件進行備份,提升OSS增量備份性能。
OSS清單名稱
僅當是否使用OSS清單配置為使用已有清單時,需要配置該參數。從OSS清單名稱列表中,選擇已創建的OSS清單。
如何創建OSS清單,請參見設置存儲空間清單。
使用OSS清單功能會產生一定的費用,詳細費用請參見存儲空間清單計費說明。
您創建的OSS清單文件必須滿足以下條件:
清單文件必須是啟用狀態的當前版本,并且其Bucket前綴必須與創建計劃中參數備份Bucket Prefix的取值保持一致。
清單文件當中字段必須包括Object大小、存儲類型、最后更新日期和ETag。
OSS清單的生成周期不能大于備份周期,以確保每次都能使用OSS清單文件進行備份。
備份后是否刪除清單文件
備份計劃完成后是否刪除清單文件。該操作會對Bucket的清單文件進行刪除。建議將清單文件放到獨立Bucket或選擇不刪除進行手動管理。
不刪除:不刪除清單文件。如果有其他應用程序訪問該OSS清單文件,建議配置該選項。
刪除當前:刪除本次備份任務中使用的清單文件。
刪除所有:備份完成之后刪除所有這次備份之前生成的清單文件。如果沒有其他應用程序訪問該OSS清單文件,建議配置該選項。
備份計劃創建完成后,備份計劃的狀態為計劃中,云備份將按照指定的備份起始時間、備份執行間隔進行OSS備份任務。
備份成功
當達到備份執行時間時,云備份就會啟動執行備份任務。當備份任務狀態為成功時,表示當天備份完成。
您可以在備份歷史中看到每次備份記錄。后續,您可以根據這些歷史備份進行文件恢復。更多操作,請參見創建OSS恢復任務。
錯誤處理
當備份計劃或備份任務狀態異常時,您可以參考以下建議進行處理。
備份任務的狀態:失敗(OSS Bucket 不存在)
該OSS Bucket已經被刪除。
如果刪除OSS Bucket屬于正常操作,請無需關注備份任務狀態。為避免產生額外備份存儲容量費用,建議您在左側導航欄,單擊存儲庫管理,找到對應存儲庫進行刪除。
如果刪除OSS Bucket屬于誤操作,您想恢復該OSS Bucket。請在對應地域創建一個OSS Bucket,將該OSS Bucket作為恢復目的地,即可完成OSS文件恢復。具體操作,請參見創建OSS恢復任務。
備份任務的狀態:失敗(沒有可以使用的OSS清單文件。請等待下次備份,下次備份會自動檢測并使用最新清單文件。)
在您指定的目錄(前綴Prefix)下,沒有找到對應OSS清單文件。請前往OSS控制臺,查看Bucket清單文件是否已經創建。
備份計劃的狀態:暫停
該備份計劃已經被暫停。暫停后,云備份不再繼續進行OSS Bucket備份保護。建議您盡快啟用備份計劃。
瀏覽和下載備份文件
瀏覽備份文件
通過瀏覽功能,您可以瀏覽已經備份的文件。
在備份計劃頁簽,找到目標OSS,在操作列單擊備份歷史。
在備份歷史中,找到對應時間點的備份點,單擊瀏覽。
下載備份文件
不支持直接下載已備份文件。您可以通過恢復到一個指定的臨時OSS路徑(恢復不收費),然后在OSS側間接實現文件下載。
支持跨地域備份
為避免地域性災害對業務連續性的影響,云備份支持為通用備份庫創建異地鏡像備份庫,備份庫中的數據將會自動復制到鏡像備份庫中,實現跨地域異地備份。保存OSS文件的通用備份庫,支持創建異地鏡像備份庫。具體操作,請參見跨地域備份。
您通過備份ECS文件、備份SAP HANA、備份阿里云NAS文件、備份本地NAS文件、備份本地文件等功能創建的通用備份庫,都支持創建異地鏡像備份庫,同時也支持跨賬號備份、自動歸檔、使用KMS加密、開啟備份鎖定等企業級功能。
相關操作
您還可以在備份計劃頁簽的操作列進行如下相關操作。
操作 | 說明 |
備份歷史 | 您可以查看該OSS Bucket最近3個月或者所有的備份歷史。 |
立即執行 | 立即開始執行備份計劃。 |
編輯 | 已創建的OSS備份計劃不滿足預期,您可以修改OSS備份計劃。 |
暫停計劃 | 暫停執行中的備份計劃。 |
繼續計劃 | 將處于暫停狀態的備份計劃再次啟動。 |
刪除計劃 | 刪除執行中的備份計劃。備份計劃刪除后,該備份計劃不會繼續執行,但仍保留已備份的數據。 |
報警設置 | 在備份失敗或與服務器連接斷開時,云備份默認通過報警設置的方式發送報警。更多信息,請參見為本地文件備份設置報警。 |