跨地域災備
當您需要保證MaxCompute作業(yè)持續(xù)運行時,MaxCompute提供跨地域(Region)災備功能,支持以項目(Project)為單位遠程備份數(shù)據(jù)和元數(shù)據(jù),確保備份地點與數(shù)據(jù)源的地理距離超過一百公里,以提升數(shù)據(jù)安全性。您能夠自定義選擇備份目標地域,并監(jiān)控備份進度。當遇到地域級別的故障時,該功能允許您將項目迅速切換到備份地域,并利用已備份的數(shù)據(jù)恢復業(yè)務(wù)。本文為您介紹跨地域災備功能說明和使用跨地域災備功能備份MaxCompute項目。
功能說明
MaxCompute跨地域災備會選擇與當前地域地理距離100公里以上的地域作為數(shù)據(jù)災難備份集群,為客戶的項目級數(shù)據(jù)建立完整的異地備份,備份副本包括項目中完整的數(shù)據(jù)(表、分區(qū)、Delta Table、物化視圖)和元數(shù)據(jù)(版本信息、用戶角色、權(quán)限策略等),小時級備份周期盡可能保護客戶數(shù)據(jù)的完整性和可用性,降低地域性自然災害造成的數(shù)據(jù)損失。具體如下:
災備方式
跨地域災備采用文件級增量備份,拷貝列壓縮的二進制數(shù)據(jù)文件,兼顧備份效率并降低傳輸成本,實現(xiàn)小時級備份周期。
故障恢復
當災難發(fā)生,主地域服務(wù)不可用時,用戶可以選擇切換項目到備地域,為項目分配備地域的計算資源,將上游業(yè)務(wù)連接到備地域的Endpoint,即可立即恢復業(yè)務(wù)運行。
MaxCompute控制地域和元數(shù)據(jù)實現(xiàn)了跨地域(Region)高可用,不會因為某個地域故障而停止服務(wù)。如上圖所示,將北京地域的項目配置為災備項目,備份目標地域選擇上海地域,即選擇了一條北京地域至上海地域的復制鏈路,跨地域復制功能開始從北京地域(主地域)向上海地域(備份地域)同步數(shù)據(jù)。備份順序由系統(tǒng)自動識別所有未備份的數(shù)據(jù)最新版本,并啟動并行任務(wù)進行備份,備份完成時間主要由待備份數(shù)量和跨地域數(shù)據(jù)傳輸帶寬決定。備份周期受跨地域復制的自動調(diào)度策略控制,不保證備份數(shù)據(jù)的每個增量版本,而是在每次備份啟動時復制用戶數(shù)據(jù)的最新版本。
如果主地域發(fā)生災難后,經(jīng)阿里云確認主地域不可恢復,會開放將項目切換到備份地域所在地域的按鈕,您可以根據(jù)業(yè)務(wù)需求選擇是否切換地域。切換結(jié)果為項目的默認地域從原來的主地域改為備份地域,以備份地域切換時的最新數(shù)據(jù)版本為可見可用版本。
計費說明
MaxCompute會對開啟跨地域災備的項目以按量付費的方式收取跨地域災備數(shù)據(jù)復制費用和跨地域災備存儲費用。關(guān)于計費詳情,請參見跨地域災備費用(按量計費)。
使用限制
僅內(nèi)部項目(即項目管理頁項目類型為managed的項目)支持跨地域災備。
目前僅華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、西南1(成都)地域支持跨地域災備功能。
單個項目的數(shù)據(jù)僅支持備份到一個目標地域。
僅支持普通表、Delta Table類型表、物化視圖等數(shù)據(jù)備份,暫不支持Resource備份。
說明Delta Table表的災備數(shù)據(jù)做Time travel查詢時,存在版本限制:僅支持從最新備份版本到用戶或系統(tǒng)最近一次觸發(fā)compact major操作的版本之間進行Time travel查詢。關(guān)于compact major操作,請參見COMPACTION。
不支持將已備份數(shù)據(jù)從備份集群回寫到主集群。
注意事項
您需要在目標地域開通MaxCompute,即開通后付費(按量付費)資源或購買預付費(包年包月)資源。如果未開通MaxCompute,目標地域不可選,開通MaxCompute請參見開通MaxCompute。
復制鏈路由MaxCompute提供,MaxCompute會保證項目可以備份到多個地域;此外,您也可以選擇將所有項目都備份到同一個地域;以及在任何時候?qū)⑿聞?chuàng)建的項目數(shù)據(jù)備份到已經(jīng)存在備份的任何其他地域,如果有鏈路不可見或報錯,可以通過工單、您的專屬釘群或MaxCompute開發(fā)者社區(qū)群(釘釘群號:11782920)聯(lián)系我們。
增量數(shù)據(jù)的定義是文件的元數(shù)據(jù)版本是否發(fā)生變化,如果在主地域進行了覆寫、合并小文件、刪除數(shù)據(jù)等操作,就會產(chǎn)生新的版本,跨地域復制會將最新數(shù)據(jù)同步到備份地域。
備份是文件粒度,即跨地域復制盡量保證每個文件是最新版本,但不保證整個項目所有數(shù)據(jù)在某個時刻的快照版本同時備份,即不支持時間點恢復(PiTR)。因此備份任務(wù)調(diào)度決定了文件級別恢復點目標(RPO)小于等于1天,您需要考慮不支持PiTR帶來的數(shù)據(jù)版本時間對齊問題。
如果您的項目使用預付費資源,地域切換后默認都會切換到后付費資源。后續(xù)可以在備份地域購買預付費資源,修改項目默認計算Quota為新購買的預付費Quota。
說明當前大量災備項目遷移涌入備份地域的時候,MaxCompute可以保證項目切換到備份地域有計算資源使用,也會補充計算資源,但不能保證性能不受影響。如果您對計算資源性能有非常高的要求,可以在目標地域購買預付費計算資源,地域切換后修改項目默認計算Quota為新購買的預付費Quota。
項目的地域切換后,您需要將對接MaxCompute的周邊產(chǎn)品或應(yīng)用連接的Endpoint切換為目標地域的Endpoint才可以正常訪問切換后的項目,否則使用跨地域的Endpoint連接項目可能會有連接穩(wěn)定性或性能問題。
如果在備份地域恢復生產(chǎn),并且切換之前的項目關(guān)聯(lián)了DataWorks、OSS等周邊配套產(chǎn)品,則這些產(chǎn)品都需要在目標地域開通,然后將遷移后的項目以新項目的方式在目標地域與周邊產(chǎn)品重新綁定或配置外部表才可以使用。例如您需要在遷移后的地域新建DataWorks工作空間,使用遷移后地域的Endpoint重新綁定遷移后的MaxCompute項目。因為原地域的DataWorks工作空間即使還可以使用,但其使用原地域的服務(wù)角色身份認證或原地域的Endpoint連接已遷移的項目,會產(chǎn)生認證錯誤或無法連通等問題。如果您在遷移前使用OSS,容災場景下可能原地域的OSS也無法訪問,您需要在遷移后的地域修改MaxCompute外部表配置,指向新地域的OSS Endpoint和文件存儲位置。即使原地域OSS還可以使用,也無法保證遷移后的MaxCompute項目可以跨地域讀取OSS數(shù)據(jù)。
重要DataWorks的任務(wù)、 OSS的數(shù)據(jù)等由用戶使用這些產(chǎn)品各自的備份功能進行備份或遷移。
使用說明
(可選)開通MaxCompute。
您需要在目標地域開通MaxCompute,即開通后付費(按量付費)資源或購買預付費(包年包月)資源,開通MaxCompute請參見開通MaxCompute。如果您已經(jīng)在目標地域購買了按量付費或包年包月資源,則可以跳過此步驟。
新增跨地域備份項目。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側(cè)導航欄,選擇
。在災備管理頁面,單擊新增跨地域備份項目。
在新增跨地域備份項目對話框中,選擇需要備份的項目和備份目標地域。
如果沒有您需要備份的目標地域,可以通過工單、您的專屬釘群或MaxCompute開發(fā)者社區(qū)群(釘釘群號:11782920)聯(lián)系開通。
單擊開始跨地域備份。
(可選)切換至備份地域。
當主地域發(fā)生故障后,阿里云確認主地域不可恢復,開放將項目切換到備份地域的能力,切換按鈕可用,由您選擇觸發(fā)切換,操作步驟如下。
重要您需要謹慎操作切換功能。因為備份非實時,不支持PiTR,所以切換可能會有數(shù)據(jù)丟失。如果切換到目標地域后又要切換回源地域,您需要將項目重新建立備份配置,并全量傳輸數(shù)據(jù),再做一次切換才可以完成遷移。
在災備管理頁面,單擊目標項目操作列的切換。
在災備切換對話框,確認切換項目的地域后,單擊確定。
切換成功后,在備份地域所在地域的項目管理頁面,將可以看到項目。
其他相關(guān)操作
刪除備份
如果需要取消備份配置,在災備管理頁面,單擊目標項目操作列的刪除,按照提示輸入項目名稱再單擊確定。
刪除操作將停止項目從源地域到目標地域的跨地域數(shù)據(jù)災備,同時刪除備份地域的備份數(shù)據(jù)。
您需要謹慎操作刪除功能,此操作會立即刪除備份地域已復制的數(shù)據(jù);如果您要恢復備份,需要重新建立災備配置,并重新傳輸全部主地域數(shù)據(jù)到備份地域。
災備監(jiān)控
您可以在災備管理頁面,單擊目標項目操作列的監(jiān)控,查看主地域、備份地域當前已經(jīng)存儲的數(shù)據(jù)大小和歷史累計跨地域復制產(chǎn)生的流量。此信息隨跨地域復制任務(wù)調(diào)度產(chǎn)生,不保證是實時信息,可以表示最多24小時前的信息。