生命周期管理
生命周期管理支持多種類型的生命周期管理規(guī)則,通過建立不同的規(guī)則,您可以方便地管理數(shù)據(jù)湖內(nèi)的數(shù)據(jù)生命周期,以便節(jié)約存儲(chǔ)成本。本文為您介紹生命周期管理規(guī)則的基礎(chǔ)操作。
功能說明
通過生命周期管理對(duì)數(shù)據(jù)湖中的數(shù)據(jù)庫、數(shù)據(jù)表配置數(shù)據(jù)管理規(guī)則,基于數(shù)據(jù)最后訪問時(shí)間、分區(qū)值(按時(shí)間)、分區(qū)/表創(chuàng)建時(shí)間、分區(qū)/表最近修改時(shí)間四種規(guī)則類型,對(duì)數(shù)據(jù)定期進(jìn)行存儲(chǔ)類型轉(zhuǎn)換,從而節(jié)省數(shù)據(jù)存儲(chǔ)成本。數(shù)據(jù)湖中存在大量數(shù)據(jù)庫/表的歷史數(shù)據(jù),這些歷史數(shù)據(jù)隨著時(shí)間變化,不再被業(yè)務(wù)使用,期望轉(zhuǎn)為成本更低的低頻、歸檔,冷歸檔類型存儲(chǔ)。例如:
訂單表(按pt分區(qū),如pt=20220101),業(yè)務(wù)訴求為僅分析近3年數(shù)據(jù),而歷史分區(qū)數(shù)據(jù)期望轉(zhuǎn)為冷歸檔,降低存儲(chǔ)使用成本。此類場景,可以配置按分區(qū)值規(guī)則類型進(jìn)行定期歸檔。
業(yè)務(wù)A的數(shù)據(jù)庫A,因?yàn)闃I(yè)務(wù)A不再發(fā)展,歷史數(shù)據(jù)暫時(shí)封存,可以配置該數(shù)據(jù)庫的定期轉(zhuǎn)為冷歸檔,將整個(gè)數(shù)據(jù)庫轉(zhuǎn)為冷歸檔。
請(qǐng)謹(jǐn)慎操作,根據(jù)實(shí)際業(yè)務(wù)配置相關(guān)規(guī)則。
被轉(zhuǎn)為歸檔、冷歸檔的數(shù)據(jù),將無法被計(jì)算引擎所訪問。您必須手動(dòng)對(duì)其進(jìn)行解凍恢復(fù)才可繼續(xù)使用,且解凍會(huì)產(chǎn)生相關(guān)費(fèi)用。詳情請(qǐng)參見OSS存儲(chǔ)類型介紹和OSS類型轉(zhuǎn)換。
被轉(zhuǎn)為低頻的數(shù)據(jù),被計(jì)算引擎訪問時(shí)性能將會(huì)下降。
使用限制
元數(shù)據(jù)管理使用數(shù)據(jù)湖構(gòu)建(DLF 1.0),且數(shù)據(jù)存儲(chǔ)在OSS中。
暫時(shí)無法支持非結(jié)構(gòu)化數(shù)據(jù)管理,如有這方面需求請(qǐng)參考OSS的生命周期管理。
費(fèi)用說明
使用生命周期管理功能,涉及兩部分費(fèi)用,如下:
生命周期管理功能,目前公測中,當(dāng)前階段免費(fèi)。
OSS生命周期費(fèi)用說明,請(qǐng)參考OSS生命周期費(fèi)用說明。
操作說明
前提條件
您已經(jīng)開通OSS產(chǎn)品,如未開通請(qǐng)前往OSS控制臺(tái)。
生命周期管理的庫表權(quán)限,受到DLF的數(shù)據(jù)權(quán)限管控,所以用戶僅能對(duì)其權(quán)限內(nèi)的數(shù)據(jù)庫/表進(jìn)行生命周期規(guī)則配置。
創(chuàng)建生命周期規(guī)則
您可以參考如下步驟創(chuàng)建一條生命周期規(guī)則。
在左側(cè)菜單欄,選擇湖管理>生命周期管理。
單擊新建規(guī)則,進(jìn)行規(guī)則配置。
填寫基本信息:名稱、描述、數(shù)據(jù)目錄、資源類型。
資源類型可以選擇庫、表兩種類型,分別對(duì)應(yīng)元數(shù)據(jù)庫、元數(shù)據(jù)表進(jìn)行生命周期規(guī)則配置。
選擇規(guī)則類型,目前DLF支持以下四種規(guī)則類型。
數(shù)據(jù)最后訪問時(shí)間:可以實(shí)現(xiàn)按照數(shù)據(jù)最后訪問時(shí)間來界定生命周期。如果表有分區(qū),則按最細(xì)粒度分區(qū)最后訪問時(shí)間,否則按表最后訪問時(shí)間。
分區(qū)值(按時(shí)間):可以實(shí)現(xiàn)按分區(qū)值來界定生命周期。目前只適用于一級(jí)分區(qū)中包含時(shí)間格式的表。
分區(qū)/表最近修改時(shí)間:可以實(shí)現(xiàn)按分區(qū)/表最近修改時(shí)間來界定生命周期。如果表有分區(qū),則按最細(xì)粒度分區(qū)最近修改時(shí)間,否則按表最近修改時(shí)間。
分區(qū)/表創(chuàng)建時(shí)間:可以實(shí)現(xiàn)按分區(qū)/表創(chuàng)建時(shí)間來界定生命周期。如果表有分區(qū),則按最細(xì)粒度分區(qū)創(chuàng)建時(shí)間,否則按表創(chuàng)建時(shí)間。
選擇轉(zhuǎn)換至低頻、歸檔存儲(chǔ)、冷歸檔存儲(chǔ)的時(shí)間間隔。
配置規(guī)則執(zhí)行機(jī)制。
如果您希望DLF每天自動(dòng)幫您執(zhí)行當(dāng)前規(guī)則,可打開調(diào)度開關(guān)。如果不需要每天自動(dòng)執(zhí)行,可建立規(guī)則后,在頁面概覽頁手動(dòng)執(zhí)行。調(diào)度執(zhí)行會(huì)在每天8點(diǎn)前執(zhí)行完成。
單擊下一步,選擇要?dú)w檔的元數(shù)據(jù)庫或元數(shù)據(jù)表。
單擊添加庫資源,選擇需要綁定的資源,支持搜索和跨頁選擇,單擊添加。
添加資源后,單擊確定,即可看到資源綁定結(jié)果。
如果綁定成功,可看到成功綁定資源數(shù);如果綁定失敗,可看到失敗原因。
說明資源類型為庫時(shí),可以綁定庫資源;資源類型為表時(shí),可以綁定表資源。
表規(guī)則優(yōu)先級(jí)大于庫規(guī)則,如果某表已經(jīng)綁定庫規(guī)則,則該操作會(huì)覆蓋表上的原有庫規(guī)則。
每個(gè)庫/每個(gè)表僅支持同時(shí)綁定一個(gè)規(guī)則。
每個(gè)規(guī)則最多綁定1000個(gè)資源。
支持僅配置規(guī)則,后續(xù)再為規(guī)則綁定資源;直接點(diǎn)擊保存即可。
編輯生命周期規(guī)則
如果您要對(duì)當(dāng)前的生命周期規(guī)則進(jìn)行修改或編輯,可以在列表頁,單擊右側(cè)編輯按鈕。
規(guī)則被修改后,如果調(diào)度執(zhí)行是開啟的,則在第二天執(zhí)行時(shí)才會(huì)生效。
規(guī)則被修改后,當(dāng)其再次被執(zhí)行,將會(huì)影響其綁定的所有資源,影響情況如下:
如該數(shù)據(jù)已經(jīng)被歷史規(guī)則判定轉(zhuǎn)為低頻/歸檔/冷歸檔,當(dāng)繼續(xù)保持低頻/歸檔/冷歸檔狀態(tài)。
如該數(shù)據(jù)未被轉(zhuǎn)為低頻/歸檔/冷歸檔,將會(huì)按照新規(guī)則生效。
查看生命周期信息
在左側(cè)菜單欄,選擇湖管理>生命周期管理。
選擇一條規(guī)則,單擊規(guī)則ID進(jìn)入,可以查看規(guī)則的當(dāng)前信息。
基本信息:包括規(guī)則基礎(chǔ)信息、規(guī)則詳情、執(zhí)行機(jī)制。
資源信息:規(guī)則所綁定的庫或表信息。
執(zhí)行歷史:規(guī)則手動(dòng)執(zhí)行、調(diào)度執(zhí)行的歷史信息。
刪除生命周期規(guī)則
在左側(cè)菜單欄,選擇湖管理>生命周期管理
找到想要?jiǎng)h除的生命周期規(guī)則,單擊右側(cè)的刪除,在彈框中單擊確認(rèn)。
刪除生命周期規(guī)則將無法再次被手工執(zhí)行,以及被調(diào)度執(zhí)行。
刪除生命周期規(guī)則后,之前被規(guī)則影響的數(shù)據(jù)將保持當(dāng)前狀態(tài)。
手工執(zhí)行任務(wù)
在左側(cè)菜單欄,選擇湖管理>生命周期管理。
找到想要手動(dòng)執(zhí)行的生命周期規(guī)則,單擊右側(cè)的手動(dòng)執(zhí)行,仔細(xì)閱讀彈出提示后,確認(rèn)無誤,單擊確定,任務(wù)開始執(zhí)行。
手動(dòng)執(zhí)行的操作將會(huì)立即執(zhí)行,并對(duì)當(dāng)前綁定資源的數(shù)據(jù)產(chǎn)生影響,可能影響業(yè)務(wù)訪問,請(qǐng)您在執(zhí)行前提前準(zhǔn)確評(píng)估風(fēng)險(xiǎn)。
查看任務(wù)執(zhí)行記錄
在左側(cè)菜單欄,選擇湖管理>生命周期管理。
單擊執(zhí)行歷史頁簽,可以對(duì)所有歷史執(zhí)行的歸檔任務(wù)進(jìn)行查詢,并查看執(zhí)行日志。
單擊任務(wù)名稱,可以查看任務(wù)執(zhí)行信息及執(zhí)行日志。
表解凍
在左側(cè)菜單欄,選擇元數(shù)據(jù)>元數(shù)據(jù)管理。
單擊數(shù)據(jù)表頁簽,單擊表名稱。
單擊存儲(chǔ)規(guī)則頁簽,DLF產(chǎn)品上支持了表解凍,單擊表解凍,會(huì)將存儲(chǔ)類型轉(zhuǎn)為標(biāo)準(zhǔn)存儲(chǔ)。
如有更多對(duì)存儲(chǔ)的逆向需求,可以按照以下幫助文檔操作。