圖運(yùn)維
圖計算服務(wù)iGraph圖運(yùn)維功能介紹。
圖運(yùn)維
圖運(yùn)維頁面幫助用戶查看當(dāng)前圖的回流信息,支持兩種查看視角:
圖schema視角,并支持對圖進(jìn)行索引構(gòu)建、數(shù)據(jù)寫入操作
節(jié)點(diǎn)、關(guān)系視角,并查看對應(yīng)的回流日志
圖schema視角
以圖schema視角查看全局圖運(yùn)維信息,對節(jié)點(diǎn)、關(guān)系右鍵可進(jìn)行對應(yīng)操作:
觸發(fā)索引構(gòu)建:選擇對應(yīng)分區(qū)并觸發(fā)索引構(gòu)建
增量數(shù)據(jù)寫入:基于數(shù)據(jù)更新語法
數(shù)據(jù)導(dǎo)出
定時導(dǎo)出
節(jié)點(diǎn)、關(guān)系視角
查看當(dāng)前圖對應(yīng)的回流日志:
回流對象:schema下的節(jié)點(diǎn)、關(guān)系所對應(yīng)的表
狀態(tài):當(dāng)前回流頁面會讀取最新的回流信息,單擊刷新進(jìn)行更新。狀態(tài)說明參考當(dāng)前回流
觸發(fā)時間、完成時間
單擊詳情查看當(dāng)前回流對象具體信息
回流詳情
基礎(chǔ)信息
數(shù)據(jù)表包含的基礎(chǔ)信息,表名 、狀態(tài)、數(shù)據(jù)源表等信息。
當(dāng)前回流
目前回流經(jīng)過7步驟
未觸發(fā):未回流
觸發(fā)成功:后端接受到觸發(fā)回流信號,并信息檢查成功
等待索引構(gòu)建:表進(jìn)入構(gòu)建等待隊列,構(gòu)建服務(wù)會根據(jù)表優(yōu)先級選擇表進(jìn)行構(gòu)建
進(jìn)行索引構(gòu)建:通過build service服務(wù)構(gòu)建索引到hdfs
等待索引切換:索引產(chǎn)出后,會進(jìn)入切換等待隊列,等待切換程序處理,切換程序會根據(jù)表優(yōu)先級從等待隊列中選擇
索引切換:將索引從hdfs拉取到在線服務(wù)物理機(jī),并完成數(shù)據(jù)切換
回流完成:可以提供查詢、更新服務(wù)
歷史回流
字段結(jié)構(gòu)
圖模型中所配置的節(jié)點(diǎn)、關(guān)系的字段結(jié)構(gòu)
索引導(dǎo)出
總體流程
數(shù)據(jù)導(dǎo)出
對于需要導(dǎo)出功能的點(diǎn)/邊,在數(shù)據(jù)配置頁面關(guān)閉“索引優(yōu)化”選項后提交
修改完表配置后,保存并發(fā)布圖配置
選擇該點(diǎn)/邊,重新觸發(fā)一次索引構(gòu)建,回流完成后的索引即為可導(dǎo)出版本
選擇該點(diǎn)/邊,進(jìn)入“數(shù)據(jù)導(dǎo)出”頁面,填寫如下信息:指定project、指定table、新分區(qū)版本、選擇可導(dǎo)出版本,單擊“一鍵獲取建表SQL”。
注意:此時先不要單擊“導(dǎo)出”按鈕
拿到建表sql后,在max compute里執(zhí)行創(chuàng)建table
創(chuàng)建table成功后,使用alter方法添加對應(yīng)分區(qū)。
注意:分區(qū)名要與第四步填寫的保持一致
每次導(dǎo)出,需要在max compute的對應(yīng)table添加一個新分區(qū),否則可能存在數(shù)據(jù)重復(fù)寫入的問題
max compute里的table及分區(qū)創(chuàng)建完畢后,進(jìn)行授權(quán)操作,然后在graph compute里的數(shù)據(jù)導(dǎo)出頁面檢查填寫信息是否正確,無誤后單擊“導(dǎo)出”按鈕,任務(wù)創(chuàng)建完成
導(dǎo)出任務(wù)相關(guān)信息可進(jìn)入回流日志中對應(yīng)點(diǎn)/邊的“詳情”頁面查看
定時導(dǎo)出
對于需要導(dǎo)出功能的點(diǎn)/邊,在數(shù)據(jù)配置頁面關(guān)閉“索引優(yōu)化”選項后提交
修改完表配置后,保存并發(fā)布圖配置
選擇該點(diǎn)/邊,重新觸發(fā)一次索引構(gòu)建,回流完成后的索引即為可導(dǎo)出版本
選擇該點(diǎn)/邊,進(jìn)入“定時導(dǎo)出”頁面,填寫如下信息:指定project、指定table、選擇新分區(qū)版本、定時配置,單擊“一鍵獲取建表SQL”。
注意:此時先不要單擊“導(dǎo)出”按鈕
若是一天內(nèi)需要導(dǎo)出多次,新分區(qū)版本需要選擇"yyyyMMddHH"
拿到建表sql后,在max compute里執(zhí)行創(chuàng)建table
創(chuàng)建table成功后,使用grant方法賦予graph compute賬戶對該table的操作權(quán)限
max compute里的table創(chuàng)建并授權(quán)完畢后,在graph compute里的定時導(dǎo)出頁面檢查填寫信息是否正確,無誤后單擊“導(dǎo)出”按鈕,任務(wù)創(chuàng)建完成。
注意:每個點(diǎn)/邊僅支持一個定時導(dǎo)出任務(wù),若是重復(fù)創(chuàng)建則會刪除該點(diǎn)/邊的前一個定時導(dǎo)出任務(wù)。
導(dǎo)出任務(wù)相關(guān)信息可進(jìn)入回流日志中對應(yīng)點(diǎn)/邊的“詳情”頁面查看
操作示例
準(zhǔn)備可導(dǎo)出的索引版本
對于需要導(dǎo)出功能的點(diǎn)/邊,在數(shù)據(jù)配置頁面關(guān)閉“索引優(yōu)化”選項后提交
修改完表配置后,保存并發(fā)布圖配置
選擇該點(diǎn)/邊,重新觸發(fā)一次索引構(gòu)建,回流完成后的索引即為可導(dǎo)出版本
獲取建表sql,并創(chuàng)建table
graph compute填寫導(dǎo)出相關(guān)參數(shù),單擊“一鍵獲取建表SQL”。此時先不要單擊“導(dǎo)出”按鈕
在max compute里執(zhí)行sql語句,創(chuàng)建table
“數(shù)據(jù)導(dǎo)出”任務(wù)中,需要在table下添加對應(yīng)分區(qū)
alter table openrec_new.test_momet add partition (ds='2023032302');
max compute賦予table級權(quán)限
max compute里,待導(dǎo)出的table需要給Graph Compute的odps賬號賦權(quán)
add user ALIYUN$openias;
grant Describe,Alter,Update,Select on table test_momet to USER ALIYUN$openias;
可參考:通過命令管理用戶權(quán)限