什么是數(shù)據(jù)資源平臺(tái)
阿里云數(shù)據(jù)資源平臺(tái)是數(shù)據(jù)資產(chǎn)定義、加工、管理、服務(wù)的全流程平臺(tái),提供數(shù)據(jù)同步、數(shù)據(jù)查詢、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模、數(shù)據(jù)加工、質(zhì)量評(píng)估、業(yè)務(wù)模型構(gòu)建、資產(chǎn)管理、數(shù)據(jù)服務(wù)等功能,為智能數(shù)據(jù)應(yīng)用持續(xù)穩(wěn)定供給全量、標(biāo)準(zhǔn)、干凈、智能的數(shù)據(jù)資源。
數(shù)據(jù)資源平臺(tái)覆蓋數(shù)據(jù)同步、數(shù)據(jù)標(biāo)準(zhǔn)建模及數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)開發(fā)、數(shù)據(jù)標(biāo)簽體系構(gòu)建,基于標(biāo)簽數(shù)據(jù)的群體分析、專家業(yè)務(wù)模型構(gòu)建、全流程任務(wù)監(jiān)控告警、數(shù)據(jù)服務(wù)化、數(shù)據(jù)資產(chǎn)管理等核心能力,提供標(biāo)準(zhǔn)化程度高、易用性強(qiáng)的一站式大數(shù)據(jù)管理平臺(tái)。
依托數(shù)據(jù)資源平臺(tái),可設(shè)計(jì)高質(zhì)量的標(biāo)準(zhǔn)化數(shù)據(jù)模型,減少重復(fù)開發(fā)工作,用戶可全面了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)使用情況和系統(tǒng)運(yùn)行情況,并從業(yè)務(wù)視角更直觀地使用并探索數(shù)據(jù),更高效地從數(shù)據(jù)中獲取業(yè)務(wù)價(jià)值。
目前數(shù)據(jù)資源平臺(tái)提供以下功能:
協(xié)同
數(shù)據(jù)同步:數(shù)據(jù)同步可實(shí)現(xiàn)離線、實(shí)時(shí)多源異構(gòu)數(shù)據(jù)的便捷同步或接入,系統(tǒng)可提供完善的數(shù)據(jù)接入配置、 數(shù)據(jù)模板配置、數(shù)據(jù)同步任務(wù)運(yùn)行監(jiān)控等功能,有效保障數(shù)據(jù)接入的穩(wěn)定性和可控性,滿足各類平臺(tái)、數(shù)據(jù)源及應(yīng)用系統(tǒng)間的數(shù)據(jù)匯聚需求。
空間數(shù)管:空間數(shù)據(jù)管理支持單文件、多文件、數(shù)據(jù)庫(kù)等多種形態(tài),矢量、柵格、瓦片、傾斜攝影等多種類型,不同格式的多源異構(gòu)空間數(shù)據(jù)的接入和管理;支持本地上傳、從OSS導(dǎo)入等多種方式添加數(shù)據(jù);添加數(shù)據(jù)的同時(shí)支持各類型空間數(shù)據(jù)的元信息自動(dòng)解析,支持按空間對(duì)平臺(tái)所有空間數(shù)據(jù)進(jìn)行統(tǒng)一檢索、統(tǒng)計(jì)和管理。
數(shù)據(jù)探查:提供對(duì)云計(jì)算資源中物理表的探查,快速了解物理表詳情及分布情況。支持面向多種云計(jì)算資源中的表及字段進(jìn)行預(yù)覽和表數(shù)據(jù)自動(dòng)探查,提供表級(jí)別、字段級(jí)別探查結(jié)果圖表化展示。
數(shù)據(jù)標(biāo)準(zhǔn):提供邏輯表標(biāo)準(zhǔn)、字段標(biāo)準(zhǔn)(數(shù)據(jù)元、指標(biāo)、維度、數(shù)據(jù)字典等)管理能力。幫助用戶通過(guò)設(shè)計(jì)標(biāo)準(zhǔn)數(shù)據(jù)元素,定義關(guān)鍵業(yè)務(wù)對(duì)象、業(yè)務(wù)對(duì)象屬性及值域定義,并規(guī)范標(biāo)準(zhǔn)數(shù)據(jù)字典,制定并管理平臺(tái)遵循的統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),幫助平臺(tái)管理者和數(shù)據(jù)管理者管控治理后數(shù)據(jù)的一致性和數(shù)據(jù)質(zhì)量。
數(shù)據(jù)建模:幫助用戶在數(shù)據(jù)標(biāo)準(zhǔn)的約束下構(gòu)建數(shù)據(jù)模型,將數(shù)據(jù)標(biāo)準(zhǔn)貫徹到數(shù)據(jù)質(zhì)量分析、保障及檢查的全過(guò)程中,將散亂的多源異構(gòu)數(shù)據(jù)加工成標(biāo)準(zhǔn)、干凈的數(shù)據(jù)資產(chǎn),確保數(shù)據(jù)的完整性、一致性、準(zhǔn)確性、可用性,通過(guò)客觀量化評(píng)估指標(biāo)幫助客戶了解數(shù)據(jù)治理工作進(jìn)程,指引數(shù)據(jù)治理工作的螺旋式上升過(guò)程。為了完成在云上積累可運(yùn)營(yíng)數(shù)據(jù)資源的目標(biāo),提供數(shù)據(jù)充分融合、數(shù)據(jù)高質(zhì)量可用的必要保障。
數(shù)據(jù)開發(fā):支持對(duì)計(jì)算節(jié)點(diǎn)中的腳本、自定義函數(shù)、節(jié)點(diǎn)輸入、節(jié)點(diǎn)輸出、參數(shù)等進(jìn)行配置和管理,同時(shí)提供數(shù)據(jù)加工、算法服務(wù)任務(wù)流程開發(fā)、編排與調(diào)試、上線、部署、維護(hù)等功能。支持流式計(jì)算、批量離線計(jì)算等類型的計(jì)算節(jié)點(diǎn)在一個(gè)工作流中統(tǒng)一編排,通過(guò)可視化操作界面,通過(guò)拖拉拽的方式連接計(jì)算節(jié)點(diǎn)迅速實(shí)現(xiàn)數(shù)據(jù)加工流程編輯。支持通過(guò)空間算子編輯器零代碼實(shí)現(xiàn)對(duì)空間數(shù)據(jù)的處理,包括地址空間化(依賴達(dá)摩院地址標(biāo)準(zhǔn)化產(chǎn)品)、坐標(biāo)轉(zhuǎn)換、矢量分析和計(jì)算、柵格分析和計(jì)算等。空間計(jì)算節(jié)點(diǎn)可作為節(jié)點(diǎn)任務(wù)統(tǒng)一編排到工作流,實(shí)現(xiàn)空間數(shù)據(jù)和非空間數(shù)據(jù)的融合治理及治理鏈路固化。
空間服務(wù):支持將空間數(shù)管中的各類型空間數(shù)據(jù)發(fā)布成行業(yè)標(biāo)準(zhǔn)的空間服務(wù),支持發(fā)布OGC WMTS、WMS、WFS服務(wù);TMS(MVT)矢量瓦片服務(wù);S3M、3DTiles等標(biāo)準(zhǔn)的三維服務(wù)。同時(shí)支持通過(guò)SLD文件配置地圖服務(wù)的樣式風(fēng)格。
統(tǒng)一服務(wù):是一款數(shù)據(jù)中臺(tái)建設(shè)過(guò)程中的數(shù)據(jù)服務(wù)化組件,面向數(shù)據(jù)開發(fā)者提供覆蓋各個(gè)加工階段統(tǒng)一體驗(yàn)的、便捷的數(shù)據(jù)查詢轉(zhuǎn)服務(wù)、服務(wù)管理、服務(wù)運(yùn)維能力;面向數(shù)據(jù)資產(chǎn)管理者提供服務(wù)的統(tǒng)計(jì)分析、服務(wù)用量統(tǒng)計(jì)分析能力,實(shí)現(xiàn)數(shù)據(jù)中臺(tái)建設(shè)后半場(chǎng)“數(shù)據(jù)應(yīng)用”的有效落地,支撐數(shù)據(jù)智能應(yīng)用的高效開發(fā)。
運(yùn)維監(jiān)控:對(duì)數(shù)據(jù)資源平臺(tái)中的數(shù)據(jù)同步、數(shù)據(jù)開發(fā)、標(biāo)簽加工等任務(wù)進(jìn)行運(yùn)維管理。按業(yè)務(wù)鏈路配置監(jiān)控場(chǎng)景,支持自定義監(jiān)控鏈路和告警消息配置,可快速實(shí)現(xiàn)從數(shù)據(jù)生產(chǎn)到業(yè)務(wù)應(yīng)用的全鏈路編排及溯源。
質(zhì)量評(píng)估:對(duì)數(shù)據(jù)模型中建立的邏輯表進(jìn)行質(zhì)量規(guī)則配置和管理,支持根據(jù)配置的質(zhì)量規(guī)則在數(shù)據(jù)開發(fā)環(huán)節(jié)自動(dòng)生成質(zhì)量檢測(cè)節(jié)點(diǎn)和設(shè)置自定義質(zhì)量檢查計(jì)劃。提供面向不同計(jì)算資源多種類型質(zhì)量規(guī)則,可通過(guò)數(shù)據(jù)質(zhì)量監(jiān)控報(bào)告展現(xiàn)系統(tǒng)整體數(shù)據(jù)質(zhì)量概覽,和多維度細(xì)分?jǐn)?shù)據(jù)的質(zhì)量情況。
解決方案:對(duì)數(shù)據(jù)資源平臺(tái)中已沉淀的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型、數(shù)據(jù)加工場(chǎng)景、數(shù)據(jù)服務(wù)API配置、云計(jì)算資源配置等數(shù)據(jù)資產(chǎn)進(jìn)行導(dǎo)入導(dǎo)出,便于在不同環(huán)境中快速搭建數(shù)據(jù)治理工作的初始化。
運(yùn)營(yíng)
資產(chǎn)注冊(cè):支持平臺(tái)側(cè)需管理的數(shù)據(jù)表資產(chǎn)自動(dòng)化注冊(cè)功能,可對(duì)多個(gè)數(shù)據(jù)源端注冊(cè)信息進(jìn)行展示,并通過(guò)手動(dòng)刷新方式同步元數(shù)據(jù);同時(shí),可自動(dòng)上報(bào)數(shù)據(jù)表、標(biāo)簽和API資產(chǎn)的信息。
資產(chǎn)目錄:支持按資產(chǎn)類型分別維護(hù)資產(chǎn),幫助資產(chǎn)目錄內(nèi)容提供者對(duì)各類資產(chǎn)進(jìn)行管理維護(hù),并針對(duì)資產(chǎn)進(jìn)行編目分類及發(fā)布上下線管控。
發(fā)現(xiàn)
資產(chǎn)概覽:提供統(tǒng)一的數(shù)據(jù)資源視圖,以可視化的方式展示數(shù)據(jù)表、標(biāo)簽、API和指標(biāo)等數(shù)據(jù)資產(chǎn)的總量與增量的信息。
資產(chǎn)目錄:對(duì)已接入上線的數(shù)據(jù)資產(chǎn),可在資源目錄對(duì)資產(chǎn)進(jìn)行搜索、目錄列表查看及資產(chǎn)詳情信息展示。
數(shù)據(jù)探索:數(shù)據(jù)探索面向行業(yè)客戶/業(yè)務(wù)人員,提供工具內(nèi)容一體化的業(yè)務(wù)模型構(gòu)建平臺(tái),實(shí)現(xiàn)低代碼、可視化構(gòu)建全場(chǎng)景專家模型,重塑大數(shù)據(jù)服務(wù)創(chuàng)新模式。平臺(tái)通過(guò)將業(yè)務(wù)數(shù)據(jù)沉淀為智能數(shù)據(jù)或智能算子,以可視化拖拉拽和簡(jiǎn)單圖形化條件設(shè)定進(jìn)行模型編排,支持離線、在線、實(shí)時(shí)全場(chǎng)景,采用簡(jiǎn)化建模過(guò)程、提高模型運(yùn)行效能、融合智能化算法等方式幫助用戶將數(shù)據(jù)與業(yè)務(wù)結(jié)合起來(lái),不斷積累和沉淀專家業(yè)務(wù)模型,服務(wù)于日常事件挖掘、實(shí)時(shí)預(yù)警事件、在線風(fēng)險(xiǎn)識(shí)別。
我的資產(chǎn):支持我可使用的、我可管理的、我已授權(quán)的數(shù)據(jù)資產(chǎn)及資產(chǎn)信息進(jìn)行展示、管理。
系統(tǒng)設(shè)置:數(shù)據(jù)資產(chǎn)平臺(tái)的基礎(chǔ)功能,包含賬號(hào)管理、系統(tǒng)設(shè)置。該功能幫助用戶快速、便捷完成用戶角色及相應(yīng)權(quán)限等基礎(chǔ)配置,并實(shí)現(xiàn)必要的系統(tǒng)管理與控制,保障模塊正常運(yùn)轉(zhuǎn)。