在基于Dataphin構(gòu)建與管理企業(yè)數(shù)據(jù)中臺之前,首先需要確定數(shù)倉構(gòu)建的目標(biāo)與需求,進行全面的業(yè)務(wù)調(diào)研。您需要了解真實的業(yè)務(wù)需求是什么,以及確定整個業(yè)務(wù)系統(tǒng)能解決什么問題。
業(yè)務(wù)調(diào)研
充分的業(yè)務(wù)調(diào)研和需求分析是數(shù)據(jù)倉庫建設(shè)的基石,直接決定數(shù)據(jù)倉庫能否建設(shè)成功。在數(shù)倉建設(shè)項目啟動前,您需要請相關(guān)的業(yè)務(wù)人員介紹具體的業(yè)務(wù),以便明確各個團隊的分析員、運營人員的需求,沉淀出相關(guān)文檔。
- 用戶的組織架構(gòu)和分工界面。例如,用戶可能分為數(shù)據(jù)分析、運營、維護部門,各個部門對數(shù)倉的需求不同,您需要對不同部門分別進行調(diào)研。
- 用戶的整體業(yè)務(wù)架構(gòu),各個業(yè)務(wù)模塊之間的聯(lián)系與信息流動的流程。梳理出整體的業(yè)務(wù)數(shù)據(jù)框架。
- 各個已有的業(yè)務(wù)系統(tǒng)的主要功能及獲取的數(shù)據(jù)。
業(yè)務(wù)流程 | A公司電商營銷管理 |
商品管理 | Y |
用戶管理 | Y |
購買流程 | Y |
交易訂單 | Y |
用戶反饋 | Y |
本教程中,假設(shè)用戶是電商營銷部門的營銷數(shù)據(jù)分析師。數(shù)據(jù)需求為最近一天某個商品類目(例如廚具)在各省的銷售總額、該類目銷售額Top10的商品名稱、各省用戶購買力分布(人均消費額)等,用于營銷分析。最終的業(yè)務(wù)需求是通過營銷分析完成該商品類目的精準(zhǔn)營銷,提升銷售總額。通過業(yè)務(wù)調(diào)研,我們將著力分析營銷業(yè)務(wù)板塊的交易訂單功能模塊。
需求分析
在未考慮數(shù)據(jù)分析師、業(yè)務(wù)運營人員的數(shù)據(jù)需求的情況下,單純根據(jù)業(yè)務(wù)調(diào)研建設(shè)的數(shù)據(jù)倉庫,可能可用性較差。完成業(yè)務(wù)調(diào)研后,您需要進一步收集數(shù)據(jù)使用者的需求,進而對需求進行深度思考和分析,并改進數(shù)據(jù)倉庫。
- 通過與分析師、業(yè)務(wù)運營人員的溝通獲知需求。
- 對報表系統(tǒng)中現(xiàn)有的報表進行研究分析。
- 業(yè)務(wù)數(shù)據(jù)是根據(jù)什么(維度、統(tǒng)計粒度,簡稱“粒度”,是維度或維度組合)匯總的,衡量標(biāo)準(zhǔn)是什么?例如,“省份”或者“類目”是維度,訂單數(shù)是原子指標(biāo)。
- 基于上個問題,進一步思考明細數(shù)據(jù)層的事實模型和公共可引用的維度模型、匯總數(shù)據(jù)層的匯總模型應(yīng)該如何設(shè)計?是否有公共使用,命名及邏輯相似的統(tǒng)計指標(biāo),目前已經(jīng)重復(fù)建設(shè)使用,需要通過上述設(shè)計規(guī)范化?
- 當(dāng)獲知這個需求后,您需要分析:根據(jù)什么(維度)匯總、匯總什么(原子指標(biāo))、匯總的范圍有多大(業(yè)務(wù)范圍即業(yè)務(wù)限定,時間范圍即統(tǒng)計周期)。例如,類目是統(tǒng)計粒度(基于維度),成交金額的總和是原子指標(biāo)。該案例中,粒度應(yīng)該是“類目”,“類目為廚具”是業(yè)務(wù)限定,最近1天是統(tǒng)計周期。
說明 本例從類目為統(tǒng)計粒度的角度,分析需求處理。您可以在即席查詢中定義匯總模型的篩選過濾條件,設(shè)定統(tǒng)計粒度的維度屬性值為廚具,以免匯總模型數(shù)據(jù)稀疏。在真實業(yè)務(wù)場景下,可以根據(jù)業(yè)務(wù)需求、使用頻度、復(fù)用性及匯總層數(shù)據(jù)計算存儲進行考慮,拆解分析。例如,本例中還可以定義全表為粒度,只是該粒度中無需維度,然后定義業(yè)務(wù)限定是類目為廚具,其他保持不變,如無特殊數(shù)據(jù)情況,也可得到相同數(shù)據(jù)結(jié)果,只是計算存儲過程消耗可能有不同。上述案例,不同路徑,組合定義出來的派生指標(biāo),可能是相同結(jié)果,但是命名、計算邏輯實現(xiàn)可能略有不同。目前Dataphin上對于該類派生指標(biāo),認為是不同業(yè)務(wù)場景的指標(biāo),不進行強制去重。
- 基于上述拆解,您還需要進一步思考并設(shè)計明細數(shù)據(jù)層的事實模型(原子指標(biāo)中成交金額的數(shù)據(jù)來源)、公共可引用的維度模型(統(tǒng)計粒度的來源,且需要與成交金額所屬事實模型有關(guān)聯(lián)關(guān)系)和匯總數(shù)據(jù)層模型(原子指標(biāo)、業(yè)務(wù)限定、統(tǒng)計周期的拆解和定義方式)。
需求調(diào)研的分析產(chǎn)出通常是記錄業(yè)務(wù)需求的規(guī)范定義文檔(派生指標(biāo)、原子指標(biāo)、業(yè)務(wù)限定、統(tǒng)計周期、統(tǒng)計粒度(即維度))。結(jié)合業(yè)務(wù)調(diào)研情況,您可以進一步產(chǎn)出設(shè)計明細邏輯模型設(shè)計文檔(維度模型、事實模型)與概念模型設(shè)計文檔(維度、業(yè)務(wù)過程及其關(guān)系)。