本文將為您介紹數據倉庫研發規范的階段規劃、角色職責和整體流程。
在大數據時代,規范地進行數據資產管理已成為推動互聯網、大數據、人工智能和實體經濟深度融合的必要條件。貼近業務屬性、兼顧研發各階段要點的研發規范,可以切實提高研發效率,保障數據研發工作有條不紊地運作。而不完善的研發流程,會降低研發效率,增加成本與風險。
總而言之,數據資產管理實際上是對物的管理,而研發流程規范管理則是對人的行為的管理。只有落實了作為基礎的后者,才能進一步實行數據資產管理方法論。
數據倉庫研發規范旨在為廣大數據研發者、管理者提供規范化的研發流程指導方法,目的是簡化、規范日常工作流程,提高工作效率,減少無效與冗余工作,賦能企業、政府更強大的數據掌控力來應對海量增長的業務數據,從而釋放更多人力與財力專注于業務創新。
階段規劃
鑒于對日常數據倉庫研發工作的總結與歸納,本文將數據倉庫研發流程抽象為如下幾點:
- 需求階段:數據產品經理應如何應對不斷變化的業務需求。
- 設計階段:數據產品經理、數據開發者應如何綜合性能、成本、效率、質量等因素,更好地組織與存儲數據。
- 開發階段:數據研發者如何高效、規范地進行編碼工作。
- 測試階段:測試人員應如何準確地暴露代碼問題與項目風險,提升產出質量。
- 發布階段:如何將具備發布條件的程序平穩地發布到線上穩定產出。
- 運維階段:運維人員應如何保障數據產出的時效性和穩定性。
角色職責
- 數據產品經理:負責承接、評估業務方提出的數據需求,并組織需求評審、產出產品需求文檔,同時需要把控其它更為細化的技術評審。
- 設計人員:根據已定稿的產品需求文檔所述需求,進行數據探查,了解數據形態(數據質量、數據分布),同時根據探查結果實現表設計、Mapping設計、調度設計等細分設計工作。
- 開發人員:根據設計人員產出的稿件,制定計劃并實現代碼,同時進行單元測試與代碼評審。
- 測試人員:負責驗證需求與結果的一致性,發現代碼問題與項目風險。
- 運維人員:負責發布任務,并處理數據、程序、調度、監控告警等異常事件,保障數據產出時效、程序高效運行和生產穩定性。
- 信息安全與合規人員:在需求評審前期,負責需求實現的安全性與合規性。
數據倉庫研發規范整體流程
下圖為根據階段規劃與角色職責的內容,整理出的數據倉庫研發規范的整體流程。