數據開發包括編碼研發和規范建模。編碼研發用于構建計算任務,例如創建SQL代碼任務、Shell任務、 Python任務、MR任務和Spark任務;規范建模用于構建邏輯化的數據模型。
前提條件
若需進行實時開發,需已購買實時研發增值服務并且當前租戶已開通實時研發模塊。
功能介紹
規范建模:基于已明確的業務需求,從業務頂層開始設計,規范定義數據的標準及計算口徑完成數據模型的設計。同時您提供可視化、標準化、規范化和自動化定義數據,而非傳統手動寫SQL代碼的方式,這樣就避免了統計指標計算口徑不一致的情況。可視化構建數據倉庫的模型,邏輯表提交后即生成對應智能黑盒調度任務,自動化生產數據。
說明僅綁定數據板塊的項目支持規范建模功能。
數據處理:通過編寫代碼的方式構建復雜的數據模型、構建同步任務和構建不同類型的代碼任務。
即席查詢:即主題式查詢,面向業務主題的數據查詢。屏蔽了物理模型中技術特性帶來的影響,基于邏輯模型從業務視角出發對外提供查詢服務。
雙開發模式:Dataphin支持Basic和Dev-Prod的數據開發模式:
Basic項目綁定了Basic數據板塊,系統支持規范建模功能。Basic項目綁定了Prod數據板塊,則系統不支持規范建模功能,僅支持數據處理和即席查詢功能。
Dev項目支持規范建模、數據處理和即席查詢功能。Prod項目支持規范建模和數據處理功能。
智能編輯器:Dataphin代碼編輯器不僅支持基本的代碼高亮、代碼補全,還支持智能代碼提示、權限校驗等功能。助您降低開發成本,更快的交付可靠的代碼和提升編碼體驗。編輯器使用說明,請參見編輯器代碼提效。
數據開發入口
在Dataphin首頁,單擊頂部菜單欄研發。默認進入數據開發頁面。
數據開發界面介紹
區域 | 描述 |
①全局搜索與代碼搜索 |
說明
|
②項目與環境 |
說明 Basic項目默認為生產環境,沒有環境區分。 |
③功能項 | Dataphin數據開發板塊包括規范建模、數據處理、最近打開、即席查詢、運行記錄模塊。
|
④對象列表目錄 | 在Dataphin數據開發板塊內置或創建的對象,將在對象列表目錄中為您展示。 |
⑤數據開發歡迎頁 | 為您展示了在Dataphin中進行數據開發的基本使用路徑以及研發相關的工具。您可以在各路徑點或工具塊中單擊新建圖標創建對應對象。 |