日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據開發概述

數據開發包括編碼研發和規范建模。編碼研發用于構建計算任務,例如創建SQL代碼任務、Shell任務、 Python任務、MR任務和Spark任務;規范建模用于構建邏輯化的數據模型。

前提條件

若需進行實時開發,需已購買實時研發增值服務。詳情請參見開通Dataphin。

功能介紹

  • 規范建模:基于已明確的業務需求,從業務頂層開始設計,規范定義數據的標準及計算口徑完成數據模型的設計。同時您提供可視化、標準化、規范化和自動化定義數據,而非傳統手動寫SQL代碼的方式,這樣就避免了統計指標計算口徑不一致的情況??梢暬瘶嫿〝祿}庫的模型,邏輯表提交后即生成對應智能黑盒調度任務,自動化生產數據。

    說明

    僅綁定數據板塊的項目支持規范建模功能。

  • 數據處理:通過編寫代碼的方式構建復雜的數據模型、構建同步任務和構建不同類型的代碼任務。

  • 即席查詢:即主題式查詢,面向業務主題的數據查詢。屏蔽了物理模型中技術特性帶來的影響,基于邏輯模型從業務視角出發對外提供查詢服務。

  • 雙開發模式:Dataphin支持BasicDev-Prod的數據開發模式:

    • Basic項目綁定了Basic數據板塊,系統支持規范建模功能。Basic項目綁定了Prod數據板塊,則系統不支持規范建模功能,僅支持數據處理即席查詢功能。

    • Dev項目支持規范建模、數據處理即席查詢功能。Prod項目支持規范建模數據處理功能。

  • 智能編輯器:Dataphin代碼編輯器不僅支持基本的代碼高亮、代碼補全,還支持智能代碼提示、權限校驗等功能。助您降低開發成本,更快的交付可靠的代碼和提升編碼體驗。編輯器使用說明,請參見編輯器代碼提效

數據開發入口

在Dataphin首頁,單擊頂部菜單欄研發。默認進入數據開發頁面。

image

數據開發界面介紹

說明

如果您的Dataphin實例為基礎研發版、敏捷研發版,則不支持規范建模。

image

區域

描述

全局搜索與代碼搜索

  • 全局搜索:在全局搜索框中支持輸入物理表、邏輯表、元表、規范定義、函數、資源或模板等名稱的關鍵字,搜索目標對象。您可以單擊研發資產頁簽,快速搜索目標對象。

    image

    • 項目切換:對象所在項目為Dev-Prod環境時,將會存在Dev項目對象和Prod項目對象,您可以通過項目切換查詢具體對象。

    • 視角切換:Dataphin支持通過研發和資產視角查看對象。不同視角支持查看的對象類型不同。

      • 研發視角:包括物理表、邏輯表、元表、規范定義、函數、資源或模板。

      • 資產視角:包括物理表、邏輯表、元表。

    • 對象列表:為您展示當前匹配的對象。支持全局本項目視角切換。同時也支持查看全部某一個對象類型。單擊對象名稱后,系統將自動定位到該對象。

  • 代碼搜索:單擊gageg圖標,在代碼搜索框中,輸入您想查找的代碼,系統將為您快速搜索匹配代碼的計算任務。如下圖所示:

    image

    • 代碼搜索輸入框:輸入計算任務相關代碼關鍵字,多代碼時,可以單擊image切換為文輸入框。同時,您也可以單擊image進入高級搜索頁面,進行高級搜索。更多信息,請參見高級搜索提效。

    • 搜索結果列表:將為您展示代碼匹配中的計算任務,您可以單擊對應任務查看具體計算任務詳情。

    • 任務匹配詳情:為您展示計算任務中代碼匹配信息,相關行數及匹配數等。

說明
  • 系統僅支持搜索已提交、開發中已發布狀態的代碼。

  • 最多可匹配到50個包含此代碼邏輯的任務,代碼搜索僅對當前項目生效。

  • 系統僅支持搜索版本升級后(2020年7月14日)提交過的代碼。

項目與環境

  • 項目:默認為當前打開的項目名稱。您可以單擊項目名稱后的test圖標,在下拉列表中,依次選擇項目分類(Prod、DevBasic)及項目名稱,切換項目。同時,您也可以在搜索框中輸入項目名稱、所屬板塊關鍵詞,快速搜索項目。

  • 環境:單擊tstt圖標,可以切換項目環境。包括生產開發環境。

說明

Basic項目默認為生產環境,沒有環境區分。

功能項

Dataphin數據開發板塊包括規范建模、數據處理、最近打開即席查詢運行記錄模塊。

  • 規范建模:主要包含邏輯表的建模研發相關功能。包括維度邏輯表、事實邏輯表、原子指標、業務限定、指標、匯總邏輯表。更多信息,請參見規范建模概述。

  • 數據處理:主要包含數據處理的計算任務相關功能。包括表管理、計算任務、計算任務模板、資源、函數。

    • 表管理:包括離線物理表管理和實時計算表管理。

      • 離線物理表:可幫助您統一配置與管理計算任務開發過程中用到的離線物理表。更多信息,請參見新建離線物理表

      • 實時計算元表:包括元表鏡像表。

        • 元表:元表是通過數據管理的跨存儲類型表,實時任務開發過程中所用到的輸入表、輸出表、維表可以通過創建元表進行創建和管理。更多信息,請參見創建及管理元表。

        • 鏡像表:主要用于流批一體實時任務的開發。鏡像表映射了實時表和離線表,在開發流批一體實時計算任務時引用鏡像表,將支持同步操作實時表和離線表。更多信息,請參見新建鏡像表。

    • 計算任務:支持創建包括SQL、MR、Jar、Shell、Python、Virtual類型的計算任務。更多信息,請參見計算任務概述。

    • 計算任務模板:Dataphin支持創建離線和實時的計算任務模板。在后續開發任務時,可以引用創建的計算模板以提高任務的研發效率。更多信息,請參見:

    • 資源:主要用于存儲、管理代碼研發過程中所需的文件,如JAR、JSON、Python等資源文件。更多信息,請參見上傳資源及引用

    • 函數:為您展示計算引擎在Dataphin中支持的內置函數自定義函數,函數信息包括函數名、函數類型、命令格式和函數說明。展示的計算引擎類型函數根據項目綁定的計算源決定。

      • 內置函數:不同計算引擎支持的內置函數不同,具體請以系統展示的函數為準。

      • 自定義函數:您可以通過上傳Jar資源等方式創建自定義的函數。更多信息,請參見新建用戶自定義函數。

  • 最近打開:為您記錄最近打開過的計算任務、函數、表等對象。

  • 回收站:在數據開發板塊刪除的對象將會回收到回收站。您可以在回收站中進行恢復或徹底刪除。更多信息,管理回收站的資源對象

  • 即席查詢:通過即席查詢您可以根據當前的業務情況自定義并執行查詢語句和下載查詢的數據。更多信息,請參見查詢并下載數據

  • 運行記錄:運行記錄為您保存近15天的即席查詢、運行計算任務、邏輯數據表預覽、派生指標冒煙測試、資產數據預覽、OpenAPI數據查詢的記錄。更多信息,請參見查看并管理運行記錄。

對象列表目錄

在Dataphin數據開發板塊內置或創建的對象,將在對象列表目錄中為您展示。

數據開發歡迎頁

為您展示了在Dataphin中進行數據開發的基本使用路徑以及研發相關的工具。您可以在各路徑點工具塊中單擊image新建圖標創建對應對象。