步驟二:規(guī)劃數(shù)倉(cāng)
數(shù)倉(cāng)規(guī)劃是基于Dataphin建設(shè)數(shù)據(jù)中臺(tái)的第一步,同時(shí)也是數(shù)據(jù)體系的頂層設(shè)計(jì)中至關(guān)重要的一步。在開(kāi)始數(shù)據(jù)開(kāi)發(fā)前,需要完成數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃,包括定義數(shù)據(jù)板塊、項(xiàng)目、數(shù)據(jù)源、計(jì)算源和統(tǒng)計(jì)周期。本文將指導(dǎo)您完成本教程的規(guī)劃數(shù)倉(cāng)。
背景信息
數(shù)據(jù)板塊:數(shù)據(jù)板塊是邏輯空間的重要組成部分,是基于業(yè)務(wù)特征劃分的命名空間。 本教程以dataphin_tutorial為例,作為數(shù)據(jù)板塊的命名空間。
計(jì)算源:為數(shù)據(jù)的處理提供計(jì)算及存儲(chǔ)資源。
項(xiàng)目:項(xiàng)目是Dataphin的基本組織單元,是進(jìn)行多用戶隔離和訪問(wèn)控制的主要邊界。本教程以dataphin_tutorial為例,作為項(xiàng)目名稱。
數(shù)據(jù)源:業(yè)務(wù)數(shù)據(jù)中讀取原始數(shù)據(jù)和寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)過(guò)程中的數(shù)據(jù)。
步驟一:創(chuàng)建數(shù)據(jù)板塊
在Dataphin首頁(yè)的頂部菜單欄中,選擇規(guī)劃 > 數(shù)據(jù)架構(gòu)。
在數(shù)據(jù)板塊頁(yè)面,單擊+新建數(shù)據(jù)板塊。
在新建數(shù)據(jù)板塊對(duì)話框的生產(chǎn)開(kāi)發(fā)類型步驟中選擇Basic模式并單擊下一步。
在板塊定義中,配置板塊的基礎(chǔ)信息與業(yè)務(wù)信息。
參數(shù)
描述
板塊英文名
輸入為dataphin_tutorial。
板塊名稱
輸入為入門(mén)教程。
描述信息(非必填)
輸入簡(jiǎn)單的描述。例如,入門(mén)教程。
圖標(biāo)
選擇圖標(biāo)。
板塊架構(gòu)師
選擇一個(gè)或多個(gè)成員,負(fù)責(zé)板塊信息設(shè)置,包括基本信息更新、業(yè)務(wù)信息更新、單元管理等。
業(yè)務(wù)負(fù)責(zé)人(非必選)
為板塊數(shù)據(jù)的業(yè)務(wù)使用穩(wěn)定性負(fù)責(zé),可根據(jù)需要進(jìn)行選擇。
數(shù)據(jù)負(fù)責(zé)人(非必選)
為板塊數(shù)據(jù)生產(chǎn)質(zhì)量保障負(fù)責(zé),可根據(jù)需要進(jìn)行選擇。
單擊下一步,配置邏輯表命名規(guī)范。新建邏輯表時(shí),系統(tǒng)基于邏輯表命名規(guī)范自動(dòng)預(yù)生成推薦的邏輯表名稱,您可以編輯為其他任意名稱,當(dāng)前可使用默認(rèn)設(shè)置。
說(shuō)明數(shù)據(jù)板塊創(chuàng)建后,可以在數(shù)據(jù)板塊的研發(fā)規(guī)范 > 表規(guī)范 > 邏輯表命名規(guī)范進(jìn)行編輯。修改表前綴將對(duì)同一個(gè)邏輯表大類的全部子類型生效。例如,修改維度邏輯表大類,將對(duì)普通維度邏輯表、層級(jí)維度邏輯表等子類型生效。
單擊確定,完成數(shù)據(jù)板塊的創(chuàng)建。
數(shù)據(jù)板塊各參數(shù)配置詳情請(qǐng)參見(jiàn)創(chuàng)建數(shù)據(jù)板塊。
步驟二:創(chuàng)建MaxCompute計(jì)算源
在Dataphin首頁(yè)的頂部菜單欄中,選擇規(guī)劃 > 計(jì)算源。
在計(jì)算源頁(yè)面單擊新增計(jì)算源,選擇MaxCompute計(jì)算源。
在新建MaxCompute計(jì)算源頁(yè)面中,配置參數(shù)。
參數(shù)
描述
計(jì)算源類型
選擇MaxCompute。
Endpoint
默認(rèn)為Dataphin實(shí)例計(jì)算引擎的Endpoint,不支持修改。
AccessKey ID
訪問(wèn)密鑰中的AccessKey ID,可以通過(guò)用戶信息管理頁(yè)面獲取。
AccessKey Secret
訪問(wèn)密鑰中的AccessKey Secret,可以通過(guò)用戶信息管理頁(yè)面獲取。
MaxCompute項(xiàng)目
輸入dataphin_tutorial(在阿里云創(chuàng)建的MaxCompute(ODPS)項(xiàng)目名稱)。
外部項(xiàng)目
不選擇此項(xiàng)。
計(jì)算源名稱
輸入dataphin_tutorial。
描述
輸入dataphin_tutorial項(xiàng)目的離線計(jì)算源。
單擊校驗(yàn)并提交,完成項(xiàng)目計(jì)算源的創(chuàng)建。
計(jì)算源各參數(shù)配置詳情請(qǐng)參見(jiàn)新建MaxCompute計(jì)算源。
步驟三:創(chuàng)建項(xiàng)目
在Dataphin首頁(yè)的頂部菜單欄中,選擇規(guī)劃 > 項(xiàng)目。
在項(xiàng)目管理頁(yè)面單擊新建通用項(xiàng)目,在生產(chǎn)開(kāi)發(fā)類型步驟中選擇Basic模式后,單擊下一步。
在項(xiàng)目定義步驟中,配置歸屬板塊、基本信息、業(yè)務(wù)信息、安全設(shè)置、更多設(shè)置。
參數(shù)
描述
數(shù)據(jù)板塊
選擇dataphin_tutorial。
項(xiàng)目英文名
輸入dataphin_tutorial。
項(xiàng)目名稱
輸入dataphin_tutorial。
計(jì)算源類型
離線引擎:開(kāi)啟離線引擎并選擇MaxCompute。如下圖所示:
MAXC:選擇在MaxCompute創(chuàng)建的dataphin_tutorial計(jì)算源。
項(xiàng)目默認(rèn)資源組:該項(xiàng)目下任務(wù)生成的實(shí)例調(diào)度默認(rèn)使用的資源組,可在任務(wù)配置時(shí)自定義修改單個(gè)任務(wù)對(duì)應(yīng)的資源組,僅支持選擇已關(guān)聯(lián)可使用的資源組。可選擇租戶默認(rèn)資源組或新建資源組,新建資源組詳情請(qǐng)參見(jiàn)新建自定義資源組。
空間類型
選擇通用層。
說(shuō)明空間類型可選擇應(yīng)用層、中間層、貼源層、通用層。
應(yīng)用層(ADS):面向業(yè)務(wù)需求,定義生成可應(yīng)用于不同場(chǎng)景的個(gè)性化、多樣化的數(shù)據(jù)指標(biāo)。
中間層(CDM):經(jīng)過(guò)加工、清洗、匯總后的數(shù)據(jù)。
貼源層(ODS):是在STG層數(shù)據(jù)加工匯總后形成的業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)。
通用層:一般用于通用任務(wù)或者同時(shí)做多種類型的任務(wù)開(kāi)發(fā)。
安全設(shè)置
使用默認(rèn)配置。
更多設(shè)置
使用默認(rèn)配置。
單擊確定,完成項(xiàng)目的創(chuàng)建。
項(xiàng)目各參數(shù)配置詳情請(qǐng)參見(jiàn)創(chuàng)建通用項(xiàng)目。
步驟四:創(chuàng)建源數(shù)據(jù)源
在Dataphin首頁(yè)的頂部菜單欄中,選擇管理中心 > 數(shù)據(jù)源管理。
在數(shù)據(jù)源頁(yè)面單擊+新建數(shù)據(jù)源,在關(guān)系型數(shù)據(jù)源區(qū)域中選擇MySQL。
在新建MySQL數(shù)據(jù)源對(duì)話框中,配置數(shù)據(jù)源信息。
參數(shù)
描述
數(shù)據(jù)源名稱
輸入為dataphin_tutorial。
版本
選擇為MySQL8。
數(shù)據(jù)源描述(非必填)
填寫(xiě)數(shù)據(jù)源簡(jiǎn)單描述。例如,入門(mén)教程的源數(shù)據(jù)。
數(shù)據(jù)源配置
選擇“生產(chǎn)”數(shù)據(jù)源。
標(biāo)簽(非必填)
默認(rèn)不填。
JDBC URL
輸入格式為
jdbc:mysql://host:port/dataphin
。host:port
信息可以登錄MySQL實(shí)例詳情頁(yè)進(jìn)行查看。如下圖所示:重要連接地址請(qǐng)確保已設(shè)置Dataphin的IP至數(shù)據(jù)庫(kù)白名單中,否則可能導(dǎo)致連接失敗。具體操作,請(qǐng)參見(jiàn)數(shù)據(jù)源白名單配置。
使用內(nèi)網(wǎng)地址時(shí)請(qǐng)確保數(shù)據(jù)庫(kù)與Dataphin實(shí)例在同一地域。更多信息,請(qǐng)參見(jiàn)網(wǎng)絡(luò)連通解決方案。
用戶名、密碼
輸入為dataphin。
SSL加密
若您的MySQL數(shù)據(jù)源已配置SSL加密,您可以選擇開(kāi)啟并上傳Truststore證書(shū)和填寫(xiě)Truststore證書(shū)密碼進(jìn)行加密傳輸。
高級(jí)設(shè)置
使用默認(rèn)配置。
單擊測(cè)試連接。
連通性測(cè)試通過(guò)后,單擊確定,完成數(shù)據(jù)源的創(chuàng)建。
數(shù)據(jù)源各參數(shù)配置詳情請(qǐng)參見(jiàn)創(chuàng)建MySQL數(shù)據(jù)源。