步驟三:引入數(shù)據(jù)
完成數(shù)據(jù)倉庫的規(guī)劃和數(shù)據(jù)源信息的配置后,您還需將您的源數(shù)據(jù)product表、customer表、orders表引入到項(xiàng)目中。本文將指導(dǎo)您如何將數(shù)據(jù)源的數(shù)據(jù)集成到您的創(chuàng)建的項(xiàng)目空間。
背景信息
product表、customer表、orders表的集成步驟相同,僅管道名稱不同。本文以集成product表為例介紹如何集成product表至項(xiàng)目。
完成product表集成后,您還需參考本文集成customer表、orders表至項(xiàng)目。
步驟一:創(chuàng)建管道開發(fā)腳本
在Dataphin首頁,單擊頂部菜單欄的研發(fā)。
按照下圖操作指引,選擇dataphin_tutorial項(xiàng)目并進(jìn)入創(chuàng)建管道開發(fā)腳本對話框。
在創(chuàng)建管道開發(fā)腳本對話框,配置參數(shù)。
參數(shù)
描述
管道名稱
輸入產(chǎn)品表集成。
調(diào)度類型
調(diào)度類型選擇周期性節(jié)點(diǎn)。
描述
默認(rèn)不填。可以填寫對離線單條管道的簡單描述。
選擇目錄
默認(rèn)目錄為離線管道。
單擊確定。
步驟二:開發(fā)離線管道腳本
在離線單條管道開發(fā)頁面,選中MySQL輸入組件和MaxCompute輸出組件并拖動至管道畫布中,同時(shí)進(jìn)行連接。如下圖所示:
單擊組件的圖標(biāo),配置MySQL輸入組件和MaxCompute輸出組件。
MySQL輸入組件
參數(shù)
描述
步驟名稱
保持默認(rèn)。
數(shù)據(jù)源
選擇數(shù)據(jù)源dataphin_tutorial。
來源表量
選擇單表。
表
選擇來源表product。
切分鍵
無需添加切分鍵。
批量條數(shù)
默認(rèn)為1024。
輸入過濾
無需添加過濾條件。
輸出字段
默認(rèn)輸出字段。
MaxCompute輸出組件
參數(shù)
描述
步驟名稱
保持默認(rèn)。
數(shù)據(jù)源
選擇項(xiàng)目/dataphin_tutorial(dataphin_tutorial)(當(dāng)前項(xiàng)目)。
表
創(chuàng)建目標(biāo)表:
單擊一鍵生成目標(biāo)表。
在代碼輸入框中,使用默認(rèn)建表語句,無需修改。
單擊新建。
加載策略
默認(rèn)為追加數(shù)據(jù)。
映射關(guān)系
在映射關(guān)系中選擇同名映射。
單擊確定。
步驟三:配置管道腳本的調(diào)度參數(shù)
在管道腳本頁面,單擊調(diào)度配置。
在調(diào)度配置頁面,配置調(diào)度依賴區(qū)域參數(shù),其他參數(shù)保持默認(rèn)。
參數(shù)
描述
上游依賴
單擊添加根節(jié)點(diǎn)為上游依賴。
單擊確定。
步驟四:提交和發(fā)布離線單條管道腳本
單擊頁面右上方的圖標(biāo),提交管道腳本。
在提交備注對話框,輸入備注信息。
單擊確定并提交。