作業(yè)開發(fā)(內(nèi)表)
云原生數(shù)據(jù)倉庫 AnalyticDB MySQL 版提供Spark引擎和XIHE引擎,您可以選擇不同的引擎進行不同方式的作業(yè)開發(fā)。本文介紹通過XIHE SQL(包含MPP和BSP模式)和Spark SQL方式進行內(nèi)表作業(yè)開發(fā)的流程。
作業(yè)開發(fā)流程概述
AnalyticDB for MySQL數(shù)倉分層包含以下三層。
ODS:數(shù)據(jù)運營層,對源數(shù)據(jù)進行ETL處理。在實際業(yè)務(wù)中,ODS層會從數(shù)據(jù)源抽取數(shù)據(jù)。為了確保新用戶能夠輕松完成入門教程,本教程中將向ODS層寫入測試數(shù)據(jù)。
DWD:數(shù)據(jù)明細層,對ODS層數(shù)據(jù)進行清洗、過濾等處理。本教程以過濾為例。
ADS:數(shù)據(jù)應(yīng)用層,面向業(yè)務(wù)進行數(shù)據(jù)分析、生產(chǎn)報表等使用的數(shù)據(jù)。
您可以選擇Spark SQL和XIHE BSP SQL任意一種方式進行作業(yè)開發(fā)。選擇不同方式進行作業(yè)開發(fā)時,需要選擇對應(yīng)的引擎和資源組。詳情請參見SQL開發(fā)編輯器。
Spark SQL作業(yè)開發(fā)流程如下。具體操作,請參見使用Spark SQL進行作業(yè)開發(fā)。
XIHE BSP SQL作業(yè)開發(fā)流程如下。具體操作,請參見使用XIHE BSP SQL進行作業(yè)開發(fā)。