在使用Dataphin前,您需要選擇符合業務場景需求的數據庫或數據倉庫作為數據源,用于讀取原始數據和寫入數據建設過程中的數據。Dataphin集成了豐富的數據引擎,支持接入MaxCompute、Hive等數據倉庫,也支持對接企業傳統數據庫,如MySQL、Oracle等。
背景信息
Dataphin支持對接的數據源包括大數據存儲型數據源、文件數據源、消息隊列數據源、關系型數據源和NoSQL數據源,各模塊支持對接的數據源類型說明如下:
如果您需要在Dataphin中連接某數據源,則需要先在數據源管理中創建該數據源。
Dataphin添加數據源時支持添加生產數據源和開發數據源。Basic項目及Dev-Prod項目的Prod環境,讀寫生產數據源;Dev-Prod項目的Dev環境,讀寫開發數據源。數據服務中Basic模式和Dev-Prod模式的Prod環境讀取生產數據源,Dev-Prod模式的Dev環境讀取開發數據源。同步任務不支持生產開發雙環境,產品中的數據源讀寫的都是生產數據源。
說明在內置的數據源類型中,未有所需接入的數據源類型時,您可自定義離線或實時數據源類型,并將自定義的數據源對接到Dataphin,以滿足不同的數據源接入需求。具體操作,請參見:
數據源說明
應用場景 | 描述 | 相關文檔 |
離線集成 | 離線集成支持多種組件,包括輸入、輸出與轉換組件等,通過在畫布上簡單的拖拽、配置并組裝的方式,生成離線集成單條管道。離線集成也支持腳本模式,支持更多個性化配置。同時,用戶創建的自定義RDBMS數據源的輸入與輸出組件也會自動在創建在組件庫中,滿足多樣化的數據同步需求。 | |
離線研發 | 數據源接入Dataphin中后,支持在Dataphin創建數據庫SQL任務進行開發。 | |
實時研發 | 接入的數據源支持用于創建實時元表創建與實時任務的開發。 | |
全域質量 | 全域質量即資產質量,是基于Dataphin平臺,為數據的開發及使用提供全套的數據質量解決方案。數據質量的功能包括質量規則配置、質量監控、調度配置、智能報警、校驗治理等。 | |
數據服務 | 數據服務(OneService)是基于Dataphin建設數據中臺的最后一步。數據服務作為統一的數據服務出口,實現了數據的統一市場化管理,有效地降低數據開放門檻的同時,保障了數據開放的安全。 | |
標簽工廠 | 標簽工廠是通過標簽創建到服務全鏈路的構建,為企業數據研發團隊以及開發工程師提供一站式標簽開發以及服務平臺,適合多種場景(如風控、營銷),提供離線、實時、服務標簽的開發、管理、探索以及服務能力,賦能上層各端業務應用,為企業沉淀標簽資產,使標簽開發高效、好找、好用、好管理。 |
本文僅列舉了支持接入Dataphin的數據源及在Dataphin中支持的應用場景。若需要查看數據源在各場景中具體支持的功能詳情,請參見:
大數據存儲型數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
MaxCompute | 支持 | 支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | 不支持 | 支持 | |
Hologres | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |
Impala | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | |
StarRocks | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | |
Hudi | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Doris | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
GreenPlum | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
SelectDB | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 |
文件數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
FTP | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
OSS | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Amazon S3 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |
消息隊列數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
Log Service | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Kafka | 支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 支持 | |
RocketMQ | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
DataHub | 支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 支持 |
關系型數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
PolarDB | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
PolarDB-X(原DRDS) | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
MySQL | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |
SAP HANA | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 | |
Microsoft SQL Server | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 | |
PostgreSQL | 支持 | 支持 | 不支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | |
AnalyticDB for MySQL 2.0 | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | |
AnalyticDB for MySQL 3.0 | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | |
AnalyticDB for PostgreSQL | 支持 | 不支持 | 支持 | 不支持 | 支持 | 支持 | 不支持 | 支持 | 支持 | |
OceanBase | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Oracle | 支持 | 支持 | 支持 | 支持 | 支持 | 支持 | 不支持 | 支持 | 支持 | |
Vertica | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
IBM DB2 | 支持 | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | |
Teradata | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
ClickHouse | 支持 | 支持 | 不支持 | 不支持 | 支持 | 支持 | 不支持 | 支持 | 不支持 | |
DM(達夢) | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 支持 | 不支持 | |
GBase 8a | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
KingbaseES | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
TiDB | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
GoldenDB | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
OpenGauss | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 |
NoSQL數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
Elasticsearch | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 支持 | 支持 | |
MongoDB | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 支持 | 不支持 | |
Tablestore | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
Aliyun HBase | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Redis | 支持 | 不支持 | 不支持 | 不支持 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
Lindorm(寬表引擎) | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | 支持 |
半結構化存儲數據源
數據源類型 | 離線集成 | 實時集成 | 離線研發 | 元數據采集 | 實時研發 | 全域質量 | 隱私計算 | 數據服務 | 標簽工廠 | 創建指導 |
API | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 支持 | |
SAP Table | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 | 不支持 |