數(shù)據(jù)集成
數(shù)據(jù)集成是基于Dataphin構(gòu)建的簡(jiǎn)單高效的數(shù)據(jù)同步平臺(tái)，致力于提供強(qiáng)大的數(shù)據(jù)預(yù)處理能力和豐富的異構(gòu)數(shù)據(jù)源之間數(shù)據(jù)高速穩(wěn)定的同步能力。
背景信息
面對(duì)各行各業(yè)對(duì)大數(shù)據(jù)的應(yīng)用，數(shù)據(jù)集成會(huì)有很多的訴求，包括能夠簡(jiǎn)單高效地配置大量數(shù)據(jù)表的同步任務(wù)、能夠集成多種異構(gòu)數(shù)據(jù)源、能夠?qū)崿F(xiàn)對(duì)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行輕度預(yù)處理、能夠?qū)崿F(xiàn)數(shù)據(jù)同步任務(wù)的調(diào)優(yōu)（例如容錯(cuò)、限速、并發(fā)）等。
功能概述
如果您是在2020年4月份之后購(gòu)買(mǎi)的Dataphin，則數(shù)據(jù)同步能力已升級(jí)為數(shù)據(jù)集成。
Dataphin升級(jí)了數(shù)據(jù)集成的能力，旨在為您構(gòu)建簡(jiǎn)單高效、安全可靠的數(shù)據(jù)同步平臺(tái)：
支持通過(guò)整庫(kù)遷移（快速生成批量同步任務(wù)）和一鍵生成目標(biāo)表（同步到MaxCompute的數(shù)據(jù)無(wú)需手動(dòng)建表）的方式，提高數(shù)據(jù)集成的效率，詳情請(qǐng)參見(jiàn)通過(guò)整庫(kù)遷移配置集成任務(wù)。
支持流程和轉(zhuǎn)換組件，實(shí)現(xiàn)數(shù)據(jù)源的數(shù)據(jù)預(yù)處理（例如清洗、轉(zhuǎn)換、字段脫敏、計(jì)算、合并、分發(fā)、過(guò)濾等）能力，詳情請(qǐng)參見(jiàn)通過(guò)單條管道創(chuàng)建集成任務(wù)。
支持Dev-Prod和Basic的開(kāi)發(fā)模式，您可以根據(jù)業(yè)務(wù)場(chǎng)景靈活選擇開(kāi)發(fā)模式。
支持將Dataphin中創(chuàng)建的邏輯表快速地同步到目標(biāo)庫(kù)。
支持用戶自定義系統(tǒng)不支持的組件，以滿足不同業(yè)務(wù)場(chǎng)景數(shù)據(jù)同步的需求。RDBMS數(shù)據(jù)庫(kù)組件通過(guò)JDBC鏈接，非RDBMS數(shù)據(jù)庫(kù)組件需要自行上傳JAR包。
數(shù)據(jù)集成支持多種類型組件，通過(guò)簡(jiǎn)單的拖拽、配置并組裝組件的方式，生成離線單條管道。數(shù)據(jù)集成支持快速生成批量同步任務(wù)。整庫(kù)遷移來(lái)源端支持MySQL、SQL Server、Oracle，目標(biāo)端支持 MaxCompute。同時(shí)，數(shù)據(jù)集成支持用戶自定義系統(tǒng)不支持的組件類型，以滿足數(shù)據(jù)同步的需求。
數(shù)據(jù)集成入口
快捷入口（推薦）
在Dataphin首頁(yè)，單擊Dataphin產(chǎn)品使用路徑的數(shù)據(jù)引入，快速進(jìn)入數(shù)據(jù)集成。
普通入口
在Dataphin首頁(yè)，在頂部菜單欄選擇研發(fā) > 數(shù)據(jù)集成，進(jìn)入數(shù)據(jù)集成頁(yè)面。
連通數(shù)據(jù)源與Dataphin間的網(wǎng)絡(luò)
進(jìn)行數(shù)據(jù)同步時(shí)，需要連通數(shù)據(jù)源與Dataphin項(xiàng)目空間間的網(wǎng)絡(luò)。如何連通數(shù)據(jù)源與Dataphin間的網(wǎng)絡(luò)，請(qǐng)參見(jiàn)網(wǎng)絡(luò)連通解決方案。
適用場(chǎng)景說(shuō)明
場(chǎng)景 | 描述 | 操作指導(dǎo) |
通過(guò)管道腳本構(gòu)建同步任務(wù) | 基于已有的管道腳本開(kāi)發(fā)管道任務(wù)，實(shí)現(xiàn)數(shù)據(jù)同步。 |
|
通過(guò)離線單條管道構(gòu)建同步任務(wù) | 離線的數(shù)據(jù)管道通過(guò)定義數(shù)據(jù)來(lái)源和去向的數(shù)據(jù)源和數(shù)據(jù)集，提供一套抽象化的數(shù)據(jù)輸入組件、數(shù)據(jù)輸出組件及流程和轉(zhuǎn)換組件，并基于此框架設(shè)計(jì)一套簡(jiǎn)化版的中間數(shù)據(jù)傳輸格式，從而實(shí)現(xiàn)數(shù)據(jù)源之間數(shù)據(jù)傳輸。 |
|
通過(guò)離線整庫(kù)遷移構(gòu)建同步任務(wù) | 整庫(kù)遷移是為了提升用戶效率、降低用戶使用成本的一種快捷工具，它可以快速把MySQL、Oracle、SQL Server數(shù)據(jù)庫(kù)內(nèi)所有表一并上傳至MaxCompute，極大減少您初始化上云的配置、遷移成本。 |
|
通過(guò)自定義組件構(gòu)建同步任務(wù) | 數(shù)據(jù)集成支持用戶自定義系統(tǒng)不支持的組件，以滿足不同業(yè)務(wù)場(chǎng)景數(shù)據(jù)同步的需求。 |
|