場(chǎng)景：配置增量數(shù)據(jù)離線同步任務(wù)
離線同步任務(wù)支持您通過(guò)配置類(lèi)似的數(shù)據(jù)過(guò)濾功能來(lái)決定同步全量數(shù)據(jù)還是增量數(shù)據(jù)，配置過(guò)濾條件時(shí)，將只同步滿(mǎn)足過(guò)濾條件的數(shù)據(jù)。同時(shí)，過(guò)濾條件可以結(jié)合調(diào)度參數(shù)使用，實(shí)現(xiàn)過(guò)濾條件隨任務(wù)調(diào)度時(shí)間的動(dòng)態(tài)變化，進(jìn)而實(shí)現(xiàn)增量數(shù)據(jù)的同步。該內(nèi)容將向您介紹如何配置增量數(shù)據(jù)同步任務(wù)。
使用說(shuō)明
部分?jǐn)?shù)據(jù)源暫無(wú)增量同步方案，例如HBase、OTSStream數(shù)據(jù)源等。具體數(shù)據(jù)源是否支持增量同步可以看具體的Reader插件文檔。
每個(gè)插件實(shí)現(xiàn)增量同步的所配置的參數(shù)可能不同，具體參數(shù)配置可以參考對(duì)應(yīng)的Reader插件文檔，詳情可參考：支持的數(shù)據(jù)源與讀寫(xiě)插件。例如：
數(shù)據(jù)庫(kù)類(lèi)型
增量同步需配置的參數(shù)
支持的語(yǔ)法
where
說(shuō)明向?qū)Ｊ脚渲脮r(shí)，需要配置的界面參數(shù)名為：數(shù)據(jù)過(guò)濾。
數(shù)據(jù)庫(kù)語(yǔ)法
說(shuō)明可與調(diào)度參數(shù)結(jié)合實(shí)現(xiàn)每日讀取指定時(shí)間區(qū)間的數(shù)據(jù)。
query
說(shuō)明向?qū)Ｊ脚渲脮r(shí)，需要配置的界面參數(shù)名為：檢索查詢(xún)條件。
基本與數(shù)據(jù)庫(kù)一致
說(shuō)明可與調(diào)度參數(shù)結(jié)合實(shí)現(xiàn)每日讀取指定時(shí)間區(qū)間的數(shù)據(jù)。
Object
指定路徑
說(shuō)明與調(diào)度參數(shù)結(jié)合實(shí)現(xiàn)每日讀取指定文件數(shù)據(jù)。
...
...
...
配置增量同步
數(shù)據(jù)集成離線同步任務(wù)中，可以使用調(diào)度參數(shù)來(lái)指定同步源表及目標(biāo)表的數(shù)據(jù)路徑以及數(shù)據(jù)范圍，調(diào)度參數(shù)的配置方式與其他類(lèi)型任務(wù)一致，沒(méi)有特殊限制。
在同步任務(wù)運(yùn)行時(shí)，任務(wù)中配置的占位符參數(shù)都會(huì)被替換為調(diào)度參數(shù)表達(dá)式所表達(dá)的實(shí)際值，然后再執(zhí)行數(shù)據(jù)同步。
以同步MySQL數(shù)據(jù)為例：
當(dāng)不配置數(shù)據(jù)過(guò)濾時(shí)，默認(rèn)同步全量數(shù)據(jù)至目標(biāo)表中。
當(dāng)配置數(shù)據(jù)過(guò)濾時(shí)，將只同步滿(mǎn)足過(guò)濾條件的數(shù)據(jù)至目標(biāo)表中。
目標(biāo)MaxCompute表分區(qū)名稱(chēng)以調(diào)度參數(shù)的方式指定，$bizdate表示業(yè)務(wù)日期，定時(shí)任務(wù)執(zhí)行時(shí)，任務(wù)配置的分區(qū)表達(dá)式會(huì)替換為調(diào)度參數(shù)所表達(dá)的業(yè)務(wù)日期。調(diào)度參數(shù)表達(dá)式的詳細(xì)配置說(shuō)明請(qǐng)參考文檔：配置并使用調(diào)度參數(shù)。
配置增量數(shù)據(jù)同步時(shí)：
時(shí)間類(lèi)型增量字段同步：可以通過(guò)調(diào)度參數(shù)來(lái)實(shí)現(xiàn)時(shí)間類(lèi)型數(shù)據(jù)的動(dòng)態(tài)替換，調(diào)度參數(shù)將在任務(wù)調(diào)度時(shí)自動(dòng)根據(jù)業(yè)務(wù)時(shí)間替換為具體的值。關(guān)于調(diào)度參數(shù)的使用，詳情請(qǐng)參見(jiàn)：調(diào)度參數(shù)支持的格式。
非時(shí)間類(lèi)型增量字段同步：可以通過(guò)賦值節(jié)點(diǎn)將字段處理為目標(biāo)數(shù)據(jù)類(lèi)型后，再傳入數(shù)據(jù)集成進(jìn)行數(shù)據(jù)同步。關(guān)于賦值節(jié)點(diǎn)的使用詳情請(qǐng)參見(jiàn)：賦值節(jié)點(diǎn)。
場(chǎng)景示例
同步歷史數(shù)據(jù)：如果您需要將歷史增量數(shù)據(jù)同步至目標(biāo)表對(duì)應(yīng)時(shí)間分區(qū)，您可以使用運(yùn)維中心補(bǔ)數(shù)據(jù)功能。補(bǔ)數(shù)據(jù)功能使用詳情請(qǐng)參見(jiàn)：執(zhí)行補(bǔ)數(shù)據(jù)并查看補(bǔ)數(shù)據(jù)實(shí)例。
