通過腳本模式配置離線同步任務(wù)
當(dāng)您需要實(shí)現(xiàn)更精細(xì)化的配置管理時(shí)，您可以使用腳本模式配置離線同步任務(wù)，通過編寫數(shù)據(jù)同步的JSON腳本并結(jié)合DataWorks調(diào)度參數(shù)使用，將源端單表或分庫分表的全量或增量數(shù)據(jù)周期性同步至目標(biāo)數(shù)據(jù)表。本文為您介紹腳本模式配置離線同步任務(wù)的常見配置，各數(shù)據(jù)源配置存在一定差異，請以具體數(shù)據(jù)源配置文檔為準(zhǔn)。
背景信息
數(shù)據(jù)集成離線同步，為您提供數(shù)據(jù)讀取（Reader）和寫入插件（Writer）實(shí)現(xiàn)數(shù)據(jù)的讀取與寫入，您可通過向?qū)Ｊ胶湍_本模式配置離線同步任務(wù)，實(shí)現(xiàn)源端單表同步至目標(biāo)端單表、源端分庫分表同步至目標(biāo)端單表兩類數(shù)據(jù)同步場景。詳情請參見離線同步能力說明。
使用場景
以下場景可使用腳本模式配置同步任務(wù)：
數(shù)據(jù)源本身不支持使用向?qū)Ｊ脚渲萌蝿?wù)。
說明數(shù)據(jù)源是否支持向?qū)Ｊ剑越缑嫣崾緸闇?zhǔn)。
部分?jǐn)?shù)據(jù)源的配置參數(shù)僅支持使用腳本模式配置任務(wù)。
部分不支持在DataWorks創(chuàng)建的數(shù)據(jù)源可以通過腳本模式配置。
前提條件
已完成數(shù)據(jù)源配置。在設(shè)置數(shù)據(jù)集成同步任務(wù)之前，請確保已在DataWorks的數(shù)據(jù)源管理中配置好所需的源數(shù)據(jù)庫和目標(biāo)數(shù)據(jù)庫。數(shù)據(jù)源配置詳情請參見數(shù)據(jù)源列表。
說明離線同步支持的數(shù)據(jù)源及其配置詳情請參見支持的數(shù)據(jù)源與讀寫插件。
數(shù)據(jù)源相關(guān)能力介紹詳情請參見：數(shù)據(jù)源概述。
已購買合適規(guī)格的獨(dú)享數(shù)據(jù)集成資源組。詳情請參見：新增和使用獨(dú)享數(shù)據(jù)集成資源組。
獨(dú)享數(shù)據(jù)集成資源組與數(shù)據(jù)源網(wǎng)絡(luò)已打通。詳情請參見：配置資源組與網(wǎng)絡(luò)連通。
進(jìn)入數(shù)據(jù)開發(fā)界面
進(jìn)入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。
開發(fā)流程
步驟一：新建離線同步節(jié)點(diǎn)
創(chuàng)建業(yè)務(wù)流程。詳情請參見：創(chuàng)建業(yè)務(wù)流程。
創(chuàng)建離線同步節(jié)點(diǎn)。
你可以通過以下兩種方式創(chuàng)建離線同步節(jié)點(diǎn)：
方式一：展開業(yè)務(wù)流程，右鍵單擊。
方式二：雙擊業(yè)務(wù)流程名稱，將數(shù)據(jù)集成目錄下的離線同步節(jié)點(diǎn)直接拖拽至右側(cè)業(yè)務(wù)流程編輯面板。
根據(jù)界面提示創(chuàng)建離線同步節(jié)點(diǎn)。
步驟二：配置同步網(wǎng)絡(luò)鏈接
選擇離線同步任務(wù)的數(shù)據(jù)來源和數(shù)據(jù)去向，以及用于執(zhí)行同步任務(wù)的資源組，并測試連通性。
支持同步源端分庫分表數(shù)據(jù)至目標(biāo)單表，詳情請參見：場景：配置分庫分表離線同步任務(wù)。
若數(shù)據(jù)源與資源組網(wǎng)絡(luò)不通，請參考界面提示或文檔進(jìn)行網(wǎng)絡(luò)連通配置。詳情請參見：配置資源組與網(wǎng)絡(luò)連通。
步驟三：轉(zhuǎn)腳本模式并導(dǎo)入模板
單擊工具欄中的轉(zhuǎn)換腳本圖標(biāo)。
如果腳本還未配置，您可以通過單擊工具欄中的
圖標(biāo)，根據(jù)界面提示快速導(dǎo)入腳本模板。
步驟四：編輯腳本，配置同步任務(wù)
腳本模式通用配置如下：
type、version字段為默認(rèn)值，不可修改。
您可忽略腳本中Processor相關(guān)配置（不需要配置）。
配置讀端與寫端的基礎(chǔ)信息與字段映射關(guān)系。
重要各插件配置存在一定差異，以下內(nèi)容僅以常見配置為例進(jìn)行說明，各插件是否支持相關(guān)配置以及配置的具體實(shí)現(xiàn)，請以具體插件配置文檔為準(zhǔn)。詳情請參見支持的數(shù)據(jù)源與讀寫插件。
通過配置參數(shù)您可以：
讀取端（Reader）
操作
說明
配置同步范圍
部分插件可利用過濾參數(shù)實(shí)現(xiàn)增量同步，例如，通過MySQL Reader插件同步MySQL數(shù)據(jù)時(shí)，使用MySQL Reader插件的where參數(shù)結(jié)合DataWorks調(diào)度參數(shù)實(shí)現(xiàn)增量同步。關(guān)于增量數(shù)據(jù)同步配置詳情請參見：場景：配置增量數(shù)據(jù)離線同步任務(wù)。
說明具體插件是否支持增量同步，及對應(yīng)增量同步的具體實(shí)現(xiàn)，各個(gè)插件存在差異，請以實(shí)際插件文檔為準(zhǔn)。
支持增量同步相關(guān)參數(shù)的插件在配置同步任務(wù)時(shí)，若不配置數(shù)據(jù)過濾條件，則默認(rèn)同步全量數(shù)據(jù)。
在數(shù)據(jù)過濾和目標(biāo)表相關(guān)配置中定義的變量，當(dāng)單擊下一步，配置調(diào)度屬性時(shí)，您可以為此處定義的變量賦值。實(shí)現(xiàn)增量或全量數(shù)據(jù)寫入目標(biāo)表對應(yīng)時(shí)間分區(qū)等功能，關(guān)于調(diào)度參數(shù)的使用詳情請參見：調(diào)度參數(shù)支持的格式。
增量同步過濾條件的語法與數(shù)據(jù)庫語法基本一致，同步時(shí)，離線同步將拼接為完整SQL向?qū)?yīng)數(shù)據(jù)源抽取數(shù)據(jù)。
關(guān)系型數(shù)據(jù)庫配置切分鍵
定義將源端待同步數(shù)據(jù)基于源端哪一個(gè)字段進(jìn)行切分，同步任務(wù)執(zhí)行時(shí)將根據(jù)該字段切分為多個(gè)task，以便并發(fā)、分批讀取數(shù)據(jù)。
說明推薦splitPk用戶使用表主鍵，因?yàn)楸碇麈I通常情況下比較均勻，因此切分出來的分片也不容易出現(xiàn)數(shù)據(jù)熱點(diǎn)。
目前splitPk僅支持整型數(shù)據(jù)切分，不支持字符串、浮點(diǎn)和日期等其他類型 。如果您指定其他非支持類型，將會忽略splitPk功能，使用單通道進(jìn)行同步。
如果不填寫splitPk，包括不提供splitPk或者splitPk值為空，數(shù)據(jù)同步視作使用單通道同步該表數(shù)據(jù) 。
并非所有插件均支持指定切分鍵配置任務(wù)切分邏輯，以上僅為示例，請以具體插件說明為準(zhǔn)。詳情請參見支持的數(shù)據(jù)源與讀寫插件。
為目標(biāo)字段賦值
支持在源表待同步字段（column）上，為目標(biāo)表增加常量與變量。例如，‘123’、'${變量名}'。在此處定義的變量，當(dāng)單擊下一步，配置調(diào)度時(shí)，可以為變量賦值。關(guān)于調(diào)度參數(shù)的使用詳情請參見：調(diào)度參數(shù)支持的格式。
編輯源端表字段
您可使用源端數(shù)據(jù)庫支持的函數(shù)，對字段進(jìn)行函數(shù)處理，例如，通過Max(id)控制僅同步最大值。
說明MaxCompute Reader暫不支持使用函數(shù)。
寫入端（Writer）
操作
說明
配置同步前后執(zhí)行語句
部分?jǐn)?shù)據(jù)源支持在同步前（數(shù)據(jù)寫入目標(biāo)端數(shù)據(jù)源前）與同步完成后（數(shù)據(jù)寫入目標(biāo)端后），在目標(biāo)端執(zhí)行相關(guān)數(shù)據(jù)庫SQL。
示例：MySQL Writer支持配置preSql與postSql，即在數(shù)據(jù)寫入MySQL前或后，可以執(zhí)行一些MySQL命令。例如在MySQL Writer端導(dǎo)入前準(zhǔn)備語句（preSql）配置項(xiàng)中配置MySQL清空表命令
truncate table tablename，實(shí)現(xiàn)同步前（寫入MYSQL數(shù)據(jù)前）先清空表中的舊數(shù)據(jù)的操作。定義沖突時(shí)的寫入模式
定義路徑或主鍵等場景沖突時(shí)以何種方式寫入目標(biāo)端。該配置根據(jù)數(shù)據(jù)源本身特性及writer插件支持情況，此處配置不同。您需要參考具體writer插件進(jìn)行配置。
通道控制。
您可以在setting域中進(jìn)行效率配置，主要包括并發(fā)數(shù)設(shè)置、同步速率設(shè)置、同步臟數(shù)據(jù)設(shè)置等信息。
參數(shù)
描述
executeMode（分布式處理能力）
用于控制是否開啟分布式模式來執(zhí)行當(dāng)前任務(wù)。
distribute：開啟分布式處理能力。分布式執(zhí)行模式可以將您的任務(wù)切片分散到多臺執(zhí)行節(jié)點(diǎn)上并發(fā)執(zhí)行，進(jìn)而做到同步速度隨執(zhí)行集群規(guī)模做水平擴(kuò)展，突破單機(jī)執(zhí)行瓶頸。
null：不開啟分布式處理能力。配置的并發(fā)數(shù)據(jù)僅僅是單機(jī)上的進(jìn)程并發(fā)，無法利用多機(jī)聯(lián)合計(jì)算。
重要如果使用獨(dú)享數(shù)據(jù)集成資源組，且只有1臺機(jī)器，不建議使用分布式，因?yàn)闊o法利用多機(jī)資源能力。
如果單機(jī)已經(jīng)滿足速度需要，建議優(yōu)選單機(jī)模式，簡化任務(wù)執(zhí)行模式。
并發(fā)數(shù)大于等于8個(gè)才能開啟分布式處理能力。
部分?jǐn)?shù)據(jù)與支持分布式模式執(zhí)行任務(wù)，詳情請參見具體插件配置文檔。
開啟分布式處理開關(guān)會占用更多資源，如運(yùn)行時(shí)報(bào)錯(cuò)內(nèi)存溢出（OOM），可嘗試關(guān)閉此開關(guān)。
concurrent（任務(wù)期望最大并發(fā)數(shù)）
用于定義當(dāng)前任務(wù)從源端并行讀取或并行寫入目標(biāo)端的最大線程數(shù)。
說明由于資源規(guī)格等原因，實(shí)際執(zhí)行時(shí)并發(fā)數(shù)可能小于等于此處配置的并發(fā)數(shù)，調(diào)試資源組收費(fèi)將按照實(shí)際執(zhí)行的并發(fā)數(shù)收費(fèi)。詳情請參見：性能指標(biāo)。
throttle（同步速率）
用于控制同步速率。
true：限流。以保護(hù)讀取端數(shù)據(jù)庫，避免抽取速度過大，給源庫造成太大的壓力。限速最小配置為1MB/S。
說明throttle設(shè)置為true時(shí)，您還需要設(shè)置mbps（同步速率）參數(shù)。
false：不限流。在不限流的情況下，任務(wù)將在所配置的并發(fā)數(shù)的限制基礎(chǔ)上，提供現(xiàn)有硬件環(huán)境下最大的傳輸性能。
說明流量度量值是數(shù)據(jù)集成本身的度量值，不代表實(shí)際網(wǎng)卡流量。通常，網(wǎng)卡流量是通道流量膨脹的1至2倍，實(shí)際流量膨脹取決于具體的數(shù)據(jù)存儲系統(tǒng)傳輸序列化情況。
errorLimit（錯(cuò)誤記錄數(shù)控制）
用于定義臟數(shù)據(jù)閾值，及對任務(wù)的影響。
重要當(dāng)臟數(shù)據(jù)過多時(shí)，會影響同步任務(wù)的整體同步速度。
不配置時(shí)默認(rèn)允許臟數(shù)據(jù)，即任務(wù)產(chǎn)生臟數(shù)據(jù)時(shí)不影響任務(wù)執(zhí)行。
配置為0，表示不允許臟數(shù)據(jù)存在。如果同步過程中產(chǎn)生臟數(shù)據(jù)，任務(wù)將失敗退出。
允許臟數(shù)據(jù)并設(shè)置其閾值時(shí)：
若產(chǎn)生的臟數(shù)據(jù)在閾值范圍內(nèi)，同步任務(wù)將忽略臟數(shù)據(jù)（即不會寫入目標(biāo)端），并正常執(zhí)行。
若產(chǎn)生的臟數(shù)據(jù)超出閾值范圍，同步任務(wù)將失敗退出。
說明臟數(shù)據(jù)認(rèn)定標(biāo)準(zhǔn)：臟數(shù)據(jù)是對業(yè)務(wù)沒有意義，格式非法或者同步過程中出現(xiàn)問題的數(shù)據(jù)。單條數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)源過程中發(fā)生了異常，則此條數(shù)據(jù)為臟數(shù)據(jù)。 因此只要是寫入失敗的數(shù)據(jù)均被歸類于臟數(shù)據(jù)。
例如，源端是VARCHAR類型的數(shù)據(jù)寫到INT類型的目標(biāo)列中，則會因?yàn)檗D(zhuǎn)換不合理導(dǎo)致臟數(shù)據(jù)不會成功寫入目的端。您可以在同步任務(wù)配置時(shí)，控制同步過程中是否允許臟數(shù)據(jù)產(chǎn)生，并且支持控制臟數(shù)據(jù)條數(shù)，即當(dāng)臟數(shù)據(jù)超過指定條數(shù)時(shí)，任務(wù)失敗退出。
說明任務(wù)整體同步速度除受到上述配置影響外，還受源端數(shù)據(jù)源性能，同步網(wǎng)絡(luò)環(huán)境等多方面影響，關(guān)于同步速率說明與調(diào)優(yōu)，詳情請參見離線同步任務(wù)調(diào)優(yōu)。
步驟五：配置調(diào)度屬性
周期性調(diào)度的離線同步任務(wù)需要配置任務(wù)自動調(diào)度時(shí)的相關(guān)屬性，此步驟為您介紹如何配置調(diào)度相關(guān)屬性。您可以進(jìn)入離線同步節(jié)點(diǎn)的編輯頁面，單擊右側(cè)的調(diào)度配置，下文將為您介紹如何在同步任務(wù)中配置節(jié)點(diǎn)調(diào)度屬性。調(diào)度參數(shù)使用說明請參見數(shù)據(jù)集成使用調(diào)度參數(shù)的相關(guān)說明。
配置節(jié)點(diǎn)調(diào)度屬性：用于為任務(wù)配置階段使用的變量賦值調(diào)度參數(shù)，您在上述配置中定義的變量均可以在此處進(jìn)行賦值，支持賦值常量與變量。
配置時(shí)間屬性：用于定義任務(wù)在生產(chǎn)環(huán)境的周期調(diào)度方式。您可以在調(diào)度配置的時(shí)間屬性區(qū)域，配置任務(wù)生成周期實(shí)例的方式、調(diào)度類型、調(diào)度周期等屬性。
配置資源屬性：用于定義調(diào)度場景下，將當(dāng)前任務(wù)下發(fā)至數(shù)據(jù)集成任務(wù)執(zhí)行資源時(shí)所使用的調(diào)度資源組，您可以在調(diào)度配置的資源屬性區(qū)域，選擇任務(wù)調(diào)度運(yùn)行時(shí)需要使用的資源組。
說明數(shù)據(jù)集成離線任務(wù)通過調(diào)度資源組下發(fā)至對應(yīng)的數(shù)據(jù)集成任務(wù)執(zhí)行資源組上運(yùn)行，會產(chǎn)生調(diào)度相關(guān)費(fèi)用，關(guān)于任務(wù)下發(fā)機(jī)制說明，請參見任務(wù)下發(fā)機(jī)制。
步驟六：提交并發(fā)布任務(wù)
若任務(wù)需要進(jìn)行周期性調(diào)度運(yùn)行，您需要將任務(wù)發(fā)布至生產(chǎn)環(huán)境。關(guān)于任務(wù)發(fā)布，詳情請參見：發(fā)布任務(wù)。
后續(xù)步驟
任務(wù)發(fā)布至生產(chǎn)環(huán)境后，您可進(jìn)入生產(chǎn)環(huán)境運(yùn)維中心查看該調(diào)度任務(wù)，關(guān)于離線同步任務(wù)的運(yùn)行與管理、狀態(tài)監(jiān)控、資源組運(yùn)維等操作詳情請參見：離線同步任務(wù)運(yùn)維。