數(shù)據(jù)集成側(cè)同步任務(wù)配置
完成數(shù)據(jù)源、網(wǎng)絡(luò)、資源的準(zhǔn)備配置后，您可以根據(jù)同步場(chǎng)景選擇同步解決方案，創(chuàng)建并執(zhí)行同步任務(wù)，將源端數(shù)據(jù)同步至目標(biāo)端。本文為您介紹同步任務(wù)的通用配置流程，不同的同步方案配置流程可能存在差異，對(duì)應(yīng)方案配置詳情請(qǐng)以界面為準(zhǔn)。
前提條件
已完成數(shù)據(jù)源配置。您需要在數(shù)據(jù)集成同步任務(wù)配置前，配置好您需要同步的源端和目標(biāo)端數(shù)據(jù)庫(kù)，以便在同步任務(wù)配置過程中，可通過選擇數(shù)據(jù)源名稱來控制同步任務(wù)的讀取和寫入數(shù)據(jù)庫(kù)。同步任務(wù)支持的數(shù)據(jù)源及其配置詳情請(qǐng)參見支持的數(shù)據(jù)源及同步方案。
說明數(shù)據(jù)源相關(guān)能力介紹詳情請(qǐng)參見：數(shù)據(jù)源概述。
已完成數(shù)據(jù)源環(huán)境準(zhǔn)備。您可以基于您需要進(jìn)行的同步配置，在同步任務(wù)執(zhí)行前，授予數(shù)據(jù)源配置的賬號(hào)在數(shù)據(jù)庫(kù)進(jìn)行相應(yīng)操作的權(quán)限。詳情請(qǐng)參見：數(shù)據(jù)庫(kù)環(huán)境準(zhǔn)備概述。
背景信息
數(shù)據(jù)集成基于源端數(shù)據(jù)庫(kù)與目標(biāo)端數(shù)據(jù)庫(kù)類型為您提供豐富的數(shù)據(jù)同步任務(wù)，同步類型包括：整庫(kù)離線同步（一次性全量同步、周期性全量同步、離線全增量同步、一次性增量同步、周期性增量同步）、一鍵實(shí)時(shí)同步（一次性全量同步，實(shí)時(shí)增量同步）。不同源端與目標(biāo)端數(shù)據(jù)庫(kù)支持的同步方案不同，具體支持的方案詳情請(qǐng)參考產(chǎn)品界面。更多同步任務(wù)產(chǎn)品能力介紹，詳情請(qǐng)參見：數(shù)據(jù)集成側(cè)同步任務(wù)能力說明。
使用限制
跨時(shí)區(qū)同步限制：
同步任務(wù)暫不支持跨時(shí)區(qū)同步數(shù)據(jù)。如果同步任務(wù)中讀取和寫入的數(shù)據(jù)源與使用的DataWorks資源組不在同一個(gè)時(shí)區(qū)，將會(huì)導(dǎo)致時(shí)間類型字段同步錯(cuò)誤。
同步庫(kù)個(gè)數(shù)限制：
整庫(kù)離線同步僅支持同步數(shù)據(jù)源指定的默認(rèn)庫(kù)。
一鍵實(shí)時(shí)同步支持同步對(duì)應(yīng)RDS實(shí)例下數(shù)據(jù)源配置賬號(hào)有權(quán)限的所有數(shù)據(jù)庫(kù)。
注意事項(xiàng)
DataWorks實(shí)時(shí)同步通常在以下情況下需要手動(dòng)設(shè)置位點(diǎn)：
同步任務(wù)中斷后恢復(fù)：如果同步任務(wù)中斷，重啟任務(wù)時(shí)需要手動(dòng)設(shè)置位點(diǎn)為中斷的時(shí)間點(diǎn)，以確保從斷點(diǎn)繼續(xù)同步。
數(shù)據(jù)丟失或異常：如果在同步過程中發(fā)現(xiàn)數(shù)據(jù)丟失或異常，需要手動(dòng)重置位點(diǎn)到數(shù)據(jù)寫入之前的某個(gè)時(shí)間點(diǎn)，以確保數(shù)據(jù)完整。
調(diào)整任務(wù)配置：在調(diào)整任務(wù)配置后，例如修改目標(biāo)表或字段映射，需要手動(dòng)設(shè)置位點(diǎn)以確保數(shù)據(jù)同步的準(zhǔn)確性。
如果您在執(zhí)行同步任務(wù)時(shí)提示位點(diǎn)錯(cuò)誤或不存在，請(qǐng)按如下方式解決：
重置位點(diǎn)：在啟動(dòng)實(shí)時(shí)同步任務(wù)時(shí)，重置位點(diǎn)并選擇源庫(kù)可用的最早位點(diǎn)。
調(diào)整Binlog保留時(shí)間：如果數(shù)據(jù)庫(kù)位點(diǎn)過期，可以考慮在MySQL數(shù)據(jù)庫(kù)中調(diào)整Binlog的保留時(shí)間，例如設(shè)置為7天。
數(shù)據(jù)同步：如果數(shù)據(jù)已經(jīng)丟失，可以考慮重新全量同步，或者配置一個(gè)離線同步任務(wù)來手動(dòng)同步丟失的數(shù)據(jù)。
進(jìn)入同步任務(wù)
同步任務(wù)的創(chuàng)建入口在數(shù)據(jù)集成模塊，您需要前往數(shù)據(jù)集成模塊頁面進(jìn)行創(chuàng)建。
進(jìn)入數(shù)據(jù)集成頁面。
登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)集成。
操作流程
步驟一：創(chuàng)建同步任務(wù)
您可以通過以下兩種方式創(chuàng)建同步任務(wù)：
方式一：在同步任務(wù)頁面，選擇來源和去向，單擊開始創(chuàng)建。
方式二：在同步任務(wù)頁面，如果任務(wù)列表為空，單擊請(qǐng)創(chuàng)建。
步驟二：選擇同步方案
您可以根據(jù)業(yè)務(wù)需要選擇要同步的來源和去向數(shù)據(jù)源類型。選擇后，數(shù)據(jù)集成基于源端數(shù)據(jù)庫(kù)與目標(biāo)端數(shù)據(jù)庫(kù)類型為您展示目前支持的同步類型，您可以根據(jù)業(yè)務(wù)需要進(jìn)行選擇。
支持的數(shù)據(jù)源及同步方案請(qǐng)參見：支持的數(shù)據(jù)源及同步方案。
步驟三：網(wǎng)絡(luò)與資源配置
在此步驟中，您需要選擇要同步的來源與去向數(shù)據(jù)源，以及用于執(zhí)行同步任務(wù)的資源組。并測(cè)試資源組與數(shù)據(jù)源的網(wǎng)絡(luò)連通。
若還未創(chuàng)建數(shù)據(jù)源，請(qǐng)單擊界面的新建數(shù)據(jù)源按鈕，新建數(shù)據(jù)源。詳情請(qǐng)參見：數(shù)據(jù)源概述。
步驟四：同步任務(wù)配置
根據(jù)具體任務(wù)類型按界面說明進(jìn)行同步相關(guān)配置。
步驟五：?jiǎn)?dòng)同步任務(wù)
您可以執(zhí)行任務(wù)并查看任務(wù)詳細(xì)執(zhí)行過程。
進(jìn)入界面，找到已創(chuàng)建的同步方案。
單擊操作列的啟動(dòng)/提交執(zhí)行按鈕，啟動(dòng)同步的運(yùn)行。
單擊操作列的執(zhí)行詳情，查看任務(wù)的詳細(xì)執(zhí)行過程。
附錄：高級(jí)配置
設(shè)置同步來源與規(guī)則
選擇源端數(shù)據(jù)源中需要同步的庫(kù)和表后，同步任務(wù)默認(rèn)將源端數(shù)據(jù)庫(kù)、數(shù)據(jù)表寫入目標(biāo)端同名schema或同名表中，如果目標(biāo)端不存在該schema或表，將會(huì)自動(dòng)創(chuàng)建。同時(shí)，您可以通過設(shè)置表（庫(kù)）名的映射規(guī)則定義最終寫入目標(biāo)端的schema或表名稱。實(shí)現(xiàn)將多張表數(shù)據(jù)寫入到同一個(gè)表中，或統(tǒng)一將源端某固定前綴的庫(kù)名或表名在寫入目標(biāo)庫(kù)或表時(shí)更新為其他前綴。
源表名和目標(biāo)表名轉(zhuǎn)換規(guī)則：源端表名支持通過正則表達(dá)式轉(zhuǎn)換為目標(biāo)端最終寫入的表名。
示例1：將源端doc_前綴的表數(shù)據(jù)，寫入前綴為pre_的目標(biāo)表中。
示例2：將多張表數(shù)據(jù)寫入到一張目標(biāo)表。
將源端名稱為 "table_01"，"table_02"，"table_03" 的表同步至一張名為 "my_table" 的表中。配置正則表名轉(zhuǎn)換規(guī)則為：源：table.*，目標(biāo)：my_table。
目標(biāo)表名規(guī)則：支持您使用內(nèi)置的變量組合生成目標(biāo)表名，同時(shí)，對(duì)轉(zhuǎn)換后的目標(biāo)表名支持添加前綴和后綴。可使用的內(nèi)置變量有：
${db_table_name_src_transed}：“源表名和目標(biāo)表名轉(zhuǎn)換規(guī)則”中的轉(zhuǎn)換完成之后的表名。
${db_name_src_transed}：“源庫(kù)名和目標(biāo)Schema名轉(zhuǎn)換規(guī)則”中的轉(zhuǎn)換完成之后的目標(biāo)Schema名。
${ds_name_src}：源數(shù)據(jù)源名。
示例：對(duì)上一步源表名和目標(biāo)表名轉(zhuǎn)換規(guī)則轉(zhuǎn)換后的表名做進(jìn)一步字符串拼接處理，使用${db_table_name_src_transed}代表上一步的處理結(jié)果“my_table”，再為該內(nèi)置變量增加前綴和后綴，例如，pre_${db_table_name_src_transed}_post，最終就映射到了名為“pre_my_table_post”的目標(biāo)表。
源庫(kù)名和目標(biāo)Schema名轉(zhuǎn)換規(guī)則：源端schema名支持通過正則表達(dá)式轉(zhuǎn)換為目標(biāo)端最終寫入的schema名。
示例：將源端doc_前綴的庫(kù)名替換為pre_前綴。
設(shè)置目標(biāo)表
您可以定義寫入目標(biāo)表的相關(guān)屬性，例如，寫入模式、是否寫入分區(qū)表以及分區(qū)的字段名稱、選擇寫入目標(biāo)端已有表還是新建表、以及是否需要編輯字段并為目標(biāo)字段賦值等。
此步驟中，單擊刷新源端與目標(biāo)端表映射按鈕后，將會(huì)根據(jù)配置的表規(guī)則來映射源端表與目標(biāo)端表的寫入關(guān)系。
此處的配置項(xiàng)根據(jù)目標(biāo)端數(shù)據(jù)源類型的不同而存在一定的差異，具體以各方案實(shí)際配置界面為準(zhǔn)。詳情請(qǐng)參見：支持的數(shù)據(jù)源及同步方案。
設(shè)置寫入規(guī)則
此步驟根據(jù)選擇的同步方案類型不同，需要進(jìn)行的配置存在一定差異：
DDL或DML消息處理規(guī)則（一鍵實(shí)時(shí)同步任務(wù)）：
來源數(shù)據(jù)源會(huì)包含許多DDL或DML操作，為保障數(shù)據(jù)符合預(yù)期，您可以根據(jù)寫入的目標(biāo)端數(shù)據(jù)源類型配置DDL或DML消息處理策略。DDL消息處理策略詳情請(qǐng)參見：DDL消息處理規(guī)則、DML消息處理策略。
同步規(guī)則設(shè)置（整庫(kù)離線同步）：
當(dāng)使用整庫(kù)離線同步時(shí)，需要定義同步策略。例如，增量同步的過濾條件設(shè)置、同步任務(wù)的調(diào)度周期設(shè)置等。
增量同步：您可通過where語句對(duì)待同步的數(shù)據(jù)表進(jìn)行過濾，且只需在增量條件框中填寫where子句，無需寫where關(guān)鍵字。同時(shí)，在寫where子句時(shí)，您可以使用系統(tǒng)內(nèi)置變量，例如使用
${bdp.system.bizdate}指代業(yè)務(wù)日期、使用${bdp.system.cyctime}指代定時(shí)時(shí)間等。說明您可以使用調(diào)度參數(shù)來指定同步源表及目標(biāo)表的數(shù)據(jù)范圍，調(diào)度參數(shù)使用說明請(qǐng)參見：數(shù)據(jù)集成使用調(diào)度參數(shù)的相關(guān)說明。
周期設(shè)置：由于需要進(jìn)行周期性調(diào)度，所以需要定義周期性調(diào)度任務(wù)時(shí)的相關(guān)屬性，包括調(diào)度周期、生效日期、暫停調(diào)度等。當(dāng)前方案的調(diào)度配置與DataWorks中節(jié)點(diǎn)的調(diào)度配置一致，參數(shù)詳情可參見時(shí)間屬性配置說明。
設(shè)置任務(wù)運(yùn)行資源
在此步驟中，您可以配置任務(wù)名稱及任務(wù)執(zhí)行所使用的資源組，同時(shí)，數(shù)據(jù)集成提供數(shù)據(jù)庫(kù)最大連接數(shù)、并發(fā)數(shù)等配置的默認(rèn)值，如果您需要對(duì)任務(wù)做精細(xì)化配置，您可通過高級(jí)配置進(jìn)行修改。
如果您選擇一鍵實(shí)時(shí)同步方案，該方案將分別創(chuàng)建用于同步全量數(shù)據(jù)的離線同步任務(wù)，和用于同步增量數(shù)據(jù)的實(shí)時(shí)同步任務(wù)。您需要在運(yùn)行資源設(shè)置界面分別配置離線同步任務(wù)的及實(shí)時(shí)同步任務(wù)的相關(guān)屬性。包括實(shí)時(shí)同步子任務(wù)和離線同步子任務(wù)的任務(wù)名稱、實(shí)時(shí)增量同步及離線全量同步使用的獨(dú)享數(shù)據(jù)集成資源組、離線同步任務(wù)所使用的調(diào)度資源組。
如果您選擇整庫(kù)離線同步方案，您需要配置離線任務(wù)名稱及使用的調(diào)度資源組與數(shù)據(jù)集成任務(wù)執(zhí)行資源組。
DataWorks的離線同步任務(wù)通過調(diào)度資源組將其下發(fā)到數(shù)據(jù)集成任務(wù)執(zhí)行資源組上執(zhí)行，所以離線同步任務(wù)除了涉及數(shù)據(jù)集成任務(wù)執(zhí)行資源組外，還會(huì)占用調(diào)度資源組資源。如果使用了獨(dú)享調(diào)度資源組，將會(huì)產(chǎn)生調(diào)度實(shí)例費(fèi)用。您可通過DataWorks資源組概述對(duì)該機(jī)制進(jìn)行了解。
離線和實(shí)時(shí)同步任務(wù)推薦使用不同的資源組，以便任務(wù)分開執(zhí)行。如果選擇同一個(gè)資源組，任務(wù)混跑會(huì)帶來資源搶占、運(yùn)行態(tài)互相影響等問題。例如，CPU、內(nèi)存、網(wǎng)絡(luò)等互相影響，可能會(huì)導(dǎo)致離線任務(wù)變慢或?qū)崟r(shí)任務(wù)延遲等問題，甚至在資源不足的極端情況下，可能會(huì)出現(xiàn)任務(wù)被OOM KILLER殺掉等問題。
后續(xù)步驟
完成任務(wù)配置后，您可以對(duì)已創(chuàng)建的任務(wù)進(jìn)行管理、執(zhí)行加減表操作，或?qū)θ蝿?wù)配置監(jiān)控報(bào)警，并查看任務(wù)運(yùn)行的關(guān)鍵指標(biāo)等。詳情請(qǐng)參見：全增量同步任務(wù)運(yùn)維。