準(zhǔn)備工作

1.準(zhǔn)備ADS實例和表結(jié)構(gòu)使用ADS管控臺新建ADS集群DataHub同步時，會根據(jù)DataHub Field的數(shù)據(jù)類型同步到對應(yīng)的ADS數(shù)據(jù)類型中，對應(yīng)的類型映射關(guān)系如下所示：

DataHub 中的 TINYINT ， SMALLINT ， INTEGER ， FLOAT 類型從 java sdk 2.16.1-public 開始支持。2.同步說明1）目前DataHub僅支持將TUPLE數(shù)據(jù)同步到ADS服務(wù)中2）ReplaceInto與IgnoreInto： ReplaceInto模式下，會使用replace into語句將數(shù)據(jù)插入，反之，IgnoreInto會使用insert方式插入數(shù)據(jù)庫（replace into將根據(jù)主鍵覆蓋記錄，ignore into將忽略沖突進(jìn)行寫入）3）數(shù)據(jù)同步的時效性正常情況為秒級，即數(shù)據(jù)寫入DataHub中后若干秒內(nèi)將會同步到ADS，網(wǎng)絡(luò)異常的情況可能造成重復(fù)數(shù)據(jù)Update，但是保證數(shù)據(jù)At least once語義。4）ADS的寫入性能直接影響同步的性能，若ADS實例性能過低，可能導(dǎo)致DataHub同步較慢，數(shù)據(jù)堆積，嚴(yán)重情況可能因為同步延遲超過生命周期從而丟失數(shù)據(jù)。

創(chuàng)建同步任務(wù)

1. 依次進(jìn)入項目列表/Project詳情/Topic詳情頁面

2. 點擊右上角的 + 同步按鈕進(jìn)行同步任務(wù)創(chuàng)建

下面羅列了部分管控臺創(chuàng)建同步任務(wù)的配置說明，更多更靈活的操作請參考SDK使用。

1. HostADS服務(wù)地址，請務(wù)必填寫內(nèi)網(wǎng)地址以確保服務(wù)聯(lián)通性

2. 導(dǎo)入字段DataHub可以根據(jù)用戶設(shè)置將部分column內(nèi)容同步到ADS中

3. 寫入模式包括IGNORE和OVERWRITE兩種模式

   • IGNORE: 忽略重復(fù)數(shù)據(jù)，即INSERT IGNORE INTO寫入

   • OVERWRITE: 更新重復(fù)數(shù)據(jù)，即REPLACE INTO寫入

同步示例

1. 創(chuàng)建ADS實例和表結(jié)構(gòu)在ADS管控臺中創(chuàng)建ADS實例和數(shù)據(jù)表

2. 建立DataHub Topic在DataHub中建立Topic，示例中為TUPLE類型topic，schema如下圖所示：

3 建立同步任務(wù)這里寫入模式選擇IGNORE，導(dǎo)入所有字段

4 向DataHub中寫入TUPLE數(shù)據(jù)，數(shù)據(jù)內(nèi)容如下圖所示，共4條數(shù)據(jù)

5 . 確認(rèn)同步數(shù)據(jù)客戶端連接ADS服務(wù)查看數(shù)據(jù)，數(shù)據(jù)結(jié)果如下圖所示：

同步ADS3.0

同步ADS3.0請參考：創(chuàng)建ADS3.0同步