欧洲亚洲中文字幕日本欧美,色色色色色精品免费,一区二区三区乱码国产在线

一鍵實(shí)時(shí)同步至Elasticsearch方案支持全增量一體化同步，先進(jìn)行全量數(shù)據(jù)遷移，然后再實(shí)時(shí)同步增量數(shù)據(jù)至目標(biāo)端。本文為您介紹如何創(chuàng)建一鍵實(shí)時(shí)同步至Elasticsearch任務(wù)。

前提條件

已完成數(shù)據(jù)源配置。您需要在數(shù)據(jù)集成同步任務(wù)配置前，配置好您需要同步的源端和目標(biāo)端數(shù)據(jù)庫(kù)，以便在同步任務(wù)配置過程中，可通過選擇數(shù)據(jù)源名稱來(lái)控制同步任務(wù)的讀取和寫入數(shù)據(jù)庫(kù)。同步任務(wù)支持的數(shù)據(jù)源及其配置詳情請(qǐng)參見支持的數(shù)據(jù)源及同步方案。
說明
數(shù)據(jù)源相關(guān)能力介紹詳情請(qǐng)參見：數(shù)據(jù)源概述。
已完成數(shù)據(jù)源環(huán)境準(zhǔn)備。您可以基于您需要進(jìn)行的同步配置，在同步任務(wù)執(zhí)行前，授予數(shù)據(jù)源配置的賬號(hào)在數(shù)據(jù)庫(kù)進(jìn)行相應(yīng)操作的權(quán)限。詳情請(qǐng)參見：數(shù)據(jù)庫(kù)環(huán)境準(zhǔn)備概述。

背景信息

本方案適用于需要實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)庫(kù)數(shù)據(jù)的更新情況，便于上層應(yīng)用對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行檢索分析或數(shù)據(jù)開發(fā)的場(chǎng)景。

方案屬性	說明
可同步的表個(gè)數(shù)	支持將源端多表數(shù)據(jù)寫入至目標(biāo)端多個(gè)索引。支持通過目標(biāo)索引配置規(guī)則實(shí)現(xiàn)源端多表數(shù)據(jù)寫入至目標(biāo)端指定的某個(gè)索引。
任務(wù)組成	當(dāng)前方案將分別創(chuàng)建用于全量數(shù)據(jù)初始化的離線同步子任務(wù)，和用于增量數(shù)據(jù)實(shí)時(shí)同步的數(shù)據(jù)集成實(shí)時(shí)同步子任務(wù)，方案產(chǎn)生的離線同步子任務(wù)個(gè)數(shù)與最終讀取的源端表個(gè)數(shù)有關(guān)。
數(shù)據(jù)寫入	運(yùn)行同步任務(wù)后，生成的離線同步任務(wù)將全量數(shù)據(jù)寫入Elasticsearch，待全量數(shù)據(jù)執(zhí)行完成后，啟動(dòng)實(shí)時(shí)同步任務(wù)，將源端增量數(shù)據(jù)實(shí)時(shí)同步至目標(biāo)端。

步驟一：選擇同步方案

創(chuàng)建同步解決方案任務(wù)，根據(jù)需求選擇需要同步的源端數(shù)據(jù)源和目標(biāo)端數(shù)據(jù)源，并選擇一鍵實(shí)時(shí)同步至Elasticsearch方案。

步驟二：配置網(wǎng)絡(luò)連通

源端選擇已創(chuàng)建的源端數(shù)據(jù)源與目標(biāo)端數(shù)據(jù)源，以及用于執(zhí)行同步任務(wù)的資源組。并測(cè)試資源組與數(shù)據(jù)源的網(wǎng)絡(luò)連通。詳情請(qǐng)參見：配置同步網(wǎng)絡(luò)鏈接。

步驟三：設(shè)置同步來(lái)源與規(guī)則

在基本配置區(qū)域，配置同步解決方案的名稱、任務(wù)存放位置等信息。
在數(shù)據(jù)來(lái)源區(qū)域，確認(rèn)需要同步的源端數(shù)據(jù)源相關(guān)信息。
在選擇同步的源表區(qū)域，選中需要同步的源表，單擊圖標(biāo)，將其移動(dòng)至已選源表。
該區(qū)域會(huì)為您展示所選數(shù)據(jù)源下所有的表，您可以選擇整庫(kù)全表或部分表進(jìn)行同步。
在設(shè)置表名到索引名的映射規(guī)則區(qū)域，單擊添加規(guī)則，選擇相應(yīng)的規(guī)則進(jìn)行添加。
同步時(shí)默認(rèn)將源端數(shù)據(jù)表寫入Elasticsearch同名索引中，同時(shí)，您可以通過添加映射規(guī)則定義最終寫入目的端的索引名稱，實(shí)現(xiàn)將多張表數(shù)據(jù)寫入到同一個(gè)索引中，或統(tǒng)一將源端某固定前綴的表名在寫入目標(biāo)索引時(shí)更新為其他前綴。支持通過正則表達(dá)式轉(zhuǎn)換寫入的索引名，還支持使用內(nèi)置變量拼接目標(biāo)索引名。配置邏輯請(qǐng)參見：設(shè)置同步來(lái)源與規(guī)則。

步驟四：設(shè)置目標(biāo)索引

單擊刷新源表和Elasticsearch 索引映射將根據(jù)您在步驟三配置的設(shè)置表名到索引名的映射規(guī)則來(lái)生成目標(biāo)索引，若步驟三未配置映射規(guī)則，將默認(rèn)寫入與源表同名的目標(biāo)索引，若目標(biāo)端不存在該同名索引，將默認(rèn)新建。同時(shí)，您可以修改索引建立方式。

說明

目標(biāo)表名將根據(jù)您在設(shè)置表名到索引名的映射規(guī)則階段配置的表名轉(zhuǎn)換規(guī)則自動(dòng)轉(zhuǎn)換。

功能	描述
選擇主鍵替代方案	如果來(lái)源庫(kù)有主鍵，則同步數(shù)據(jù)時(shí)會(huì)直接使用該主鍵進(jìn)行去重。如果來(lái)源庫(kù)沒有主鍵，則您需要單擊圖標(biāo)，自定義主鍵，即使用其他非主鍵的一個(gè)或幾個(gè)字段的聯(lián)合，代替主鍵進(jìn)行同步數(shù)據(jù)時(shí)進(jìn)行去重判斷。
選擇索引建立方式	支持自動(dòng)建索引和使用已有索引：當(dāng)索引建立方式選擇自動(dòng)建索引時(shí)，Elasticsearch索引名列顯示自動(dòng)創(chuàng)建的Elasticsearch索引名。您可以單擊索引名稱，查看和修改索引相關(guān)屬性。當(dāng)索引建立方式選擇使用已有索引時(shí)，您可以在Elasticsearch索引名列對(duì)應(yīng)的下拉列表中選擇需要使用的索引名稱。
編輯目標(biāo)索引	同步解決方案默認(rèn)根據(jù)源端生成目標(biāo)索引結(jié)構(gòu)，可能存在字段類型轉(zhuǎn)換，即若目標(biāo)端數(shù)據(jù)庫(kù)中沒有與源端一致的數(shù)據(jù)類型時(shí)，同步任務(wù)在自動(dòng)創(chuàng)建目標(biāo)索引時(shí)，將自動(dòng)為源端字段匹配目標(biāo)端可寫入的字段類型。支持您單擊Elasticsearch索引名列的目標(biāo)索引名根據(jù)需求修改目標(biāo)索引的相關(guān)參數(shù)。說明僅在索引建立方式為自動(dòng)建索引時(shí)，支持編輯目標(biāo)索引。動(dòng)態(tài)映射狀態(tài)：用于在同步數(shù)據(jù)時(shí)，是否將數(shù)據(jù)源表的新增字段添加至目標(biāo)索引中。取值如下： true：當(dāng)映射的目標(biāo)索引檢測(cè)到同步的數(shù)據(jù)源表中存在新添加的字段時(shí)，會(huì)將該字段同步添加至目標(biāo)索引中，后續(xù)該字段可以被搜索。該取值為默認(rèn)值。 false：當(dāng)映射的目標(biāo)索引檢測(cè)到同步的數(shù)據(jù)源表中存在新添加的字段時(shí)，會(huì)將該字段同步添加至目標(biāo)索引中，但后續(xù)該字段不可以被搜索。 strict：當(dāng)映射的目標(biāo)索引檢測(cè)到同步的數(shù)據(jù)源表中存在新添加的字段時(shí)，將拒絕同步該字段至目標(biāo)索引并產(chǎn)生異常報(bào)錯(cuò)，您可以在日志信息中查看報(bào)錯(cuò)詳情。更多動(dòng)態(tài)映射的內(nèi)容，詳情請(qǐng)參見動(dòng)態(tài)映射。 shard數(shù)量及replica數(shù)量：索引的主分片及副本分片，用于將一個(gè)完整的索引分成多個(gè)分片，分布至不同的Elasticsearch節(jié)點(diǎn)上，構(gòu)成分布式搜索，提升Elasticsearch的查詢效率，詳情請(qǐng)參見基本概念。說明 shard數(shù)量及replica數(shù)量參數(shù)，配置運(yùn)行后不可更改，默認(rèn)取值為1。分區(qū)設(shè)置：您可以選擇同步的數(shù)據(jù)源表的某一列作為分區(qū)列，該參數(shù)需要和shard數(shù)量、replica數(shù)量配合使用。默認(rèn)不開啟分區(qū)功能。不開啟分區(qū)：不填寫該參數(shù)，默認(rèn)使用文檔的_id作為routing起到將文檔均勻分布到多個(gè)分片上防止數(shù)據(jù)傾斜的作用。開啟分區(qū)：把指定列的value指定為routing的值，在寫入時(shí)，插入或更新指定shard中的doc。數(shù)據(jù)字段結(jié)構(gòu)：用于設(shè)置映射的目標(biāo)索引中字段的類型及擴(kuò)展屬性，詳情請(qǐng)參見Elasticsearch的字段類型。說明當(dāng)創(chuàng)建了目標(biāo)Elasticsearch索引后，如果不修改相關(guān)參數(shù)，則系統(tǒng)會(huì)按照默認(rèn)值的相應(yīng)規(guī)則進(jìn)行數(shù)據(jù)同步。

步驟五：DDL消息處理規(guī)則

來(lái)源數(shù)據(jù)源會(huì)包含許多DDL操作，數(shù)據(jù)集成體提供默認(rèn)處理策略，您也可以根據(jù)業(yè)務(wù)需求，對(duì)不同的DDL消息設(shè)置同步至目標(biāo)端的處理策略。不同DDL消息處理策略請(qǐng)參見：DDL消息處理規(guī)則。

步驟六：運(yùn)行資源設(shè)置

當(dāng)前方案創(chuàng)建后將分別生成全量數(shù)據(jù)離線同步子任務(wù)和增量數(shù)據(jù)實(shí)時(shí)同步子任務(wù)。您需要在運(yùn)行資源設(shè)置界面配置離線同步任務(wù)和實(shí)時(shí)同步任務(wù)的相關(guān)屬性。

包括實(shí)時(shí)增量同步及離線全量同步使用的獨(dú)享數(shù)據(jù)集成資源組、離線全量同步使用的調(diào)度資源組，同時(shí)，單擊高級(jí)配置可配置是否容忍臟數(shù)據(jù)、任務(wù)最大并發(fā)數(shù)、源庫(kù)允許支持的最大連接數(shù)等參數(shù)。

說明

DataWorks的離線同步任務(wù)通過調(diào)度資源組將其下發(fā)到數(shù)據(jù)集成任務(wù)執(zhí)行資源組上執(zhí)行，所以離線同步任務(wù)除了涉及數(shù)據(jù)集成任務(wù)執(zhí)行資源組外，還會(huì)占用調(diào)度資源組資源。如果使用了獨(dú)享調(diào)度資源組，將會(huì)產(chǎn)生調(diào)度實(shí)例費(fèi)用。您可通過任務(wù)下發(fā)機(jī)制對(duì)該機(jī)制進(jìn)行了解。
離線和實(shí)時(shí)同步任務(wù)推薦使用不同的資源組，以便任務(wù)分開執(zhí)行。如果選擇同一個(gè)資源組，任務(wù)混跑會(huì)帶來(lái)資源搶占、運(yùn)行態(tài)互相影響等問題。例如，CPU、內(nèi)存、網(wǎng)絡(luò)等互相影響，可能會(huì)導(dǎo)致離線任務(wù)變慢或?qū)崟r(shí)任務(wù)延遲等問題，甚至在資源不足的極端情況下，可能會(huì)出現(xiàn)任務(wù)被OOM KILLER殺掉等問題。

步驟七：執(zhí)行同步任務(wù)

進(jìn)入數(shù)據(jù)集成 > 同步任務(wù)界面，找到已創(chuàng)建的同步方案。
單擊操作列的啟動(dòng)/提交執(zhí)行按鈕，啟動(dòng)同步的運(yùn)行。
單擊操作列的執(zhí)行詳情，查看任務(wù)的詳細(xì)執(zhí)行過程。

后續(xù)步驟

完成任務(wù)配置后，您可以對(duì)已創(chuàng)建的任務(wù)進(jìn)行管理、執(zhí)行加減表操作，或?qū)θ蝿?wù)配置監(jiān)控報(bào)警，并查看任務(wù)運(yùn)行的關(guān)鍵指標(biāo)等。詳情請(qǐng)參見：全增量同步任務(wù)運(yùn)維。

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区