參數目錄

參數

說明

示例值

無

conf.version

當前配置文件的版本號，請不要修改該值。

conf.version = 4

全局配置選項

id

同步任務的ID，可自定義。主要用于本次任務的日志名稱、斷點續傳（checkpoint）位點信息存儲的數據庫名稱、同步到目的端的數據庫名稱等。

id = mongoshake

master_quorum

高可用選項。當主備MongoShake同時從一個源端同步數據時，主MongoShake中需要設置該參數為true。

master_quorum = false

full_sync.http_port

HTTP端口，開放該端口可通過外網查看MongoShake的當前全量同步狀態。

full_sync.http_port = 9101

incr_sync.http_port

HTTP端口，開放該端口可通過外網查看MongoShake的當前增量同步狀態。

incr_sync.http_port = 9100

system_profile_port

Profiling端口，用于查看內部堆棧信息。

system_profile_port = 9200

log.level

日志的等級，取值：

• error：包含錯誤級別信息的日志。

• warning：包含警告級別信息的日志。

• info：反饋當前系統狀態的日志。

• debug：包含調試信息的日志。

默認值：info。

log.level = info

log.dir

日志文件和pid文件的目錄，不設置則默認使用當前路徑的logs目錄。

log.dir = ./logs/

log.file

日志文件的名稱，可自定義。

log.file = collector.log

log.flush

日志在屏幕上的刷新頻率。取值：

• true：打印每一條日志（對性能有影響）。

• false：不一定能打印日志，但是保證性能。

log.flush = false

sync_mode

數據同步的方式，取值：

• all：執行全量數據同步和增量數據同步。

• full：僅執行全量數據同步。

• incr：僅執行增量數據同步。

sync_mode = all

mongo_urls

源端MongoDB實例的ConnectionStringURI格式連接地址。示例中數據庫賬號為test，所屬數據庫為admin。

mongo_urls = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

mongo_cs_url

如果源端的MongoDB類型為分片集群實例，需要輸入ConfigServer（CS）節點的連接地址。如何申請ConfigServer節點的連接地址請參見申請Shard或ConfigServer節點連接地址。

示例中數據庫賬號為test，所屬數據庫為admin。

mongo_cs_url = mongodb://test:****@dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

如果源端的MongoDB類型為分片集群實例，需要輸入至少一個Mongos節點的連接地址，多個Mongos地址之間以英文逗號（,）分隔。如何申請Mongos節點的連接地址請參見申請Shard或ConfigServer節點連接地址。

示例中數據庫賬號為test，所屬數據庫為admin。

mongos_s_url = mongodb://test:****@s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717/admin

tunnel

同步的通道類型。取值：

• direct：直接同步到目標MongoDB實例。

• rpc：通過NET/RPC方式同步。

• tcp：通過TCP方式同步。

• file：通過文件傳輸方式同步。

• kafka：通過Kafka方式同步。

• mock：僅用于測試，不寫入通道。

tunnel = direct

tunnel.address

目標端的連接地址，支持如下地址：

• 當turnel參數為direct時，請輸入目標端MongoDB實例的ConnectionStringURI格式連接地址。

• 當turnel參數為rpc時，請輸入目標端實例rpc的接收地址。

• 當turnel參數為tcp時，請輸入目標端實例的tcp接收地址。

• 當turnel參數為file時，請輸入目標端實例數據的文件路徑。

• 當turnel參數為kafka時，請輸入kafka的地址，例如topic@brokers1,brokers2

• 當turnel參數為mock時，此參數不填。

示例中數據庫賬號為test，所屬數據庫為admin。

tunnel.address = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

tunnel.message

通道數據的類型，僅限tunnel參數為kafka或file時有效。取值：

• raw：默認的類型，采用聚合的模式進行寫入和讀取。

• json：以JSON格式寫入kafka，便于用戶直接讀取。

• bson：以BSON二進制的格式寫入kafka。

tunnel.message = raw

mongo_connect_mode

MongoDB實例的連接模式，僅限tunnel參數為direct時有效。取值：

• primary：從primary節點中拉取數據。

• secondaryPreferred：從secondary節點中拉取數據。

• standalone：從指定的單個節點中拉取數據。

mongo_connect_mode = secondaryPreferred

filter.namespace.black

指定數據同步的黑名單，這些指定的命名空間不會被同步至目標數據庫，多個命名空間用英文分號（;）分隔。

filter.namespace.black = mongodbtest.customer;testdata.test123

filter.namespace.white

指定數據同步的白名單，只有這些指定的命名空間會被同步至目標數據庫，多個命名空間用英文分號（;）分隔。

filter.namespace.white = mongodbtest.customer;test123

filter.pass.special.db

啟用特殊庫的同步。正常同步過程中，admin、local、mongoshake、config、system.views等庫會被系統過濾掉，您可以在有特殊需求時啟用上述庫的同步。多個庫名用英文分號（;）分隔。

filter.pass.special.db = admin;mongoshake

filter.ddl_enable

是否開啟DDL同步。取值：

• true：開啟

• false：關閉

filter.ddl_enable = false

checkpoint.storage.url

配置Checkpoint存儲地址，用于支持斷點續傳。如不配置，程序將根據實例類型寫入如下對應的數據庫：

• MongoDB副本集實例：寫入mongoshake庫中。

• MongoDB分片集群實例：寫入ConfigServer節點的admin庫中。

示例中數據庫賬號為test，所屬數據庫為admin。

checkpoint.storage.url = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

Checkpoint存儲的數據庫名。

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

Checkpoint存儲的集合名。在開啟主備MongoShake同時從一個源端同步數據時，可以修改該表名以防止表名重復引起沖突。

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

斷點續傳的開始位置，如果checkpoint位點已經存在則本參數無效。取值的格式：YYYY-MM-DDTHH:MM:SSZ。

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.namespace

將源庫的庫名或集合名重新命名并同步到目的庫。如：將源庫中的A庫.B集合重新命名成C庫.D集合并同步到目的庫。

transform.namespace = fromA.fromB:toC.toD

全量數據同步選項

full_sync.reader.collection_parallel

設置MongoShake單次最多并發拉取多少個集合。

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

設置MongoShake對單個集合寫入的并發線程數。

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

設置MongoShake對目的端單次寫入文檔的聚合（batch）大小。如：128表示單次聚合128個文檔后再寫入。

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

設置目的庫存在同名集合時的處理方式。取值：

• true：先刪除目標重名集合再同步。

  警告

  此操作會刪除目的端的集合，請務必提前做好備份。

• false：如檢測到目的庫中有重名集合則直接報錯退出。

full_sync.collection_exist_drop = true

full_sync.create_index

完成同步后是否創建索引。取值：

• foreground：創建前臺索引

• background：創建后臺索引

• none：不創建索引

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

目的庫中有_id重復字段時是否將INSERT語句更改為UPDATE語句。取值：

• true：更改

• false：不更改

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

源端為分片集群實例時，是否過濾孤立文檔（Orphaned document）。取值：

• true：過濾

• false：不過濾

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

是否啟用目的端的多數寫（Majority write）功能。取值：

• true：啟用

• false：不啟用

full_sync.executor.majority_enable = false

增量數據同步選項

incr_sync.mongo_fetch_method

配置增量數據拉取方法。取值：

• oplog：從源庫中拉取oplog。

• change_stream：從源庫中拉取change事件（僅支持MongoDB 4.0及以上版本）。

默認值：oplog

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

用于云上集群搭建雙向復制。

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

MongoShake內部處理并發的方式。請勿修改該參數。

incr_sync.shard_key = collection

incr_sync.worker

傳輸oplog的并發線程數。如果主機性能足夠，可以提高線程數。

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

啟用壓縮數據功能以減少網絡帶寬消耗。取值：

• none：不壓縮

• gzip：以gzip格式壓縮

• zlib：以zlib格式壓縮

• deflate：以deflate格式壓縮

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

設置源端與目的端的延遲同步。通常源端中的變更會實時同步到目的端，為了防止誤操作，您可以通過設置本參數達到延遲同步的目的。如：incr_sync.target_delay = 1800為設置30分鐘的延遲。單位：秒。

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

MongoShake內部隊列的配置參數。如無特殊情況請勿修改。

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

MongoDB同步選項（僅適用于direct模式）

incr_sync.executor.upsert

當_id（重復字段）或唯一索引不存在時，是否將UPDATE語句更改為INSERT語句。取值：

• true：更改

• false：不更改

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

當_id（重復字段）或唯一索引不存在時，是否將INSERT語句更改為UPDATE語句。取值：

• true：更改

• false：不更改

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

同步時如果存在寫沖突，是否記錄沖突文檔。取值：

• none：不記錄

• db：將沖突日志寫入mongoshake_conflict

• sdk：將沖突日志寫入sdk

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

是否在目的端啟用多數寫（Majority write）。取值：

• true：啟用

• false：不啟用

incr_sync.executor.majority_enable = false