日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

OpenSearch同步數(shù)據(jù)原理

實時同步(增量數(shù)據(jù))

2

由上圖所示,增量數(shù)據(jù)一共有兩部分(DB更新的和API推送的),新數(shù)據(jù)從源到opensearch一共有3個步驟:

1.用戶更新DB(通過DTS服務(wù)訂閱數(shù)據(jù)庫的binlog實現(xiàn))或者調(diào)用API接口將數(shù)據(jù)推送到OpenSearch離線,此時主+輔表有1500tps的限制

2. 當(dāng)數(shù)據(jù)抵達(dá)離線后,會將增量數(shù)據(jù)更新到已有的大寬表中,此時由于主輔表為N:1的關(guān)系,輔表更新一條數(shù)據(jù)可能會觸發(fā)主表的多條數(shù)據(jù)更新,當(dāng)輔表更新觸發(fā)主表更新tps觸發(fā)量>=1000tps時,為保證主表的時效性,會將輔表的更新量限速【注:多表join引發(fā)的數(shù)據(jù)同步延遲可點擊此處進(jìn)行查看

3. 離線將帶有元數(shù)據(jù)信息的數(shù)據(jù)寫入到引擎(注:加入元數(shù)據(jù)后,數(shù)據(jù)可能會膨脹2-3倍),此時為保護(hù)引擎,寫入量最大為10M/s

指標(biāo)如下

階段

相關(guān)限制

備注

源->離線主輔表一起的tps。不加trigger

1500

實時增量數(shù)據(jù)從離線寫入引擎

10MB

加入元數(shù)據(jù)

輔表更新觸發(fā)主表更新tps

1000