OpenSearch同步數(shù)據(jù)原理
更新時間:
實時同步(增量數(shù)據(jù))
由上圖所示,增量數(shù)據(jù)一共有兩部分(DB更新的和API推送的),新數(shù)據(jù)從源到opensearch一共有3個步驟:
1.用戶更新DB(通過DTS服務(wù)訂閱數(shù)據(jù)庫的binlog實現(xiàn))或者調(diào)用API接口將數(shù)據(jù)推送到OpenSearch離線,此時主+輔表有1500tps的限制
2. 當(dāng)數(shù)據(jù)抵達(dá)離線后,會將增量數(shù)據(jù)更新到已有的大寬表中,此時由于主輔表為N:1的關(guān)系,輔表更新一條數(shù)據(jù)可能會觸發(fā)主表的多條數(shù)據(jù)更新,當(dāng)輔表更新觸發(fā)主表更新tps觸發(fā)量>=1000tps時,為保證主表的時效性,會將輔表的更新量限速【注:多表join引發(fā)的數(shù)據(jù)同步延遲可點擊此處進(jìn)行查看】
3. 離線將帶有元數(shù)據(jù)信息的數(shù)據(jù)寫入到引擎(注:加入元數(shù)據(jù)后,數(shù)據(jù)可能會膨脹2-3倍),此時為保護(hù)引擎,寫入量最大為10M/s
指標(biāo)如下:
階段 | 相關(guān)限制 | 備注 |
源->離線主輔表一起的tps。不加trigger | 1500 | |
實時增量數(shù)據(jù)從離線寫入引擎 | 10MB | 加入元數(shù)據(jù) |
輔表更新觸發(fā)主表更新tps | 1000 |
文檔內(nèi)容是否對您有幫助?