近實(shí)時(shí)增量導(dǎo)入
數(shù)據(jù)流入Delta Table主要存在近實(shí)時(shí)增量寫入和批量寫入兩種場(chǎng)景，本文為您介紹高并發(fā)近實(shí)時(shí)增量寫入場(chǎng)景的架構(gòu)設(shè)計(jì)。
實(shí)際業(yè)務(wù)數(shù)據(jù)處理場(chǎng)景中，涉及的數(shù)據(jù)源豐富多樣，可能存在數(shù)據(jù)庫、日志系統(tǒng)或者其他消息隊(duì)列等系統(tǒng)，為了方便用戶將數(shù)據(jù)寫入MaxCompute的Delta Table， MaxCompute深度定制開發(fā)了開源Flink Connector工具，聯(lián)合DataWorks數(shù)據(jù)集成以及其它數(shù)據(jù)導(dǎo)入工具，針對(duì)高并發(fā)、容錯(cuò)、事務(wù)提交等場(chǎng)景做了定制化的設(shè)計(jì)及開發(fā)優(yōu)化，以滿足延時(shí)低、正確性高等要求。
如上圖所示：
數(shù)據(jù)導(dǎo)入工具內(nèi)部會(huì)集成MaxCompute數(shù)據(jù)通道服務(wù)Tunnel提供的SDK Client，支持分鐘級(jí)高并發(fā)寫入數(shù)據(jù)到Tunnel Server，由它把數(shù)據(jù)并發(fā)寫入到每個(gè)Bucket的數(shù)據(jù)文件中。
寫入并發(fā)度可通過表屬性write.bucket.num來配置，因此寫入速度可水平擴(kuò)展。數(shù)據(jù)切分Bucket的優(yōu)勢(shì)可詳細(xì)參考表數(shù)據(jù)格式。
Tunnel SDK提供的數(shù)據(jù)寫入接口目前支持upsert和delete，詳見文檔。
commit接口調(diào)用代表原子提交這段時(shí)間寫入的數(shù)據(jù)。
如返回成功就代表寫入數(shù)據(jù)查詢可見，滿足讀寫快照隔離級(jí)別。
如返回失敗，可支持重試，如果不是數(shù)據(jù)損壞等不可恢復(fù)的錯(cuò)誤，則存在重試成功的可能，不需要重新寫入數(shù)據(jù)，否則需要重寫數(shù)據(jù)之后，重新提交Commit。