實時數據訂閱
云原生多模數據庫 Lindorm支持實時數據訂閱功能,實時數據訂閱功能幫助您獲取Lindorm的實時增量數據,您可以根據自身業務需求自由消費增量數據,搭建或實現多種業務場景。
背景信息
云原生多模數據庫 Lindorm數據訂閱功能支持任何一個表的每一條數據變更,您可以在客戶端查看數據變更記錄。當您開通某一張表的數據訂閱功能后,其變更數據的操作就會被存儲。每次對Lindorm表格的數據執行增刪改操作時,數據訂閱都會生成一個Stream Record鍵值對,鍵值對的鍵是這一行數據的主鍵,值是此次操作的詳細信息(操作前的值,操作后的值,時間戳,操作類型)。
開通模式
開通云原生多模數據庫 Lindorm數據訂閱功能有兩種模式,Pull模式和Push模式。
Pull模式:您可以使用開源的Kafka客戶端直接訂閱數據,服務端會暫時保存數據,您需要對保存的數據設置一個過期時間,如果超過這個時間數據會被刪除。具體操作請參見通過Pull模式創建數據訂閱通道。
Push模式:云原生多模數據庫 Lindorm數據訂閱功能直接將數據推送到Kafka客戶端,服務端不會存儲數據。具體操作請參見通過Push模式創建數據訂閱。
使用限制
云原生多模數據庫 Lindorm數據訂閱功能僅支持數據處理語義為至少一次(At-least-once)語義,即同一條數據可能因為內部重試而被重復消費。
云原生多模數據庫 Lindorm數據訂閱功能中的增量消息以亂序形式存在,即消費消息的順序不等同于寫入Lindorm寬表的順序。
HBase表的數據訂閱功能要求LTS版本為3.7.0及以上。
非SSD實例不建議開啟數據訂閱功能,由于數據訂閱功能中導出整行數據的最新值或更新前的值時為了獲取更新前的值會對Lindorm實例增加讀操作,每一次寫入操作都會增加一次讀操作。如果您不需要OldImage/NewImage功能,僅需要變更Delta數據,請提交工單聯系我們。
通過Pull模式創建數據訂閱通道的訂閱數據默認保存7天,與Lindorm共享底層的LDFS存儲空間,因此您在開啟數據訂閱功能前需要先確認有充足的存儲空間。