本文介紹通過Lindorm Streams實現數據訂閱功能,數據訂閱功能將云數據庫HBase增強版(云原生多模數據庫Lindorm)表格的增量數據推送至下游消息隊列Kafka,您可以根據自身業務需求自由消費增量數據,搭建或實現多種業務場景。
推送流程
數據訂閱功能將云數據庫HBase增強版(云原生多模數據庫Lindorm)表格的增量數據消息主動推送至下游Kafka,推送流程如下。
功能特點
實時數據訂閱功能的信息投遞方式有以下特點:
支持主鍵級別保序,對于同一個主鍵的更新操作,會按照其更新的順序存儲和消費。
支持數據處理語義為至少一次(At-least-once)語義,即同一條數據可能因為內部重試而被重復消費。如果您需要設置為精確一次(Exactly Once)語義,請提交工單聯系我們。
消息格式
LindormStreams消息支持獲取更新后整行的數據以及更新前的值,詳細消息內容:
{
"op" : <opType> // 操作類型,可選Put、DeleteFamily
"table" : <tableName> // 表名
"ts" : <defaultVersion> // 默認版本,列數據中如果沒有ts值時取該值作為版本
"keyOnly":<keyOnly> // 是否只包含主鍵數據
"data" : [
{
"type" : <type> // 列數據類型
"name" : <name> // 列名
"ts" : <version> // 數據版本,如果沒有該值,取默認版本(ts)的值作為版本
"value" : <value> // 值,如果沒有該值,則表中值為null
},
{
"type" : <type> // 列數據類型
"name" : <name> // 列名
"ts" : <version> // 數據版本,如果沒有該值,取默認版本(ts)的值作為版本
"value" : <value> // 值,如果沒有該值,則表中值為null
}
]
}
消息內容配置:
參數名 | 類型 | 是否必選 | 示例值 | 描述 |
key_only | boolean | 否 | false | 是否只同步主鍵, 默認為false。 |
unique_key | boolean | 否 | false | 是否同一批次,相同主鍵只發送一次,默認為false。 |
文檔內容是否對您有幫助?