實時數據消費
實時數據消費功能包含高速數據導入API和實時數據源消費兩部分,可實現數據直接寫入Segment(分片單元),避免通過COPY或INSERT方式造成的Master寫入負載高的問題,也可實現使用AnalyticDB PostgreSQL版單產品直接消費Kafka數據。
功能簡介
高速數據導入API
gRPC是由Google主導開發的高性能、開源的通用RPC框架。高速數據導入API利用gRPC協議作為客戶端API,內部使用Segment直寫技術實現了高效的數據傳輸。您可以通過API更靈活地控制數據寫入和更新的過程。更多信息,請參見高速數據導入API。
實時數據源消費
Kafka數據集成是實時分析功能的另一個組件,它允許AnalyticDB PostgreSQL版數據庫實時地從Kafka Topic中消費數據。為您提供了一個強大的工具,用于結合流處理和批處理的數據分析。更多信息,請參見實時消費Kafka數據。
使用場景
構建實時分析報表及其他實時分析應用。
結合增量實時物化視圖構建流批一體的實時數倉。
在采用SQL方式寫入數據(UPSERT或UPDATE)但性能不佳時,使用高速數據導入API獲得更高吞吐的UPSERT性能。
需要將Kafka Topic數據導入AnalyticDB PostgreSQL版,但不希望使用其他數據集成工具。
優勢
可直接消費Kafka數據,減少實時處理組件依賴。
被寫入數據不經過協調節點,而是直接通過計算節點寫入,較大幅度提升寫入吞吐。
相較于SQL寫入(UPSERT或UPDATE)方式,具有更高的性能。
寫入過程對Master幾乎不產生負載。