Kafka實時同步
本文為您介紹如何將Kafka數(shù)據(jù)實時同步至Hologres。
背景信息
Kafka 是一款高吞吐量、高可擴展性的分布式消息隊列服務，廣泛用于日志收集、監(jiān)控數(shù)據(jù)聚合、流式數(shù)據(jù)處理、在線和離線分析等場景。Hologres與大數(shù)據(jù)生態(tài)無縫打通，您可以通過DataWorks數(shù)據(jù)集成、Flink以及Hologres Connector等多種方式將Kafka數(shù)據(jù)實時同步至Hologres，再進行高并發(fā)低延時的查詢分析處理。相關(guān)原理請參見Kafka Reader和Hologres Writer。
Kafka通過DataWorks實時同步
DataWorks數(shù)據(jù)集成通過Kafka服務的Java SDK從Kafka讀取數(shù)據(jù)，再實時同步至Hologres。
更多DataWorks相關(guān)內(nèi)容，請參見DataWorks入門概述。
配置數(shù)據(jù)源
在同步數(shù)據(jù)之前需要先配置輸入數(shù)據(jù)源Kafka和輸出數(shù)據(jù)源Hologres，詳情請參見：
配置同步任務
配置數(shù)據(jù)源成功之后，可以配置同步任務將Kafka的數(shù)據(jù)實時同步至Hologres，詳情請參見：
查詢數(shù)據(jù)
任務同步成功之后，可以在Hologres中查詢到已同步的數(shù)據(jù)。
Kafka通過Flink實時同步
Kafka也可以通過Flink初步清洗匯總指標再實時同步至Hologres，詳情請參見Flink全托管。
Kafka通過Hologres Connector寫入
還可以通過Hologres Connector直接將Kafka數(shù)據(jù)寫入Hologres，詳情請參見Kafka寫入Hologres。