本文介紹如何針對資訊聚合類業(yè)務(wù)場景搭建基于云消息隊(duì)列 Kafka 版和實(shí)時(shí)計(jì)算Flink的實(shí)時(shí)數(shù)倉。
場景描述
本文首先介紹什么是實(shí)時(shí)數(shù)倉以及相關(guān)技術(shù)架構(gòu)，接著介紹資訊聚合類業(yè)務(wù)的典型場景及其業(yè)務(wù)目標(biāo)，并據(jù)此設(shè)計(jì)了相應(yīng)的技術(shù)架構(gòu)。然后介紹如何部署基礎(chǔ)環(huán)境和搭建實(shí)時(shí)數(shù)倉，并介紹業(yè)務(wù)系統(tǒng)如何使用實(shí)時(shí)數(shù)倉。
解決的問題
- 通過云消息隊(duì)列 Kafka 版和實(shí)時(shí)計(jì)算Flink實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理和數(shù)據(jù)流。
- 通過云消息隊(duì)列 Kafka 版和實(shí)時(shí)計(jì)算Flink實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析。
- 通過云消息隊(duì)列 Kafka 版和實(shí)時(shí)計(jì)算Flink實(shí)現(xiàn)事件觸發(fā)。
部署架構(gòu)圖
選用的產(chǎn)品
- 云消息隊(duì)列 Kafka 版
云消息隊(duì)列 Kafka 版是阿里云基于Apache Kafka構(gòu)建的高吞吐量、高可擴(kuò)展性的分布式消息隊(duì)列服務(wù)，廣泛用于日志收集、監(jiān)控?cái)?shù)據(jù)聚合、流式數(shù)據(jù)處理、在線和離線分析等，是大數(shù)據(jù)生態(tài)中不可或缺的產(chǎn)品之一，阿里云提供全托管服務(wù)，免部署、免運(yùn)維，更專業(yè)、更可靠、更安全。
更多關(guān)于云消息隊(duì)列 Kafka 版的介紹，參見云消息隊(duì)列 Kafka 版產(chǎn)品詳情頁。
- 實(shí)時(shí)計(jì)算
實(shí)時(shí)計(jì)算（Alibaba Cloud Realtime Compute）是阿里云提供的基于Apache Flink構(gòu)建的企業(yè)級大數(shù)據(jù)計(jì)算平臺。在PB級別的數(shù)據(jù)集上可以支持亞秒級別的處理延時(shí)，賦能用戶標(biāo)準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理流程和行業(yè)解決方案；支持Datastream API作業(yè)開發(fā)，提供了批流統(tǒng)一的Flink SQL，簡化BI場景下的開發(fā)；可與用戶已使用的大數(shù)據(jù)組件無縫對接，更多增值特性助力企業(yè)實(shí)時(shí)化轉(zhuǎn)型。
更多關(guān)于實(shí)時(shí)計(jì)算的介紹，參見實(shí)時(shí)計(jì)算產(chǎn)品詳情頁。
- DataV數(shù)據(jù)可視化
DataV旨在讓更多的人看到數(shù)據(jù)可視化的魅力，幫助非專業(yè)的工程師通過圖形化的界面輕松搭建專業(yè)水準(zhǔn)的可視化應(yīng)用，滿足您會議展覽、業(yè)務(wù)監(jiān)控、風(fēng)險(xiǎn)預(yù)警、地理信息分析等多種業(yè)務(wù)的展示需求。
更多關(guān)于阿里云DataV數(shù)據(jù)可視化的介紹，參見DataV數(shù)據(jù)可視化產(chǎn)品詳情頁。
- 專有網(wǎng)絡(luò)VPC
專有網(wǎng)絡(luò)VPC幫助您基于阿里云構(gòu)建出一個(gè)隔離的網(wǎng)絡(luò)環(huán)境，并可以自定義IP地址范圍、網(wǎng)段、路由表和網(wǎng)關(guān)等；此外，也可以通過專線、VPN、GRE等連接方式實(shí)現(xiàn)云上VPC與傳統(tǒng)IDC的互聯(lián)，構(gòu)建混合云業(yè)務(wù)。
更多關(guān)于專有網(wǎng)絡(luò)VPC的介紹，參見專有網(wǎng)絡(luò)VPC產(chǎn)品詳情頁。
- 云數(shù)據(jù)庫RDS
阿里云關(guān)系型數(shù)據(jù)庫RDS（Relational Database Service）是一種穩(wěn)定可靠、可彈性伸縮的在線數(shù)據(jù)庫服務(wù)。基于阿里云分布式文件系統(tǒng)和SSD盤高性能存儲，RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎，并且提供了容災(zāi)、備份、恢復(fù)、監(jiān)控、遷移等方面的全套解決方案，徹底解決數(shù)據(jù)庫運(yùn)維的煩惱。
更多關(guān)于云數(shù)據(jù)庫RDS的介紹，參見云數(shù)據(jù)庫RDS產(chǎn)品文檔。
- 分析型數(shù)據(jù)庫MySQL版
分析型數(shù)據(jù)庫MySQL版（AnalyticDB for MySQL）是一種高并發(fā)低延時(shí)的PB級實(shí)時(shí)數(shù)據(jù)倉庫，兼容MySQL協(xié)議以及SQL:2003語法標(biāo)準(zhǔn)，可以毫秒級針對萬億級數(shù)據(jù)進(jìn)行即時(shí)的多維分析透視和業(yè)務(wù)探索。
更多關(guān)于分析型數(shù)據(jù)庫MySQL版的介紹，參見分析型數(shù)據(jù)庫MySQL版產(chǎn)品詳情頁。
- 對象存儲OSS
阿里云對象存儲OSS（Object Storage Service），是阿里云提供的海量、安全、低成本、高可靠的云存儲服務(wù)。
更多關(guān)于對象存儲OSS的介紹，參見對象存儲OSS產(chǎn)品詳情頁。