應(yīng)用場景
本文將以部門場景和技術(shù)領(lǐng)域場景為例，為您介紹實時計算Flink版的大數(shù)據(jù)是實時化場景。
更多場景案例請參見阿里云實時計算Flink版產(chǎn)品案例和解決方案匯總。
背景信息
作為流式計算引擎，F(xiàn)link可以廣泛應(yīng)用于實時數(shù)據(jù)處理領(lǐng)域，例如ECS在線服務(wù)日志，IoT場景下傳感器數(shù)據(jù)等。同時Flink還能訂閱云上數(shù)據(jù)庫RDS、PolarDB等關(guān)系型數(shù)據(jù)庫中Binlog的更新，并利用DataHub、SLS、Kafka等產(chǎn)品將實時數(shù)據(jù)收集到實時計算產(chǎn)品中進行分析和處理。最終，分析結(jié)果可寫入不同的數(shù)據(jù)服務(wù)中，例如MaxCompute、MaxCompute-Hologres交互式分析、人工智能平臺 PAI、Elasticsearch等，以提高數(shù)據(jù)利用率，滿足業(yè)務(wù)需求。
部門場景
從企業(yè)部門職能的角度，可以將實時計算Flink版劃分為以下場景：
業(yè)務(wù)部門：實時風(fēng)控、實時推薦、搜索引擎的實時索引構(gòu)建等。
數(shù)據(jù)部門：實時數(shù)倉、實時報表、實時大屏等。
運維部門：實時監(jiān)控、實時異常檢測和預(yù)警、全鏈路Debug等。
技術(shù)領(lǐng)域
從技術(shù)領(lǐng)域的角度，實時計算Flink版主要用于以下場景：
實時ETL和數(shù)據(jù)流
實時ETL和數(shù)據(jù)流的目的是實時地把數(shù)據(jù)從A點投遞到B點。在投遞的過程中可能添加數(shù)據(jù)清洗和集成的工作，例如實時構(gòu)建搜索系統(tǒng)的索引、實時數(shù)倉中的ETL過程等。
實時數(shù)據(jù)分析
數(shù)據(jù)分析指的是根據(jù)業(yè)務(wù)目標(biāo)，從原始數(shù)據(jù)中抽取對應(yīng)信息并整合的過程。例如，查看每天銷量前10的商品、倉庫平均周轉(zhuǎn)時間、文檔平均單擊率、推送打開率等。實時數(shù)據(jù)分析則是上述過程的實時化，通常在終端體現(xiàn)為實時報表或?qū)崟r大屏。
事件驅(qū)動應(yīng)用
事件驅(qū)動應(yīng)用是對一系列訂閱事件進行處理或作出響應(yīng)的系統(tǒng)。事件驅(qū)動應(yīng)用通常需要依賴內(nèi)部狀態(tài)，例如欺詐檢測、風(fēng)控系統(tǒng)、運維異常檢測系統(tǒng)等。當(dāng)用戶行為觸發(fā)某些風(fēng)險控制點時，系統(tǒng)會捕獲這個事件，并根據(jù)用戶當(dāng)前和之前的行為進行分析，決定是否對用戶進行風(fēng)險控制。
風(fēng)控監(jiān)測系統(tǒng)
實時計算Flink版可以處理復(fù)雜的流處理和批處理任務(wù)，也提供了強大的API，執(zhí)行復(fù)雜的數(shù)學(xué)計算并執(zhí)行復(fù)雜事件處理規(guī)則，幫助企業(yè)對實時數(shù)據(jù)進行實時分析，提高企業(yè)的風(fēng)控能力。例如檢測APP中的點擊行為、識別IoT數(shù)據(jù)流不規(guī)則變化等。
以上技術(shù)領(lǐng)域場景流程圖來自Apache Flink官網(wǎng)。