產(chǎn)品概述

數(shù)據(jù)總線 DataHub基本介紹

阿里云流數(shù)據(jù)處理平臺數(shù)據(jù)總線DataHub是流式數(shù)據(jù)（Streaming Data）的處理平臺，提供對流式數(shù)據(jù)的發(fā)布 (Publish)，訂閱 （Subscribe）和分發(fā)功能，讓您可以輕松構(gòu)建基于流式數(shù)據(jù)的分析和應(yīng)用。數(shù)據(jù)總線DataHub服務(wù)可以對各種移動設(shè)備，應(yīng)用軟件，網(wǎng)站服務(wù)，傳感器等產(chǎn)生的大量流式數(shù)據(jù)進行持續(xù)不斷的采集，存儲和處理。用戶可以編寫應(yīng)用程序或者使用流計算引擎來處理寫入到數(shù)據(jù)總線DataHub的流式數(shù)據(jù)比如實時Web訪問日志、應(yīng)用日志、各種事件等，并產(chǎn)出各種實時的數(shù)據(jù)處理結(jié)果比如實時圖表、報警信息、實時統(tǒng)計等。

數(shù)據(jù)總線DataHub服務(wù)基于阿里云自研的飛天平臺，具有高可用，低延遲，高可擴展，高吞吐的特點。數(shù)據(jù)總線DataHub與阿里云流計算引擎StreamCompute無縫連接，用戶可以輕松使用SQL進行流數(shù)據(jù)分析。

數(shù)據(jù)總線DataHub服務(wù)也提供分發(fā)流式數(shù)據(jù)到各種云產(chǎn)品的功能，目前支持分發(fā)到MaxCompute（原ODPS），OSS等。

系統(tǒng)整體功能圖

產(chǎn)品優(yōu)勢

高吞吐

最高支持單shard每日1.6億Record級別的寫入量。

實時性

通過數(shù)據(jù)總線DataHub ，您可以實時的收集各種方式生成的數(shù)據(jù)并進行實時的處理，對您的業(yè)務(wù)產(chǎn)生快速的響應(yīng)。

易用性

• 數(shù)據(jù)總線DataHub 提供豐富的SDK包，包括C++, JAVA, Pyhon, Go等語言。

• 數(shù)據(jù)總線 DataHub服務(wù)也提供Restful API規(guī)范，您可以用自己的方式實現(xiàn)訪問接口。

• 除了SDK以外，數(shù)據(jù)總線 DataHub 還提供一些常用的客戶端插件，包括：Fluentd，LogStash，F(xiàn)lume等。您可以使用這些客戶端工具往數(shù)據(jù)總線 DataHub 里面寫入流式數(shù)據(jù)。

• 數(shù)據(jù)總線 DataHub 同時支持強Schema的結(jié)構(gòu)化數(shù)據(jù)（創(chuàng)建Tuple類型的Topic）和無類型的非結(jié)構(gòu)化數(shù)據(jù)（創(chuàng)建Blob類型的Topic），您可以自由選擇。

高可用

• 服務(wù)可用性不低于99.9%。

• 規(guī)模自動擴展，不影響對外服務(wù)；數(shù)據(jù)持久性不低于99.999%。

• 數(shù)據(jù)自動多重冗余備份。

動態(tài)伸縮

每個主題（Topic）的數(shù)據(jù)流吞吐能力可以動態(tài)擴展和減少，最高可達到每主題256000 Records/s的吞吐量。

高安全性

• 提供企業(yè)級多層次安全防護，多用戶資源隔離機制；

• 提供多種鑒權(quán)和授權(quán)機制及白名單、主子賬號功能。

使用場景

數(shù)據(jù)總線 DataHub作為一個流式數(shù)據(jù)處理服務(wù)，結(jié)合阿里云眾多云產(chǎn)品，可以構(gòu)建一站式的數(shù)據(jù)處理服務(wù)。

流計算StreamCompute

StreamCompute是阿里云提供的流計算引擎，提供使用類SQL的語言來進行流式計算。數(shù)據(jù)總線 DataHub 和StreamCompute無縫結(jié)合，可以作為StreamCompute的數(shù)據(jù)源和輸出源，具體可參考實時計算文檔

流處理應(yīng)用

用戶可以編寫應(yīng)用訂閱數(shù)據(jù)總線 DataHub中的數(shù)據(jù)，并進行實時的加工，把加工后的結(jié)果輸出。用戶可以把應(yīng)用計算產(chǎn)生的結(jié)果輸出到數(shù)據(jù)總線 DataHub中，并使用另外一個應(yīng)用來處理上一個應(yīng)用生成的流式數(shù)據(jù)，來構(gòu)建數(shù)據(jù)處理流程的DAG。

流式數(shù)據(jù)歸檔

用戶的流式數(shù)據(jù)可以歸檔到 MaxCompute（原ODPS）中。用戶通過創(chuàng)建數(shù)據(jù)總線 DataHub Connector，指定相關(guān)配置，即可創(chuàng)建將數(shù)據(jù)總線 DataHub中流式數(shù)據(jù)定期歸檔的同步任務(wù)。