通過物聯網平臺云產品流轉功能將設備數據流轉到數據總線DataHub后,用戶可以編寫應用程序或者使用流計算引擎來處理寫入到數據總線DataHub的流式數據(例如再流轉至實時計算、MaxCompute等服務中),產出各種實時的數據處理結果,例如實時圖表、報警信息、實時統計等。本文介紹將數據流轉到數據目的地的完整流程。
工作原理
云產品流轉將設備的Topic消息轉發到DataHub Project中的Topic,使用DataHub服務進行清洗、分析、歸檔數據等操作。詳細內容,請參見數據總線DataHub。
在上圖中:
應用場景
將物聯網平臺數據寫入DataHub進行統一管理:
可投遞到下游的分析、歸檔等系統,構建清晰的數據流,讓您更好地釋放數據的價值。
可結合實時計算,把多種數據源的異構數據實時清洗成統一的結構化數據,為進一步分析做準備。
可搭建原始數據層、實時明細層和實時匯總層,打造實時數據倉庫。
詳細說明,請參見DataHub的應用場景。
使用限制
物聯網平臺實例及所在地域支持將數據轉發到DataHub。支持的地域詳細信息,請參見各地域功能說明。
目前,新版和舊版云產品流轉功能均支持將數據流轉到DataHub。新版云產品流轉使用示例,請參見數據轉發到DataHub(新版)。
云網關產品和設備,及MQTT型實例下產品和設備,不支持使用云產品流轉(舊版)功能。如果流轉對應產品和設備的數據,需要使用云產品流轉(新版)功能。具體內容,請參見云產品流轉(新版)。
物聯網平臺實例下設備消息轉發的更多使用限制,請參見使用限制。
前提條件
配置數據轉發目的
登錄物聯網平臺控制臺。
在實例概覽頁簽的全部環境下,找到對應的實例,單擊實例卡片。
在左側導航欄,選擇 。
單擊規則對應的查看,進入數據流轉規則頁面。
重要若當前頁面為云產品流轉新版頁面,需先單擊右上角返回舊版,再單擊目標規則對應的查看。
單擊轉發數據一欄對應的添加操作。
在添加操作對話框中,按照界面提示,設置參數,單擊確認。
參數
說明
選擇操作
選擇發送數據到DataHub中。
地域
選擇DataHub所在地域。
Project
選擇DataHub Project。
您可以單擊創建Project,跳轉到DataHub控制臺,創建DataHub Project,請參見Project操作。
Topic
選擇接收數據的DataHub Topic。
選擇Topic后,規則引擎會自動獲取Topic中的Schema,規則引擎篩選出來的數據將會映射到對應的Schema中。
說明將數據映射到Schema時,需使用
${}
,否則存入表中的將會是一個常量。Schema與規則引擎的數據類型必須保持一致,否則無法存儲。
您可以單擊創建Topic,跳轉到DataHub控制臺,創建DataHub Topic。
角色
授權物聯網平臺將數據寫入DataHub。
如您還未創建相關角色,單擊創建RAM角色,跳轉到RAM控制臺,創建角色和授權策略,請參見創建RAM角色。
回到云產品流轉頁,單擊規則對應的啟動按鈕啟動規則。
操作樣例
后續操作
您可在物聯網平臺控制臺對應實例下云端運行日志。
頁面的云端運行日志頁簽,查看設備到云消息及云產品流轉的運行日志。具體操作,請參見您可登錄DataHub服務控制臺,查看寫入DataHub的數據。具體內容,請參見快速入門。
您可將對應Topic中的數據
實時/準實時
的同步到第三方阿里云產品中,打通阿里云產品間的數據流通。目前支持MaxCompute(原ODPS)、分析型數據庫MySQL(ADS)、云數據庫RDS、表格存儲TableStore、對象存儲OSS、ElasticSearch以及函數計算服務等。詳細內容,請參見數據同步。
相關文檔
設備接入物聯網平臺上報數據的操作指導,請參見設備接入引導。
您可在實例詳情頁面,查看消息轉發TPS可用資源,確保設備消息能正常轉發到DataHub中。具體操作,請參見查看實例信息和運行數據。如果可用資源不足,可進行升配。具體內容,請參見升配。
使用DataHub的常見問題,請參見DataHub常見問題歸類。