本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
物聯網平臺提供云產品數據源配置功能,導入其他阿里云產品數據到物聯網平臺,稱為云產品數據。您可將其他阿里云平臺的數據同步至物聯網平臺的數據服務中,用于數據的加工處理和分析。本文介紹如何添加、刪除云產品數據源,及開啟數據源同步。
前提條件
已購買物聯網平臺的企業版實例,具體操作,請參見購買企業版實例。
計費說明
從云產品數據源同步數據到物聯網平臺,會消耗數據處理單元(CU)。具體內容,請參見數據服務計費說明。
使用限制
目前僅支持將OSS Bucket中文件同步到物聯網平臺的數據服務中。
OSS Bucket下單個文件不超過1 GB,且每天的文件需保存在以日期命名的文件夾下。
日期格式分為:
天:
YYYYMMDD
,例如:20230302
。小時:
YYYYMMDDHH
,例如2023030213
。
新建云產品數據源
在物聯網平臺控制臺的實例概覽頁面,單擊目標企業版實例ID或備注名稱。
在左側導航欄,選擇數據服務 > 數據接入,單擊云產品頁簽。
在云產品頁簽,單擊新建云產品數據源。
在右側面板,按照以下步驟,完成云產品數據源配置。
基本信息
在基本信息向導頁面,配置以下參數。
參數
描述
名稱
輸入云產品數據源名稱。支持中文、英文字母、數字、英文句號(.)、下劃線(_)、英文括號(()),長度不能超過32個字符。
描述
輸入云產品數據源說明。
云產品類型
僅支持選擇OSS。
Bucket
選擇OSS存儲空間(Bucket)。
在OSS中創建存儲空間(Bucket)的具體操作,請參見創建存儲空間。
重要配置Bucket列表前,需單擊角色未創建右側的創建,先在您的阿里云賬號中創建一個服務關聯角色,用于授權物聯網平臺的數據服務訪問并同步您OSS存儲空間的數據。
服務關聯角色說明,請參見云產品數據接入服務關聯角色。
父目錄
輸入Bucket下文件所屬父目錄名稱。
文件目錄管理,請參見管理目錄。
單擊下一步。
字段映射
在字段映射向導頁面,配置數據源的數據格式。
參數
描述
數據格式
可選:
JSON:使用JSON格式。
ProtoBuf:使用ProtoBuf格式。
CSV:使用CSV文件格式。
自定義:使用自定義腳本解析數據格式。
行分隔符
可選:系統默認分隔符、逗號、豎線、空格、制表符、自定義。
選擇系統默認分隔符時,會自動匹配使用當前系統的分隔符。
選擇自定義時,需輸入一個可見字符。
說明數據格式為JSON時,行分隔符不支持設置為逗號。
數據格式為ProtoBuf時,使用協議特殊的數據換行方式,在寫出數據到文件時需要使用
writeDelimitedTo
(java)或delimited_message_util.h
(C++)的方式,不支持自定義的行分隔符。數據格式為CSV時,行分隔符默認為系統默認分隔符,且不可修改。
列分隔符
僅數據格式為CSV時,需要配置列分隔符。
可選:逗號、豎線、空格、制表符、自定義。
單擊點擊配置,在字段映射對話框,完成數據源中字段映射配置。
根據數據格式,配置格式解析的樣例數據。
數據格式
操作
JSON
在樣例數據框中,直接配置JSON格式的樣例數據。僅支持輸入單行數據。
重要不支持輸入數組格式的數據。
ProtoBuf
單擊上傳.desc文件,上傳.desc文件,用于解析ProtoBuf格式數據。
生成.desc文件方法,請參見附錄:生成.desc文件。
選擇消息類型后,單擊上傳二進制數據文件,配置樣例數據。
重要不支持輸入數組格式的數據。
CSV
在樣例數據框中,直接配置樣例數據。
樣例數據需要輸入列名稱,且僅可輸入一行數據。例如列分隔符為逗號的樣例數據:
productKey,deviceName,time,temperature,humidity g9rp0*****,device1,20230102,23,30
自定義
選擇腳本語言,然后在編輯腳本下的輸入框中輸入腳本。
支持選擇的腳本語言:JavaScript(ECMAScript 5),定義函數名為
parse_line
。腳本模板和示例,請參見編寫自定義腳本。
在模擬輸入頁簽,根據行分隔符,輸入模擬的設備上報數據。
執行以下步驟,完成數據解析校驗。
如果數據格式為JSON、ProtoBuf或CSV,單擊校驗解析:
若解析成功,可在數據存儲類型下方中查看解析的字段信息。
若解析失敗,則根據提示,修正樣例數據后,重新校驗。
如果數據格式為自定義:單擊執行:
若執行成功,在運行結果頁簽顯示解析后的數據。
若執行失敗,根據提示,修改腳本后。重新執行進行校驗。
在解析的字段列表,設置字段顯示名和主鍵。
字段顯示名支持中文、英文、數字、下劃線(_)、短劃線(-)、英文括號(()),長度不超過30個字符。
單擊確認。
單擊下一步。
同步周期
選擇同步周期的單位:小時、天。
選擇最早同步時間。
單擊完成。
新建云產品數據源成功后:
在數據接入>云產品頁簽下,對應添加云產品數據源同步任務,同步狀態默認為已停止。您需手動開啟云產品數據源同步,具體操作,請參見開啟云產品數據源同步。
在數據存儲>冷數據存儲>自定義存儲表頁簽下,以云產品數據源名稱為表名稱,新建對應存儲表。
開啟云產品數據源同步
執行以下步驟,開啟數據同步,云產品數據即可接入數據服務。
在云產品頁簽,找到已添加的云產品數據源同步任務。
單擊對應同步狀態列的已停止開關。
開啟成功后,云產品數據源同步任務的同步狀態為同步中。后續系統會按照同步周期運行同步任務,將云產品數據同步到物聯網平臺數據服務的自定義存儲表。
可選操作
編輯云產品數據源配置
在云產品頁簽,找到已添加的云產品數據源。
單擊對應操作列的編輯。
在編輯云產品數據源面板,參考上文修改相關配置。
基本信息的云產品類型和字段映射的已創建的自定義存儲表,不可編輯,其他參數都可修改。
刪除云產品數據源
云產品數據源的同步狀態為已停止時,可刪除該云產品數據源。
刪除后,不再繼續同步數據。請謹慎操作。
在云產品頁簽,找到已添加的云產品數據源。
單擊對應操作列的刪除。
單擊確認。