直播功能開發(fā)

直播視頻支持H264/H265，音頻支持G711A/AAC_LC。采用RTMP云轉(zhuǎn)+P2P混合方式，在保證直播穩(wěn)定性的同時(shí)降低成本。

開發(fā)直播功能時(shí)，您需要配置的物模型如下。

• 視頻播放

  Link Visual App SDK提供直播播放器，集成請參見Android Link Visual App SDK和iOS Link Visual App SDK。

• P2P支持

  P2P支持需要同時(shí)接入Link Visual Device SDK和Link Visual App SDK。播放時(shí)會(huì)盡可能的嘗試P2P連接，以減小成本開銷。后臺(tái)會(huì)對P2P的成功率進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)P2P成功率出現(xiàn)異常會(huì)通知開發(fā)者檢查原因，若不修復(fù)有可能拒絕服務(wù)。

  App端P2P依賴生活物聯(lián)網(wǎng)平臺(tái)的長連接通道，需要App初始化長連接通道SDK，并完成長連接通道與賬號綁定。請參見Android長連接SDK和iOS長連接SDK。

  • 確認(rèn)設(shè)備端P2P是否集成成功

    設(shè)備端SDK集成完畢后，確保云智能App（開發(fā)版）和IPC設(shè)備連在同一個(gè)WiFi下，將云智能App（開發(fā)版）的測試信息開關(guān)打開后，進(jìn)入直播頁面，左上角RELAY代表RTMP云轉(zhuǎn)，LOCAL代表P2P直連（局域網(wǎng)直連），SRFLX代表P2P穿透（公網(wǎng)穿透）。

    
  • 確認(rèn)自有App P2P是否集成成功

    在首幀后5S，調(diào)用播放器的播放功能，獲取播放器當(dāng)前流的連接類型接口，來獲取當(dāng)前流類型。如RELAY代表RTMP云轉(zhuǎn)；LOCAL代表P2P直連；SRFLX代表P2P穿透。

• 視頻加密

  為保證視頻數(shù)據(jù)安全，SDK支持對音視頻幀的加密，推薦App端開啟全鏈路加密。App端可調(diào)用物模型API（Android/iOS）設(shè)置物模型屬性（EncryptSwitch）開啟或關(guān)閉加密。

• 清晰度切換

  App端可通過調(diào)用物模型API（Android/iOS）查詢主輔碼流清晰度物模型屬性（StreamVideoQuality/SubStreamVideoQuality）用于UI上展示當(dāng)前播放碼流清晰度，App端設(shè)置該物模型屬性來改變碼流清晰度，設(shè)備收到物模型屬性設(shè)置后，切換碼流清晰度重新推流，播放器SDK已支持碼流自適應(yīng)。

• 截圖和錄屏

  播放器SDK提供了截圖和錄屏接口，詳細(xì)參見Android Link Visual App SDK和iOS Link Visual App SDK。

• 減少首幀延遲（強(qiáng)制I幀）

  在有新的播放端觀看時(shí)，會(huì)要求設(shè)備立即編碼I幀，從而減少直播首幀延遲。參考設(shè)備端和App的文檔響應(yīng)和發(fā)起強(qiáng)制I幀。

云存錄像功能開發(fā)

云存錄像的使用需要為用戶開通云存空間，詳細(xì)參見LinkVisual視頻云存儲(chǔ)購買服務(wù)。

• 介紹
  云存錄像來源有以下三種。

  • 計(jì)劃錄像

    攝像頭會(huì)在指定時(shí)間錄像到云端保存。

  • 事件聯(lián)動(dòng)錄像

    在指定時(shí)間段內(nèi)，當(dāng)攝像頭觸發(fā)報(bào)警時(shí)，攝像頭將上傳到云端保存。

  • 主動(dòng)錄像

    App調(diào)用對應(yīng)接口，可以讓設(shè)備推送指定時(shí)長的錄像到云端。

• 計(jì)劃開發(fā)

  當(dāng)前主要有兩種方式：1.配置云端錄像計(jì)劃，配置攝像頭報(bào)警通知時(shí)段（不推薦，會(huì)增加用戶理解成本）；2.使用默認(rèn)云端錄像配置計(jì)劃，配置攝像頭報(bào)警通知時(shí)段。當(dāng)前云端錄像配置的默認(rèn)計(jì)劃為7x24小時(shí)。如下是配置云端錄像計(jì)劃的方式（根據(jù)產(chǎn)品的云端錄像類型選擇進(jìn)行實(shí)現(xiàn)）。

  • 配置錄像計(jì)劃

    為設(shè)備配置錄像計(jì)劃的一般步驟為：

    1. 創(chuàng)建錄像計(jì)劃，得到planId
    2. 將planId與設(shè)備iotId綁定

    如配置/更新/解綁/刪除/查詢等，查看Link Visual視頻服務(wù)。

  • 配置事件聯(lián)動(dòng)錄像計(jì)劃

    為設(shè)備配置錄像計(jì)劃的一般步驟為：

    1. 創(chuàng)建事件聯(lián)動(dòng)錄像計(jì)劃，得到planId
    2. 將planId與設(shè)備iotId綁定

    更多接口如配置/更新/解綁/刪除/查詢等，查看Link Visual視頻服務(wù)。

• 獲取云存錄像播放地址

  有幾種途徑獲取云存錄像播放地址：

  • 根據(jù)時(shí)間范圍查詢云存的錄像列表， 按文件名獲取云存錄像點(diǎn)播地址。
  • 根據(jù)時(shí)間范圍獲取事件列表，依據(jù)事件關(guān)聯(lián)錄像文件名獲取事件聯(lián)動(dòng)云存錄像點(diǎn)播地址。
• 播放云存錄像

  云存錄像使用HLS作為流媒體播放協(xié)議。

  • Android Link Visual App SDK提供基于ExoPlayer封裝的ExoHlsPlayer用于HLS流播放。
  • iOS SDK提供基于AVFoundation封裝的IMSLinkVisualHLSPlayer用于HLS流播放。
• 云存錄像下載

  支持云存錄像下載后播放，查看Link Visual視頻服務(wù)。

• 視頻加密

  云存錄像默認(rèn)開啟AES-128加密。

設(shè)備錄像點(diǎn)播功能開發(fā)

一般IPC設(shè)備會(huì)配備獨(dú)立的大容量存儲(chǔ)介質(zhì)，用于不間斷記錄攝像頭捕捉的視頻內(nèi)容，這部分錄像不適合上云，因此在后期對錄像做回溯時(shí)需要用到設(shè)備錄像點(diǎn)播功能。

開發(fā)設(shè)備錄像點(diǎn)播功能時(shí)，您需要配置的物模型如下。

• 按單個(gè)文件方式點(diǎn)播

  實(shí)現(xiàn)對設(shè)備本地單個(gè)錄像文件的點(diǎn)播回放功能，分為以下幾步。

  1. App端調(diào)用物模型服務(wù)（QueryRecordList）獲取某個(gè)時(shí)間段的設(shè)備端錄像文件列表。
  2. 設(shè)備端響應(yīng)物模型服務(wù)（QueryRecordList），查詢完畢并將結(jié)果返回給App展示。
  3. 用戶選中列表的某一文件播放，App端調(diào)用API接口（按文件名獲取播放）來播放錄像。
  說明

  • 物模型服務(wù)（QueryRecordList）返回結(jié)果有大小限制，App端查詢設(shè)備端錄像文件列表時(shí)需要做分頁查詢，每頁建議10條數(shù)據(jù)。
  • 設(shè)備端響應(yīng)物模型服務(wù)（QueryRecordList）必須在3S內(nèi)查詢完畢，否則會(huì)觸發(fā)超時(shí)導(dǎo)致查詢失敗。
  • 按單個(gè)文件方式點(diǎn)播模式下，獲取播放文件長度為該文件的實(shí)際長度。
  • 按單個(gè)文件方式點(diǎn)播模式下，如果播放到文件末尾，則設(shè)備端顯式發(fā)出推流結(jié)束指令告知App播放完畢，但不斷開連接允許再次seek。
  • 按單個(gè)文件方式點(diǎn)播模式下，seek命令，App發(fā)送相對于文件開始的相對時(shí)間偏移，單位秒。
• 按時(shí)間段方式點(diǎn)播

  有些設(shè)備存儲(chǔ)在本地的錄像文件是按固定時(shí)間拆分的單個(gè)小文件。例如1分鐘一個(gè)文件，拉取一天的錄像列表會(huì)非常大，并且單個(gè)文件的請求播放實(shí)現(xiàn)上很不友好。對于這種存儲(chǔ)方式，按照單個(gè)文件點(diǎn)播方式并不適用，因此提供了按時(shí)間段方式點(diǎn)播，設(shè)備端SDK會(huì)對時(shí)間相鄰的小文件做合并，將起止時(shí)間段內(nèi)的部分作為一個(gè)大文件播放，同時(shí)允許播放中起止時(shí)間段內(nèi)任意位置可seek，實(shí)現(xiàn)分為以下幾步。

  1. App調(diào)用物模型服務(wù)（QueryRecordTimeList）獲取某個(gè)時(shí)間區(qū)間（一般為1天）內(nèi)哪些時(shí)間段有錄像。
  2. 設(shè)備端響應(yīng)物模型服務(wù)（QueryRecordTimeList），查詢完畢將結(jié)果返回給App展示。
  3. App調(diào)用API接口（按時(shí)間請求本地錄像播放）來播放錄像，默認(rèn)連接建立后從時(shí)間區(qū)間的第一個(gè)時(shí)間段開頭開始播放，如需要做偏移，可在發(fā)起請求時(shí)指定seekTime來做初始偏移。
  說明

  • 物模型服務(wù)（QueryRecordTimeList）返回結(jié)果有大小限制，App端查詢設(shè)備端錄像文件列表時(shí)需要做分頁查詢，每頁建議10條數(shù)據(jù)。
  • 設(shè)備端響應(yīng)物模型服務(wù)（QueryRecordTimeList）必須在3S內(nèi)查詢完畢，否則會(huì)觸發(fā)超時(shí)導(dǎo)致查詢失敗。
  • 按時(shí)間段方式點(diǎn)播模式下，設(shè)備端默認(rèn)開啟連續(xù)播放，即一段錄像文件播放完畢后，自動(dòng)開始下個(gè)文件的推流。若App端需要實(shí)現(xiàn)非連續(xù)播放的時(shí)間軸設(shè)備錄像效果，推薦使用單個(gè)文件方式點(diǎn)播模式來實(shí)現(xiàn)。
  • 按時(shí)間段方式點(diǎn)播模式下，若seek指令下發(fā)的時(shí)間偏移量上無視頻內(nèi)容，則設(shè)備端SDK默認(rèn)實(shí)現(xiàn)向后尋找到接下來最近的視頻內(nèi)容起始點(diǎn)開始推流。
  • 按時(shí)間段方式點(diǎn)播模式下，如果APP下發(fā)seek時(shí)間后無錄像，設(shè)備端顯式發(fā)出推流結(jié)束指令告知App播放完畢，但不斷開連接允許再次seek。
  • 按時(shí)間段方式點(diǎn)播模式下，獲取播放文件長度為發(fā)起播放請求時(shí)的起止時(shí)間端（endTime-beginTime）的時(shí)長。
  • 按時(shí)間段方式點(diǎn)播模式下，seek命令，APP發(fā)送相對于BeginTime的相對時(shí)間偏移，單位秒。
  
• 設(shè)備推流

  與直播類似，設(shè)備推流速率應(yīng)不小于內(nèi)容原始生成速率，建議略快于內(nèi)容原始生成速率，1.1倍左右。當(dāng)播放端接收緩存水位超過75%時(shí)會(huì)通知設(shè)備暫停推流，直到播放端緩存水位低至25%時(shí)重新通知設(shè)備繼續(xù)推流，因此設(shè)備應(yīng)響應(yīng)暫停/恢復(fù)指令。除此之外設(shè)備還需要響應(yīng)文件seek操作，為了較精確的響應(yīng)seek位置，錄像文件GOP不宜設(shè)置過大。

• 倍速播放

  暫時(shí)還未支持

• 點(diǎn)播播放器

  較于直播播放器點(diǎn)播播放器增加暫停/恢復(fù)、跳至指定位置播放、獲取總時(shí)長、獲取當(dāng)前時(shí)長接口，請參見Link Visual視頻服務(wù)。

語音對講功能開發(fā)

提供App和IPC設(shè)備之間端到端的實(shí)時(shí)音頻傳輸能力。支持音頻格式包括：G711a/G711u/AAC_LC/PCM。

對講由App端發(fā)起，由設(shè)備端響應(yīng)，集成過程詳見Link Visual視頻服務(wù)和LinkVisual視頻設(shè)備開發(fā)概覽。

開發(fā)語音對講功能時(shí)，您需要配置的物模型如下。

• 對講模式

  對講模式	設(shè)備端	App	依賴
  雙向?qū)崟r(shí)對講	實(shí)時(shí)收發(fā)音頻	實(shí)時(shí)收發(fā)音頻	設(shè)備需要MIC和Speaker，設(shè)備和App均需要支持回聲消除
  單向?qū)崟r(shí)對講	實(shí)時(shí)收音頻	實(shí)時(shí)發(fā)送音頻	設(shè)備需要Speaker

• 鏈路加密

  為確保數(shù)據(jù)安全，默認(rèn)啟用AES-128全幀加密。

事件上報(bào)功能開發(fā)

提供設(shè)備事件上報(bào)的能力，用于偵測報(bào)警及故障上報(bào)等功能。服務(wù)端處理事件最小時(shí)間間隔為10秒，過頻的事件上報(bào)不會(huì)被處理。

開發(fā)事件上報(bào)功能時(shí)，您需要配置的物模型如下。

抓圖功能開發(fā)

開發(fā)抓圖功能時(shí)，您需要配置的物模型如下。

• 主動(dòng)抓圖

  由App端主動(dòng)通知設(shè)備抓圖，流程如下。

  1. App調(diào)用Link Visual API（主動(dòng)抓圖）通知設(shè)備抓圖。
  2. 設(shè)備響應(yīng)物模型服務(wù)（TriggerPicCapture）調(diào)用，觸發(fā)抓圖，并將圖片通過HTTP POST方式上傳至給定URL。
• 事件關(guān)聯(lián)抓圖

  由設(shè)備主動(dòng)上報(bào)報(bào)警事件，并聯(lián)動(dòng)觸發(fā)抓圖，流程如下。

  1. 設(shè)備偵測到報(bào)警，抓取圖片，生成圖片ID，上報(bào)該報(bào)警事件
  2. 服務(wù)端接收報(bào)警事件，并觸發(fā)設(shè)備物模型服務(wù)（TriggerPicCapture）
  3. 設(shè)備響應(yīng)物模型服務(wù)（TriggerPicCapture）調(diào)用，將已抓取的對應(yīng)圖片ID圖片通過HTTP POST方式上傳至給定URL。
• App對圖片的展示和管理

  App調(diào)用Link Visual API中圖片相關(guān)接口來展示和管理圖片。

  • 根據(jù)時(shí)間查詢圖片列表

    獲取指定時(shí)間范圍內(nèi)所有圖片縮略圖和大圖地址

  • 根據(jù)圖片ID查詢圖片地址

    圖片ID可以從事件列表中獲取，用于展示報(bào)警事件相關(guān)的圖片

  • 批量刪除圖片

    根據(jù)圖片ID列表刪除指定圖片，單次不超過100張

其他功能開發(fā)

• 設(shè)備PTZ控制

  開發(fā)PTZ控制功能時(shí)，您需要配置的物模型如下。

  標(biāo)識符	功能類型	功能名稱	描述	控制臺(tái)勾選	開發(fā)指南
  PTZActionControl	服務(wù)	PTZ步進(jìn)控制	App發(fā)起并由設(shè)備響應(yīng)該服務(wù)，觸發(fā)	是	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型
  PTZCalibrate	服務(wù)	PTZ校準(zhǔn)	App發(fā)起并由設(shè)備響應(yīng)該服務(wù)，觸發(fā)設(shè)備做PTZ校準(zhǔn)操作	按需	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型

  建議App端按1秒4次的頻率調(diào)用物模型服務(wù)（PTZActionControl）向設(shè)備發(fā)送控制脈沖。設(shè)備需保證物模型服務(wù)響應(yīng)即使處理不出現(xiàn)積累，允許忽略同方向上來不急處理的物模型服務(wù)調(diào)用。

• 設(shè)備屬性

  我們提供了攝像頭品類的標(biāo)準(zhǔn)物模型，其中需要配置的功能定義如下。

  標(biāo)識符	功能類型	功能名稱	描述	控制臺(tái)勾選	開發(fā)指南
  DayNightMode	屬性	日夜模式	App設(shè)置和獲取設(shè)備當(dāng)前的日夜模式，設(shè)備在狀態(tài)變更時(shí)及開機(jī)時(shí)主動(dòng)上報(bào)	按需	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型
  ImageFlipState	屬性	畫面翻轉(zhuǎn)狀態(tài)	App設(shè)置和獲取設(shè)備當(dāng)前畫面翻轉(zhuǎn)狀態(tài)，設(shè)備在狀態(tài)變更及開機(jī)時(shí)主動(dòng)上報(bào)	按需	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型
  MicSwitch	屬性	麥克風(fēng)開關(guān)	App設(shè)置和獲取設(shè)備當(dāng)前麥克風(fēng)開關(guān)狀態(tài)，設(shè)備在狀態(tài)變更及開機(jī)時(shí)主動(dòng)上報(bào)	按需	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型
  StatusLightSwitch	屬性	狀態(tài)燈開關(guān)	App設(shè)置和獲取設(shè)備當(dāng)前狀態(tài)燈開關(guān)狀態(tài)，設(shè)備在狀態(tài)變更及開機(jī)時(shí)主動(dòng)上報(bào)	按需	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型
  IpcVersion	屬性	攝像機(jī)版本號	App獲取設(shè)備當(dāng)前版本號信息，設(shè)備在開機(jī)時(shí)主動(dòng)上報(bào)	是	App和設(shè)備開發(fā)者需要關(guān)注并處理該物模型

  若標(biāo)準(zhǔn)物模型無法滿足需求的，可以通過自定義功能自行拓展。例如新增物模型服務(wù)（Reboot）來實(shí)現(xiàn)設(shè)備重啟功能。

• 云存套餐

  云存錄像使用需要為用戶開通云存套餐，廠商云端調(diào)用Link Visual視頻云存儲(chǔ)購買服務(wù)的流程和API請參考LinkVisual視頻云存儲(chǔ)購買服務(wù)。

  同時(shí)我們?yōu)槊總€(gè)設(shè)備免費(fèi)贈(zèng)送7天事件云存空間套餐，從領(lǐng)取開始持續(xù)3個(gè)月時(shí)間，每個(gè)設(shè)備僅可開通一次。App端領(lǐng)取和查詢，詳細(xì)參見Link Visual視頻服務(wù)（領(lǐng)取云存套餐/ 查詢云存套餐詳情）。

• 消息推送

  用于通過App主動(dòng)向用戶推送諸如移動(dòng)偵測報(bào)警、設(shè)備關(guān)鍵狀態(tài)等消息。詳細(xì)參見移動(dòng)應(yīng)用推送開發(fā)指南。

• 配網(wǎng)

  詳細(xì)參見配置App配網(wǎng)方案和引導(dǎo)文案。

• OTA

  詳細(xì)參見固件升級。