本地雙錄 SDK 功能

本地雙錄 SDK 在錄制視頻流時(shí)，根據(jù)預(yù)設(shè)的檢測(cè)規(guī)則，調(diào)用相應(yīng)的檢測(cè)模型，并根據(jù)檢測(cè)模型返回的結(jié)果，統(tǒng)一對(duì)視頻進(jìn)行處理；并將處理后的視頻及檢測(cè)結(jié)果返回給雙錄 App。

本地雙錄質(zhì)檢特點(diǎn)

本地雙錄質(zhì)檢功能具有如下特點(diǎn)：

• 多角色同框面部檢測(cè)和跟蹤：對(duì)現(xiàn)場(chǎng)多角色進(jìn)行實(shí)時(shí)面部識(shí)別、檢測(cè)和跟蹤。

• 視頻檢測(cè)防欺詐：識(shí)別視頻中的欺詐行為。

• 圖片信息識(shí)別：識(shí)別身份證號(hào)碼、姓名、有效期等信息。

• 用戶回答檢測(cè)：離線識(shí)別用戶的回答內(nèi)容。

• 離線 AI 能力：支持在離線無(wú)網(wǎng)狀態(tài)下對(duì)本地雙錄進(jìn)行交互式檢測(cè)，擴(kuò)展展業(yè)場(chǎng)景。

本地雙錄 SDK 檢測(cè)能力

本地雙錄 SDK 提供如下檢測(cè)能力：

• 人臉檢測(cè)和信息采集

  檢測(cè)和采集視頻中的所有人臉及人臉信息。

  • 支持 4 張人臉信息采集。

  • 從輸入視頻流到返回視頻，SDK 的處理時(shí)間不超過(guò) 100ms，且檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

  • 支持動(dòng)態(tài)設(shè)置檢測(cè)頻率，比如每秒鐘 5 次。

• 人臉匹配和追蹤

  檢測(cè)視頻中的人臉信息與預(yù)設(shè)的人臉信息是否匹配，并持續(xù)追蹤該人臉。

  • 支持檢測(cè)和追蹤四組預(yù)置人臉（人臉圖像+角色名稱）信息。

  • 支持設(shè)置人臉匹配相識(shí)度。

  • 支持在視頻中把匹配到的人臉進(jìn)行標(biāo)記。

  • 提示人臉上線消息。當(dāng)?shù)谝淮卧谝曨l中檢測(cè)到預(yù)設(shè)的人臉圖像信息時(shí)，返回人臉上線消息。

  • 提示人臉離線消息。如果在指定的時(shí)間間隔內(nèi)檢測(cè)不到已標(biāo)記的人臉，返回人臉離線消息。

  • 支持動(dòng)態(tài)設(shè)置檢測(cè)頻率，比如每秒鐘 5 次。SDK 根據(jù)檢測(cè)頻率調(diào)用模型 SDK 進(jìn)行檢測(cè)并將結(jié)果返回給 App

  • 從輸入視頻流到返回視頻，SDK 的處理時(shí)間不超過(guò) 100ms，且檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

• 特定詞語(yǔ)識(shí)別

  檢測(cè)語(yǔ)音流中的特定激活詞，并返回該激活詞，檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

  • 預(yù)置識(shí)別 6 個(gè)激活詞。

  • 支持?jǐn)U展、修改和刪除激活詞。

• 活體檢測(cè)

  檢測(cè)視頻中的人臉是不是活體，以防用照片或視頻等進(jìn)行仿冒，檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

  檢測(cè)完成后，返回檢測(cè)結(jié)果和結(jié)果置信度。

• 翻屏動(dòng)作識(shí)別

  檢測(cè)視頻中是否存在手機(jī)屏幕上滑動(dòng)翻屏的動(dòng)作，檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

• 簽名動(dòng)作識(shí)別

  檢測(cè)視頻中是否存在手機(jī)或 iPad 中簽字的動(dòng)作，檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

遠(yuǎn)程雙錄質(zhì)檢特點(diǎn)

遠(yuǎn)程雙錄質(zhì)檢功能具有如下特點(diǎn)：

• 多角色分離：支持如保險(xiǎn)代理人、投保人等不同角色的人員進(jìn)行遠(yuǎn)程展業(yè)。

• 有網(wǎng)即可展業(yè)：只要有網(wǎng)絡(luò)即可遠(yuǎn)程展業(yè)。

• 針對(duì)角色的實(shí)時(shí)交互檢測(cè)：按照展業(yè)角色對(duì)會(huì)議各端分別設(shè)置檢測(cè)項(xiàng)目。

• 檢測(cè)結(jié)果多端同步：各端檢測(cè)結(jié)果實(shí)時(shí)同步，協(xié)同交互控制和流程驅(qū)動(dòng)。

• 云端視頻錄制：云端錄制各端視頻和合流視頻，無(wú)需本地錄制和上傳。

• 遠(yuǎn)程屏幕共享：支持更復(fù)雜的保險(xiǎn)代理業(yè)務(wù)操作和協(xié)同。

遠(yuǎn)程雙錄 SDK 能力

遠(yuǎn)程雙錄是將音視頻通話能力與雙錄質(zhì)檢服務(wù)相結(jié)合，當(dāng)對(duì)話的雙方身處異地時(shí)，不但可以在音視頻通話過(guò)程中進(jìn)行實(shí)時(shí)的通訊，還能同時(shí)進(jìn)行音頻視頻的錄制，并且結(jié)合了實(shí)時(shí)質(zhì)檢的能力。其主要能力單元分為音視頻通話、錄制服務(wù)與本地智能檢測(cè)能力。

• 音視頻通話

  遠(yuǎn)程雙錄 SDK 中的音視頻通話能力由螞蟻集團(tuán)移動(dòng)開(kāi)發(fā)平臺(tái)（mPaaS）團(tuán)隊(duì)提供，可實(shí)現(xiàn)一對(duì)一通話及多人會(huì)議。通話過(guò)程中支持屏幕錄制、屏幕共享、截圖等功能，同時(shí)支持即時(shí)文字消息和文件傳輸。關(guān)于音視頻通話的更多信息請(qǐng)參見(jiàn) 產(chǎn)品簡(jiǎn)介。

• 錄制服務(wù)

  遠(yuǎn)程雙錄 SDK 檢測(cè)能力中提供了音視頻錄制服務(wù)，可對(duì)遠(yuǎn)程音視頻通話全程錄音錄像，包括音視頻通話、截圖、語(yǔ)音播報(bào)、交互式白板、屏幕共享、交易操作過(guò)程、文字聊天內(nèi)容、簽字畫(huà)面等。對(duì)遠(yuǎn)程雙錄中的音視頻通話進(jìn)行錄制和存儲(chǔ)，是為了后續(xù)對(duì)業(yè)務(wù)辦理流程進(jìn)行回溯。

  錄制中支持設(shè)置主、備雙錄模式，滿足高可用的要求，從而保障雙錄的穩(wěn)定性。

• 檢測(cè)能力

  遠(yuǎn)程雙錄 SDK 中的檢測(cè)能力與本地雙錄中的檢測(cè)能力一致，詳細(xì)信息請(qǐng)參見(jiàn) 本地雙錄 SDK 檢測(cè)能力。

云端雙錄質(zhì)檢特點(diǎn)

云端雙錄質(zhì)檢功能具有如下特點(diǎn)：

• 多角色同框面部檢測(cè)和跟蹤：對(duì)現(xiàn)場(chǎng)多角色進(jìn)行實(shí)時(shí)面部識(shí)別、檢測(cè)和跟蹤。

• 視頻檢測(cè)防欺詐：識(shí)別視頻中的欺詐行為。

• 離線 AI 能力：支持對(duì)離線無(wú)網(wǎng)狀態(tài)下錄制的視頻進(jìn)行檢測(cè)。

云端雙錄檢測(cè)能力

• 人臉檢測(cè)和信息采集

  檢測(cè)和采集視頻中的所有人臉及人臉信息。

  • 支持 4 張人臉信息采集。

  • 從輸入視頻流到返回視頻，SDK 的處理時(shí)間不超過(guò) 100ms，且檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

  • 支持動(dòng)態(tài)設(shè)置檢測(cè)頻率，比如每秒鐘 5 次。

• 人臉匹配和追蹤

  檢測(cè)視頻中的人臉信息與預(yù)設(shè)的人臉信息是否匹配，并持續(xù)追蹤該人臉。

  • 支持檢測(cè)和追蹤四組預(yù)置人臉（人臉圖像+角色名稱）信息。

  • 支持設(shè)定檢測(cè)頻率。

  • 支持返回人臉上線和人臉離線的消息。

  • 支持通過(guò)檢測(cè)項(xiàng)動(dòng)態(tài)設(shè)置判斷人臉離線的時(shí)間間隔。

  • 支持通過(guò)檢測(cè)項(xiàng)動(dòng)態(tài)設(shè)置人臉追蹤的檢測(cè)頻率，比如每秒 2 次。

• 活體檢測(cè)

  檢測(cè)視頻中的人臉是不是活體，以防用照片或視頻等進(jìn)行仿冒，檢測(cè)耗時(shí)控制在 50ms 以內(nèi)。

  檢測(cè)完成后，返回檢測(cè)結(jié)果和結(jié)果置信度。