環(huán)境要求

• Xcode 16.0 及以上版本，推薦使用最新正式版本

• CocoaPods 1.9.3 及以上版本

• 準(zhǔn)備 iOS 10.0 及以上版本的真機(jī)

集成SDK

target '你的Target' do

  # 依賴(lài)實(shí)時(shí)音視頻能力，引入AliVCSDK_ARTC或AliVCSDK_Standard或AliVCSDK_InteractiveLive
  pod 'AliVCSDK_ARTC', '~> x.x.x'
  # 引入AICallKit SDK
  pod 'ARTCAICallKit', '~> 1.5.0'

  ...

end

工程配置

• 添加麥克風(fēng)與攝像頭權(quán)限，打開(kāi)工程info.Plist，添加NSMicrophoneUsageDescription和NSCameraUsageDescription權(quán)限。

• 打開(kāi)工程設(shè)置，在Signing & Capabilities中開(kāi)啟Background Modes，強(qiáng)烈推薦開(kāi)啟后臺(tái)模式，否則在進(jìn)入后臺(tái)后無(wú)法繼續(xù)通話(huà)，這時(shí)候在您的APP中需要調(diào)用結(jié)束通話(huà)接口。

SDK使用示例

// 引入SDK
import ARTCAICallKit

// 創(chuàng)建engine實(shí)例
var engine: ARTCAICallEngineInterface = {
    return ARTCAICallEngineFactory.createEngine()
}()

// 設(shè)置回調(diào)
self.engine.delegate = self

// 啟動(dòng)智能體后，開(kāi)始通話(huà)
let agentInfo = ARTCAICallAgentInfo(agentType: workflow_type, channelId: channel_id, uid: ai_agent_user_id, instanceId: agent_instance_id)
self.engine.call(userId: self.userId, token: rtc_auth_token, agentInfo: agentInfo) { [weak self] error in
    if let error = error {
        // 處理錯(cuò)誤
    }
    else {
        // 成功通話(huà)
    }
}

// 結(jié)束通話(huà)
self.engine.handup()

// 其他功能調(diào)用示例，請(qǐng)參考API說(shuō)明

// 回調(diào)處理（僅示例不分核心的回調(diào)操作）
public func onErrorOccurs(code: ARTCAICallErrorCode) {
    // 發(fā)生了錯(cuò)誤
    self.engine.handup()
}

public func onCallBegin() {
    // 通話(huà)開(kāi)始
}

public func onCallEnd() {
    // 通話(huà)結(jié)束
}

public func onAgentStateChanged(state: ARTCAICallAgentState) {
    // 智能體狀態(tài)改變
}

public func onUserSubtitleNotify(text: String, isSentenceEnd: Bool, sentenceId: Int) {
    // 用戶(hù)提問(wèn)被智能體識(shí)別結(jié)果的通知
}

public func onVoiceAgentSubtitleNotify(text: String, isSentenceEnd: Bool, userAsrSentenceId: Int) {
    // 智能體回答結(jié)果通知
}

public func onVoiceIdChanged(voiceId: String) {
    // 當(dāng)前通話(huà)的音色發(fā)生了改變
}

public func onVoiceInterrupted(enable: Bool) {
    // 當(dāng)前通話(huà)的語(yǔ)音打斷是否啟用
}

API說(shuō)明

API概覽

ARTCAICallEngineInterface詳情

userId

獲取當(dāng)前通話(huà)的UserId

var userId: String? {get}

isOnCall

是否通話(huà)中, 從接通后到掛斷或出錯(cuò)前為true，其他為false

var isOnCall: Bool { get }

agentInfo

獲取當(dāng)前智能體信息，包括：類(lèi)型、頻道Id、智能體在頻道中的uid、智能體運(yùn)行實(shí)例ID

var agentInfo: ARTCAICallAgentInfo? { get }

agentState

獲取當(dāng)前智能體狀態(tài)，包括：聆聽(tīng)中\(zhòng)思考中\(zhòng)講話(huà)中

var agentState: ARTCAICallAgentState { get }

delegate

設(shè)置和獲取回調(diào)事件

weak var delegate: ARTCAICallEngineDelegate? { get set }

call

開(kāi)始通話(huà)

func call(userId: String, token: String, agentInfo: ARTCAICallAgentInfo, completed:((_ error: NSError?) -> Void)?)

參數(shù)詳情：

handup

退出通話(huà)

 func handup(_ stopAIAgent: Bool)

參數(shù)詳情：

setAgentView

設(shè)置智能體渲染視圖，及視圖模式

func setAgentView(view: UIView?, mode: ARTCAICallAgentViewMode)

參數(shù)詳情：

interruptSpeaking

打斷智能體講話(huà)

func interruptSpeaking() -> Bool

enableVoiceInterrupt

開(kāi)啟/關(guān)閉智能打斷

func enableVoiceInterrupt(enable: Bool) -> Bool

參數(shù)詳情：

switchVoiceId

切換音色

func switchVoiceId(voiceId: String) -> Bool

參數(shù)詳情：

enableSpeaker

開(kāi)啟/關(guān)閉揚(yáng)聲器

func enableSpeaker(enable: Bool) -> Bool

參數(shù)詳情：

enablePushToTalk

開(kāi)啟/關(guān)閉對(duì)講機(jī)模式，對(duì)講機(jī)模式下，只有在finishPushToTalk被調(diào)用后，智能體才會(huì)播報(bào)結(jié)果

func enablePushToTalk(enable: Bool) -> Bool

參數(shù)詳情：

startPushToTalk

對(duì)講機(jī)模式下，開(kāi)始講話(huà)

func startPushToTalk() -> Bool

finishPushToTalk

對(duì)講機(jī)模式下，結(jié)束講話(huà)

func finishPushToTalk() -> Bool

cancelPushToTalk

對(duì)講機(jī)模式下，取消這次講話(huà)

func cancelPushToTalk() -> Bool

muteMicrophone

靜音/取消禁音麥克風(fēng)

func muteMicrophone(mute: Bool) -> Bool

參數(shù)詳情：

visionConfig

視覺(jué)配置，包括分辨率、幀率等，參考ARTCAICallVisionConfig的定義。使用視覺(jué)智能體時(shí)需要設(shè)置，且在通話(huà)前設(shè)置才能生效。

var visionConfig: ARTCAICallVisionConfig { set get }

參數(shù)詳情：

muteLocalCamera

關(guān)閉/取消關(guān)閉攝像頭。

func muteLocalCamera(mute: Bool) -> Bool

參數(shù)詳情：

switchCamera

切換前后攝像頭

func switchCamera() -> Bool

parseShareAgentCall

解析一個(gè)分享的智能體信息，解析成功則返回一個(gè)ARTCAICallAgentShareConfig類(lèi)型的實(shí)例，可以通過(guò)該實(shí)例啟動(dòng)一個(gè)分享出來(lái)的智能體通話(huà)

func parseShareAgentCall(shareInfo: String) -> ARTCAICallAgentShareConfig?

參數(shù)詳情：

generateShareAgentCall

啟動(dòng)一個(gè)分享的智能體通話(huà)

func generateShareAgentCall(shareConfig: ARTCAICallAgentShareConfig, userId: String, completed: ((_ rsp: ARTCAICallAgentInfo?, _ token: String?, _ error: NSError?, _ reqId: String) -> Void)?)

參數(shù)詳情：

getRTCInstance

獲取RTC引擎

func getRTCInstance() -> AnyObject?

destroy

釋放資源

func destroy()

ARTCAICallEngineDelegate詳情

onErrorOccurs

當(dāng)前通話(huà)時(shí)發(fā)生了錯(cuò)誤

@objc optional func onErrorOccurs(code: ARTCAICallErrorCode)

參數(shù)詳情：

onCallBegin

通話(huà)開(kāi)始

@objc optional func onCallBegin()

onCallEnd

通話(huà)結(jié)束

@objc optional func onCallEnd()

onAgentVideoAvailable

智能體視頻是否可用

@objc optional func onAgentVideoAvailable(available: Bool)

參數(shù)詳情：

onAgentAudioAvailable

智能體音頻是否可用

@objc optional func onAgentAudioAvailable(available: Bool)

參數(shù)詳情：

onPushToTalk

當(dāng)前通話(huà)的對(duì)講機(jī)模式是否啟用

@objc optional func onPushToTalk(enable: Bool)

參數(shù)詳情：

onAgentWillLeave

當(dāng)前智能體即將離開(kāi)（結(jié)束當(dāng)前通話(huà)）

@objc optional func onAgentWillLeave(reason: Int32, message: String)

參數(shù)詳情：

onReceivedAgentCustomMessage

收到當(dāng)前智能體發(fā)過(guò)來(lái)的自定義消息

@objc optional func onReceivedAgentCustomMessage(data: [String: Any]?)

參數(shù)詳情：

onAgentStateChanged

智能體狀態(tài)改變

@objc optional func onAgentStateChanged(state: ARTCAICallAgentState)

參數(shù)詳情：

onNetworkStatusChanged

網(wǎng)絡(luò)狀態(tài)改變

@objc optional func onNetworkStatusChanged(uid: String, quality: ARTCAICallNetworkQuality)

參數(shù)詳情：

onVoiceVolumeChanged

音量變化通知

@objc optional func onVoiceVolumeChanged(uid: String, volume: Int32)

參數(shù)詳情：

onUserSubtitleNotify

用戶(hù)提問(wèn)被智能體識(shí)別結(jié)果的通知

@objc optional func onUserSubtitleNotify(text: String, isSentenceEnd: Bool, sentenceId: Int)

參數(shù)詳情：

onVoiceAgentSubtitleNotify

智能體回答結(jié)果通知

@objc optional func onVoiceAgentSubtitleNotify(text: String, isSentenceEnd: Bool, userAsrSentenceId: Int)

參數(shù)詳情：

onVoiceIdChanged

當(dāng)前通話(huà)的音色發(fā)生了改變

@objc optional func onVoiceIdChanged(voiceId: String)

參數(shù)詳情：

onVoiceInterrupted

當(dāng)前通話(huà)的語(yǔ)音打斷是否啟用

@objc optional func onVoiceInterrupted(enable: Bool)

參數(shù)詳情：

onAgentAvatarFirstFrameDrawn

智能體數(shù)字人首幀渲染

@objc optional func onAgentAvatarFirstFrameDrawn()

onHumanTakeoverWillStart

當(dāng)真人即將接管當(dāng)前智能體

@objc optional func onHumanTakeoverWillStart(takeoverUid: String, takeoverMode: Int)

參數(shù)詳情：

onHumanTakeoverConnected

當(dāng)真人接管已經(jīng)接通

@objc optional func onHumanTakeoverConnected(takeoverUid: String)

參數(shù)詳情：

ARTCAICallEngineFactory詳情

createEngine

創(chuàng)建默認(rèn)的引擎實(shí)例

public static func createEngine() -> ARTCAICallEngineInterface