功能

說明

實時通話（ARTC）

阿里云實時音視頻方案，依托該方案用戶可以與AI智能體進行全球范圍的高可靠、低延時通話。

實時工作流

您可以使用白屏化的方式，靈活地編排智能體AI的工作流。

• 語音轉文字：

  • 預置阿里云通義產品能力。

  • 支持將訊飛的語音轉文字能力作為第三方插件進行集成。

• 語音合成（文字轉語音）：

  • 預置阿里云通義的產品能力。

  • 采用標準協議與您自主研發的語音合成模塊進行對接。

  • 支持將MiniMax的語音能力作為第三方插件進行集成。

• 文生文大語言模型：

  • 預置阿里云通義的產品能力。

  • 選擇阿里云百煉平臺上模型中心、應用中心的AI模型。

  • 按照OpenAI規范或阿里規范來接入自研的大語言模型。

• 數字人

  • 支持將相芯數字人能力作為第三方插件進行集成。

• 視頻抽幀

• 多模態語言大模型

  • 預置阿里云通義產品能力。

  • 按照OpenAI規范來接入自研的多模態大語言模型。

自定義智能體形象

您可以為所創建的智能體上傳一張圖片，以便在語音通話場景中展示該智能體的形象。

歡迎詞

您可以在控制臺中配置歡迎詞內容，當用戶與AI智能體開始對話時，智能體將播報該歡迎詞內容。

主動播報

業務服務器可以通過OpenAPI的形式，讓智能體主動向用戶輸出音視頻內容。

實時字幕

用戶與智能體之間的對話內容可在終端用戶界面上實時呈現。

智能降噪

AI智能體將自動過濾對話過程中用戶側產生的嘈雜音。當用戶側有多個人同時說話時，將優先采集音量最大的人聲。

智能打斷

在與AI智能體對話時，AI智能體能夠有效識別用戶在對話中的打斷意圖。

智能斷句

智能體能夠自動識別并分割長句或復雜句，以提升文本的可讀性和用戶體驗。

對講機模式

用戶可以在啟動或者通話中設置通話模式為對講機模式，通過按下按鈕與智能體進行交互。

ASR熱詞

您可以定義業務相關的熱詞，以此提升AI智能體在語音識別中的準確率。

聲紋降噪

在多人交談的場景中，智能體通過識別主講人的聲紋特征，更加精確地捕捉和保留主講人的語音，同時降低對無關噪音的干擾。

真人接管

在用戶與智能體進行交互時，如遇無法處理的情況或需做出關鍵決策時，可以選擇由真人進行接管以做出決策。

優雅下線

當業務服務器需要停止智能體時，允許智能體完成當前對話的表達后再進行停止操作，以避免對話被生硬地打斷。

數據歸檔

將用戶與AI智能體的對話轉化為文本信息并進行存儲，企業可通過API接口調用以消費這部分數據。同時，企業可以將用戶與AI智能體通話的音視頻數據存儲至對象存儲服務（OSS）或視頻點播（VOD）平臺。