功能簡介

NUI SDK提供更小的工具包和更完善的狀態管理。為滿足不同用戶需求，NUI SDK既能提供全鏈路的語音能力，同時可做原子能力SDK進行使用，并保持接口的統一。

使用須知

• 輸入格式：PCM編碼、16bit采樣位數、單聲道（mono）。

• 音頻采樣率：8000Hz/16000Hz。

• 設置返回結果：是否返回中間識別結果、在后處理中添加標點、將中文數字轉為阿拉伯數字輸出。

• 設置多語言識別：在管控臺編輯項目中進行模型選擇，詳情請參見模型選擇。

服務地址

交互流程

1. 鑒權和初始化

客戶端在與服務端建立WebSocket連接時，使用Token進行鑒權。關于Token獲取請參見獲取Token概述。

初始化參數如下。

2. 開始識別

客戶端發起實時語音識別請求前需要進行參數設置，各參數由SDK中setParams接口以JSON格式設置，該參數設置一次即可。各參數含義如下。

參數nls_config配置如下。

3. 發送數據

客戶端循環發送語音數據，持續接收識別結果：

• EVENT_SENTENCE_START事件表示服務端檢測到了一句話的開始。實時語音識別服務的智能斷句功能會判斷出一句話的開始與結束，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "SentenceBegin",
          "status": 20000000,
          "message_id": "a426f3d4618447519c9d85d1a0d1****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 0
      }
  }

  header對象參數說明：

  參數	類型	說明
  namespace	String	消息所屬的命名空間。
  name	String	消息名稱。SentenceBegin表示一個句子的開始。
  status	Integer	狀態碼。表示請求是否成功，參見錯誤碼。
  message_id	String	本次消息的ID，由SDK自動生成。
  task_id	String	任務全局唯一ID，請記錄該值，便于排查問題。
  status_text	String	狀態消息。

  payload對象參數說明：

  參數	類型	說明
  index	Integer	句子編號，從1開始遞增。
  time	Integer	當前已處理的音頻時長，單位：毫秒。

• 若enable_intermediate_result設置為true，SDK會持續多次通過onNuiEventCallback回調上報EVENT_ASR_PARTIAL_RESULT事件，即中間識別結果，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "TranscriptionResultChanged",
          "status": 20000000,
          "message_id": "dc21193fada84380a3b6137875ab****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 1835,
          "result": "北京的天",
          "confidence": 1.0,
          "words": [{
              "text": "北京",
              "startTime": 630,
              "endTime": 930
          }, {
              "text": "的",
              "startTime": 930,
              "endTime": 1110
          }, {
              "text": "天",
              "startTime": 1110,
              "endTime": 1140
          }]
      }
  }

  說明

  header對象中name參數取值為TranscriptionResultChanged表示句子的中間識別結果。其余參數說明參見上述表格。

  payload對象參數說明：

  參數	類型	說明
  index	Integer	句子編號，從1開始遞增。
  time	Integer	當前已處理的音頻時長，單位：毫秒。
  result	String	當前句子的識別結果。
  words	List< Word >	當前句子的詞信息，需要將enable_words設置為true。
  confidence	Double	當前句子識別結果的置信度，取值范圍0.0～1.0，值越大表示置信度越高。

• EVENT_SENTENCE_END事件表示服務端檢測到了一句話的結束，并返回該句話的識別結果，如：

  {
      "header": {
          "namespace": "SpeechTranscriber",
          "name": "SentenceEnd",
          "status": 20000000,
          "message_id": "c3a9ae4b231649d5ae05d4af36fd****",
          "task_id": "5ec521b5aa104e3abccf3d361822****",
          "status_text": "Gateway:SUCCESS:Success."
      },
      "payload": {
          "index": 1,
          "time": 1820,
          "begin_time": 0,
          "result": "北京的天氣。",
          "confidence": 1.0,
          "words": [{
              "text": "北京",
              "startTime": 630,
              "endTime": 930
          }, {
              "text": "的",
              "startTime": 930,
              "endTime": 1110
          }, {
              "text": "天氣",
              "startTime": 1110,
              "endTime": 1380
          }]
      }
  }

  說明

  header對象中name參數取值為SentenceEnd表示句子識別結束。其余參數說明參見上述表格。

  payload對象參數說明：

  參數	類型	說明
  index	Integer	句子編號，從1開始遞增。
  time	Integer	當前已處理的音頻時長，單位：毫秒。
  begin_time	Integer	當前句子對應的SentenceBegin事件的時間，單位：毫秒。
  result	String	當前句子的識別結果。
  words	List< Word >	當前句子的詞信息，需要將enable_words設置為true。
  confidence	Double	當前句子識別結果的置信度，取值范圍0.0～1.0，值越大表示置信度越高。

  其中，Word對象：

  參數	類型	說明
  text	String	文本。
  startTime	Integer	詞開始時間，單位：毫秒。
  endTime	Integer	詞結束時間，單位：毫秒。

4. 結束識別

客戶端通知服務端語音數據發送完畢，服務端識別結束后通知客戶端識別完畢。

錯誤碼