為了幫助您更好地發現設備接入問題,提升產品接入效率,生活物聯網平臺為您提供了產品的自動化測試功能。該功能可以全面測試設備端,提高質量管控。您可以免除人工測試的繁瑣,快速發現問題,也可以便捷查看可視化測試結果,一目了然。目前僅天貓精靈項目下產品可使用該能力。

前提條件

已添加測試設備,并完成設備調試。具體操作,請參見調試設備

背景信息

進行自動化測試時,您還需要注意以下事項:

  • 自動化測試時需確保穩定運行環境,避免斷電、斷網等情況。
  • 穩定性測試需要長時間運行,請務必確保設備長時間工作的安全性,避免過熱等引起的安全問題。
重要 音箱配網成功率測試時,您需要準備一個配網固件,使得設備端收到平臺的解綁指令后,自動進入待配網狀態。同時,為了保證成功率,測試時請避免受到其他設備廣播干擾(如果條件允許,建議在屏蔽箱中運行)。

操作步驟

  1. 登錄生活物聯網控制臺
  2. 進入產品的設備調試頁面。
  3. 單擊在線調試或設備對應的調試,進入設備調試頁面。
  4. 選擇自動化測試頁簽,并單擊登錄淘寶賬號,使用已綁定音箱和測試設備的淘寶賬號登錄。
    自動化測試
  5. 測試音箱下拉框選擇待測試音箱,然后單擊選擇已綁定設備選擇測試設備。
    選擇測試設備
  6. 依次完成自動化測試的各個測試項。

    系統會根據判定結果來確定自動化測試結果是否通過。如測試未通過,請根據反饋的測試結果進行修復,或在提交審核時聯系審核同學查看問題。若有特殊情況導致測試未通過,請備注信息說明情況,我們會及時聯系您確認。前往添加備注信息請查看備注信息

    1. 測試判定規則
      自動化測試執行的結果判定規則如下表所示:
      系統判定結果 解釋說明 測試狀態示例
      未完成 必測項未全部執行。 未通過
      未通過 必測項均已執行,但是有一個或一個以上未通過。
      說明 若您的設備有特殊情況導致無法通過,可在產品發布頁面單擊添加備注填寫備注信息,由審核人員根據報告判斷是否滿足標準。
      未通過
      通過 必測項均已執行并通過測試。 通過
    2. 測試項目介紹

      自動化測試的界面如下圖所示,各測試項目的詳細介紹如下表所示。

      自動化測試
      說明
      • 功能完整性測試(物模型測試、語料測試)為必測項目。
      • 天貓精靈聯合定制的產品,則額外還需完成穩定性測試(音箱配網成功率測試,語音控制成功率測試),若測試失敗,則可重測失敗項。
      • 請注意您的產品中是否有開關,童鎖等會阻塞其他執行的功能在之前的測試中被啟動,請先手動關閉這些阻塞的功能,再執行重測失敗項。
      測試項 測試目的 測試用例的生成規則 測試通過標準 測試報告示例
      物模型測試(必測項) 驗證產品定義的物模型和全鏈路功能實現是否一致。

      基于產品定義的物模型中每個屬性和服務生成測試用例。特殊說明如下:

      • 枚舉、布爾型:依次遍歷所有枚舉值場景。
      • 整型、浮點、雙精度型:驗證對應屬性的最小、最大、最小+步長等場景。
      說明 測試完成后,如果您修改了物模型,則需重新測試。
      100% 物模型測試報告
      語料測試(必測項) 驗證基于物模型的語料能否執行正確。 基于產品所支持的所有語料控制生成測試用例。 100% 語料測試報告
      音箱配網成功率測試
      說明 當前產品為天貓精靈聯合定制品時,該項為必測項。
      測試音箱設備配網成功或失敗的次數。 平臺通過執行20次壓測獲取設備配網成功率。

      為了提升測試效率,當失敗次數超過通過閾值(2次)時,測試項終止,后續測試次數判為失敗。

      成功率≥95.0% 音箱配網測試報告
      語音控制成功率測試
      說明 當前產品為天貓精靈聯合定制品時,該項為必測項。
      測試語音控制設備的成功率數據。 平臺通過執行1000次壓測獲取語音控制成功率。

      為了提升測試效率,當失敗次數超過通過閾值(3次)時,測試項終止,后續測試次數判為失敗。

      成功率≥99.7% 語音配網測試報告
  7. (可選)備注信息。

    若您多次執行自動化測試仍未通過,或有特殊原因時,可添加備注說明情況,審核人員根據描述判斷是否可跳過測試或會與您聯系了解具體情況。

    1. 可在在線調試頁面下,單擊前往添加備注前往批量生產產品發布頁面。前往添加備注信息
    2. 批量生產頁面的設備測試步驟下,單擊添加備注進行備注信息添加備注
    3. 按照備注信息中的輸入框提示填入相關信息,確保信息準確無誤后單擊確定完成填寫。

      備注信息
    說明 自動化測試可以幫助您快速便捷地發現產品問題,保證產品的質量,需要先完成自動化測試再進行產品發布。

    當產品已發布,備注信息不可操作,需撤回發布后再進行備注信息。