為了幫助您更好地發現設備接入問題,提升產品接入效率,生活物聯網平臺為您提供了產品的自動化測試功能。該功能可以全面測試設備端,提高質量管控。您可以免除人工測試的繁瑣,快速發現問題,也可以便捷查看可視化測試結果,一目了然。目前僅天貓精靈項目下產品可使用該能力。
前提條件
背景信息
進行自動化測試時,您還需要注意以下事項:
- 自動化測試時需確保穩定運行環境,避免斷電、斷網等情況。
- 穩定性測試需要長時間運行,請務必確保設備長時間工作的安全性,避免過熱等引起的安全問題。
重要 音箱配網成功率測試時,您需要準備一個配網固件,使得設備端收到平臺的解綁指令后,自動進入待配網狀態。同時,為了保證成功率,測試時請避免受到其他設備廣播干擾(如果條件允許,建議在屏蔽箱中運行)。
操作步驟
- 登錄生活物聯網控制臺。
- 進入產品的設備調試頁面。
- 單擊在線調試或設備對應的調試,進入設備調試頁面。
- 選擇自動化測試頁簽,并單擊登錄淘寶賬號,使用已綁定音箱和測試設備的淘寶賬號登錄。
- 在測試音箱下拉框選擇待測試音箱,然后單擊選擇已綁定設備選擇測試設備。
- 依次完成自動化測試的各個測試項。
系統會根據判定結果來確定自動化測試結果是否通過。如測試未通過,請根據反饋的測試結果進行修復,或在提交審核時聯系審核同學查看問題。若有特殊情況導致測試未通過,請備注信息說明情況,我們會及時聯系您確認。前往添加備注信息請查看備注信息。
- 測試判定規則
自動化測試執行的結果判定規則如下表所示:
系統判定結果 解釋說明 測試狀態示例 未完成 必測項未全部執行。 未通過 必測項均已執行,但是有一個或一個以上未通過。 說明 若您的設備有特殊情況導致無法通過,可在產品發布頁面單擊添加備注填寫備注信息,由審核人員根據報告判斷是否滿足標準。通過 必測項均已執行并通過測試。 - 測試項目介紹
自動化測試的界面如下圖所示,各測試項目的詳細介紹如下表所示。
說明- 功能完整性測試(物模型測試、語料測試)為必測項目。
- 天貓精靈聯合定制的產品,則額外還需完成穩定性測試(音箱配網成功率測試,語音控制成功率測試),若測試失敗,則可重測失敗項。
- 請注意您的產品中是否有開關,童鎖等會阻塞其他執行的功能在之前的測試中被啟動,請先手動關閉這些阻塞的功能,再執行重測失敗項。
測試項 測試目的 測試用例的生成規則 測試通過標準 測試報告示例 物模型測試(必測項) 驗證產品定義的物模型和全鏈路功能實現是否一致。 基于產品定義的物模型中每個屬性和服務生成測試用例。特殊說明如下:
- 枚舉、布爾型:依次遍歷所有枚舉值場景。
- 整型、浮點、雙精度型:驗證對應屬性的最小、最大、最小+步長等場景。
說明 測試完成后,如果您修改了物模型,則需重新測試。100% 語料測試(必測項) 驗證基于物模型的語料能否執行正確。 基于產品所支持的所有語料控制生成測試用例。 100% 音箱配網成功率測試 說明 當前產品為天貓精靈聯合定制品時,該項為必測項。測試音箱設備配網成功或失敗的次數。 平臺通過執行20次壓測獲取設備配網成功率。 為了提升測試效率,當失敗次數超過通過閾值(2次)時,測試項終止,后續測試次數判為失敗。
成功率≥95.0% 語音控制成功率測試 說明 當前產品為天貓精靈聯合定制品時,該項為必測項。測試語音控制設備的成功率數據。 平臺通過執行1000次壓測獲取語音控制成功率。 為了提升測試效率,當失敗次數超過通過閾值(3次)時,測試項終止,后續測試次數判為失敗。
成功率≥99.7%
- 測試判定規則
- (可選)備注信息。
若您多次執行自動化測試仍未通過,或有特殊原因時,可添加備注說明情況,審核人員根據描述判斷是否可跳過測試或會與您聯系了解具體情況。
- 可在在線調試頁面下,單擊前往添加備注前往批量生產產品發布頁面。
- 在批量生產頁面的設備測試步驟下,單擊添加備注進行備注信息。
-
按照備注信息中的輸入框提示填入相關信息,確保信息準確無誤后單擊確定完成填寫。
說明 自動化測試可以幫助您快速便捷地發現產品問題,保證產品的質量,需要先完成自動化測試再進行產品發布。當產品已發布,備注信息不可操作,需撤回發布后再進行備注信息。