場景描述

本方案適用于使用GPU進行AI在線推理的場景。在推理之前，模型已經訓練完成。比如，刷臉支付的時候，就是推理的一個過程。另外，圖像分類、目標檢測、語音識別、語義分析等返回結果的過程都是使用GPU進行AI在線推理的場景。

解決問題

• 使用GPU云服務器搭建推理環境。

• 使用容器服務Kubernetes版構建推理環境。

• 使用NAS存儲模型數據。

• 使用飛天AI加速推理工具加速推理。

架構圖

參考鏈接

有關基于彈性計算的AI推理的詳情，請參見基于彈性計算的AI推理。