PAI-Blade結合了多種優化技術，對訓練完成的模型進行優化，從而達到最優的推理性能。同時，PAI-Blade提供的C++ SDK可以部署優化后的模型推理，幫助您快速的將模型應用于生產。本文介紹PAI-Blade的工作原理和使用流程。
背景信息
PAI-Blade是PAI推出的通用推理優化工具，可以通過模型系統聯合優化，使模型達到最優推理性能。它有機融合了計算圖優化、TensorRT/oneDNN等vendor優化庫、AI編譯優化、Blade手工優化算子庫、Blade混合精度及Blade Auto-Compression等多種優化技術，會先對模型進行分析，再對其部分或全部應用優化技術。
PAI-Blade的所有優化技術均面向通用性設計，可以應用于不同的業務場景。同時，PAI-Blade對每一步優化的數值結果都進行了準確性驗證，從而確保優化結果不會對模型的精度或指標產生非預期影響。
PAI-Blade是為了降低模型優化門檻、提升用戶體驗和生產效率而推出的新產品形態。
工作原理
PAI-Blade以Wheel包的形式安裝到用戶環境，無需申請資源、上傳模型和數據的繁瑣步驟。您可以在代碼中調用PAI-Blade的Python接口，使模型優化集成在工作流中，且能夠在本地對優化完成的模型進行性能驗證。此外，您還可以便捷地嘗試不同的優化策略、探索更多的優化參數組合。
同時，PAI-Blade提供C++ SDK供您部署服務。雖然優化完成的模型在運行時需要依賴SDK，但是無需修改模型代碼，您只需要鏈接PAI-Blade的庫文件即可。
使用流程
您可以參考如下流程使用PAI-Blade：
優化模型，詳情請參見優化TensorFlow模型和優化PyTorch模型。
解讀優化報告，詳情請參見優化報告。
部署模型推理，詳情請參見使用SDK部署TensorFlow模型推理、使用SDK部署PyTorch模型推理和使用Blade EAS Plugin優化并部署模型。