服務部署:自定義Processor
Processor是包含在線預測邏輯(模型加載和請求預測邏輯)的程序包,如果EAS提供的官方通用Processor無法滿足模型部署需求,則可以根據(jù)Processor的開發(fā)標準自定義Processor。
Processor部署
準備好模型和Processor文件等服務部署前的準備內容后,分別上傳至存儲云產品(OSS、NAS),EAS通過掛載存儲云產品來獲取部署前所需的準備內容進行服務部署。
EAS Processor部署流程如下。
此方式的部署要點如下。
PAI為您提供了多個典型場景的官方Processor供您使用,您也可以結合業(yè)務需求自行開發(fā)模型并開發(fā)自定義Processor文件,完成后分別上傳至阿里云存儲產品OSS或NAS。
建議您將模型和Processor文件獨立開發(fā)分別存儲,后續(xù)可在部署時配置模型掛載路徑,Processor文件中可使用get_model_path參數(shù)來獲取配置的模型路徑,便于后續(xù)模型需頻繁迭代更新時,可方便地替換模型。
使用Processor部署時,EAS會根據(jù)您選用的推理框架自動拉取官方環(huán)境鏡像來部署服務,并基于Processor文件自動為您部署一個HTTP Server用于接收后續(xù)調用服務的請求。
使用Processor方式部署時,您需要保障模型的推理框架和Processor文件的開發(fā)符合開發(fā)環(huán)境要求,不如鏡像部署方式靈活高效,因此更建議您使用鏡像方式進行模型部署。
開發(fā)自定義Processor
支持使用以下編程語言開發(fā)自定義Processor:
C或C++,詳情請參見使用C或C++開發(fā)自定義Processor。
Java,詳情請參見使用Java開發(fā)自定義Processor。
Python,詳情請參見使用Python開發(fā)自定義Processor。