本文為您介紹如何使用C或C++開發自定義Processor。
快速上手Demo
下載EAS預測服務示例,該項目包含兩個自定義Processor,其中:
echo:請求時將用戶輸入原樣返回,同時返回模型中的文件列表。
image_classification:mnist文本分類,輸入mnist jpg圖片,返回圖片分類類別。
編譯方法請參見項目下的README文件,每個Processor的本地調試方法請參見各目錄下的README文件。
接口定義
使用C或C++開發自定義Processor,需要定義initialize()和process()函數,分別用于服務初始化時加載模型和處理客戶端請求并返回結果。兩個函數的聲明如下。
void *initialize(const char *model_entry, const char *model_config, int *state)
參數 | 類型 | 描述 |
model_entry | 輸入參數 | 對應創建服務時配置文件中的model_entry字段,關于該字段的更多信息請參見創建服務。您可以傳入一個文件名(例如randomforest.pmml)或目錄(例如./model)。 |
model_config | 輸入參數 | 對應創建服務時配置文件中的model_config字段,表示自定義的模型配置信息。關于該字段的更多信息請參見創建服務。 |
state | 輸出參數 | 模型加載狀態。如果為0,則表示模型加載成功,否則表示模型加載失敗。 |
返回值 | 自定義的model變量內存地址,可以為任意類型。 |
int process(void *model_buf, const void *input_data, int input_size,void **output_data, int *output_size)
參數 | 類型 | 描述 |
model_buf | 輸入參數 | initialize()函數返回的模型內存地址。 |
input_data | 輸入參數 | 用戶輸入數據,可以為任意字符串或BINARY類型。 |
input_size | 輸入參數 | 用戶輸入數據的長度。 |
output_data | 輸出參數 | Processor返回的數據,需要在堆為其分配內存,模型負責釋放該內存。 |
output_size | 輸出參數 | Processor返回的數據長度。 |
返回值 | 返回0或200表示成功,可以直接返回HTTP錯誤碼。如果返回不識別的HTTP錯誤碼,則自動轉換為http 400 error。 |
代碼示例
以下是一個簡單的示例,未加載任何模型數據,預測服務將用戶請求直接返回給客戶端。
#include <stdio.h>
#include <string.h>
extern "C" {
void *initialize(const char *model_entry, const char *model_config, int *state)
{
*state = 0;
return NULL;
}
int process(void *model_buf, const void *input_data, int input_size,
void **output_data, int *output_size)
{
if (inputSize == 0) {
const char *errmsg = "input data should not be empty";
*outputData = strndup(errmsg, strlen(errmsg));
*outputSize = strlen(errmsg);
return 400;
}
*outputData = strndup((char *)inputData, inputSize);
*outputSize = inputSize;
return 200;
}
}
該Processor未讀取任何模型信息,將用戶輸入原樣輸出,可以通過如下的Makefile將其編譯為SO文件。
CC=g++
CCFLAGS=-I./ -D_GNU_SOURCE -Wall -g -fPIC
LDFLAGS= -shared -Wl,-rpath=./
OBJS=processor.o
TARGET=libpredictor.so
all: $(TARGET)
$(TARGET): $(OBJS)
$(CC) -o $(TARGET) $(OBJS) $(LDFLAGS) -L./
%.o: %.cc
$(CC) $(CCFLAGS) -c $< -o $@
clean:
rm -f $(TARGET) $(OBJS)