模型服務(wù)
您可以通過(guò)托管模型構(gòu)建AI應(yīng)用的核心底座，由云原生應(yīng)用開發(fā)平臺(tái) CAP基于函數(shù)計(jì)算封裝模型體驗(yàn)，提供Serverless GPU運(yùn)行時(shí)服務(wù)。
什么是模型服務(wù)
模型服務(wù)能力是一項(xiàng)全面托管的模型服務(wù)，通過(guò)Serverless GPU計(jì)算，托管開源與微調(diào)模型實(shí)現(xiàn)統(tǒng)一的模型構(gòu)建，為您提供構(gòu)建生成式AI應(yīng)用所需的一系列模型能力。
模型服務(wù)底層依賴函數(shù)計(jì)算的GPU作為底層算力，您可以無(wú)需關(guān)心底層基礎(chǔ)設(shè)施的管理，只需專注于AI應(yīng)用的開發(fā)，一鍵拉取大模型，并自動(dòng)生成開發(fā)所需的調(diào)用API。
使用模型服務(wù)，您可以輕松試驗(yàn)和評(píng)估適合您的大模型，通過(guò)微調(diào)（SFT）和檢索增強(qiáng)生成（RAG）等技術(shù)利用您的數(shù)據(jù)對(duì)大模型進(jìn)行私人定制，構(gòu)建僅服務(wù)于您的專屬大模型。
模型服務(wù)來(lái)源
ModelScope
從ModelScope官網(wǎng)拉取模型。
對(duì)象存儲(chǔ) OSS
從您創(chuàng)建的OSS Bucket中獲取存放的模型。
自定義模型鏡像
選擇您托管到容器鏡像服務(wù) ACR中的鏡像模型。
模型服務(wù)將自動(dòng)從對(duì)應(yīng)來(lái)源拉取模型并部署，不同的來(lái)源下載速率不一致，可關(guān)注部署日志來(lái)觀測(cè)下載速率。以Qwen7B為例，通常下載時(shí)間為分鐘級(jí)。
模型執(zhí)行框架
目前模型支持ModelScope Library作為底層模型執(zhí)行框架，請(qǐng)確保自定義模型來(lái)源可被ModelScope Library執(zhí)行并部署。更多信息，請(qǐng)參見Library介紹。
目前ModelScope Library支持的模型服務(wù)列表，請(qǐng)參見ModelScope Library支持的模型服務(wù)列表。
前提條件
已創(chuàng)建項(xiàng)目，具體操作，請(qǐng)參見管理項(xiàng)目。
創(chuàng)建模型服務(wù)
使用控制臺(tái)模板列表中的模板創(chuàng)建項(xiàng)目時(shí)，部分模板默認(rèn)會(huì)創(chuàng)建模型服務(wù)，您也可以手動(dòng)添加模型服務(wù)。
登錄云原生應(yīng)用開發(fā)平臺(tái) CAP控制臺(tái)，單擊目標(biāo)項(xiàng)目，在項(xiàng)目詳情頁(yè)面，單擊左上角的新建服務(wù)，選擇模型服務(wù)類型并單擊跳轉(zhuǎn)至創(chuàng)建服務(wù)頁(yè)面。
在創(chuàng)建服務(wù)頁(yè)面，選擇開源模型（圖示中①）以及所需的資源信息，然后單擊預(yù)覽&部署。如果沒(méi)有特殊需求，其他配置項(xiàng)保持默認(rèn)值即可。
您也可以單擊更多模型來(lái)源（圖示中②），手動(dòng)添加模型，詳見步驟3。
說(shuō)明模型服務(wù)底層使用函數(shù)計(jì)算的GPU實(shí)例作為算力，推薦您保持開啟閑置模式來(lái)降低使用成本，詳情請(qǐng)參見計(jì)費(fèi)組成。
資源配置區(qū)域的配置項(xiàng)實(shí)例數(shù)是指函數(shù)計(jì)算的預(yù)留實(shí)例數(shù)，建議您將其設(shè)置為非0。Tesla 系列卡型支持將其設(shè)置為0，函數(shù)計(jì)算的彈性伸縮功能會(huì)根據(jù)請(qǐng)求量分配相應(yīng)的實(shí)例數(shù)，但在模型場(chǎng)景下會(huì)存在冷啟動(dòng)問(wèn)題。更多信息，請(qǐng)參見配置預(yù)留實(shí)例。
（可選）單擊更多模型來(lái)源，在選擇模型對(duì)話框手動(dòng)添加模型。
ModelScope
支持從ModelScope官網(wǎng)獲取模型ID，版本號(hào)。
Token為ModelScope令牌。
更多ModelScope模型詳見ModelScope Library支持的模型服務(wù)列表。
對(duì)象存儲(chǔ) OSS
如圖所示，需選擇您的Bucket，并填寫模型存儲(chǔ)路徑。
自定義模型鏡像
如圖所示，選擇您托管在容器鏡像服務(wù) ACR中的模型鏡像，詳情請(qǐng)見鏡像使用說(shuō)明。
在彈出的服務(wù)資源預(yù)覽對(duì)話框，確認(rèn)信息后單擊確認(rèn)部署。
訪問(wèn)模型服務(wù)
模型服務(wù)創(chuàng)建成功后，您可以在服務(wù)詳情頁(yè)面，單擊API 地址跳轉(zhuǎn)至API調(diào)用示例頁(yè)面，單擊測(cè)試進(jìn)行相關(guān)模型試用。
更新模型服務(wù)
服務(wù)部署成功后，您可以在已部署模型詳情頁(yè)面編輯基礎(chǔ)配置的模型信息，也可以編輯底層資源配置信息。如下圖所示，依次單擊編輯修改配置并保存。
您也可以查看函數(shù)相關(guān)指標(biāo)和運(yùn)行日志，以及項(xiàng)目部署記錄。更多信息，請(qǐng)參見監(jiān)控指標(biāo)和日志。
刪除服務(wù)
選中要?jiǎng)h除的服務(wù)，點(diǎn)擊刪除。進(jìn)入刪除服務(wù)確認(rèn)彈窗。
勾選我已知曉：刪除該項(xiàng)目及選中的服務(wù)將立刻中斷其所服務(wù)的線上業(yè)務(wù)，并且不可恢復(fù)，同時(shí)將徹底刪除其所依賴的云產(chǎn)品資源，然后單擊確定刪除。
ModelScope Library支持的模型服務(wù)列表
模型ID | 模型Task | 模型大?。℅B） | 模型版本 |
thomas/text2vec-base-chinese | sentence-embedding | 0.38 | v1.0.0 |
iic/speech_sambert-hifigan_tts_andy_en-us_16k | text-to-speech | 0.29 | v1.0.1 |
AI-ModelScope/stable-diffusion-v1.5-no-safetensor | text-to-image-synthesis | 11.15 | v1.0.0 |
iic/speech_sambert-hifigan_tts_zhizhe_emo_zh-cn_16k | text-to-speech | 0.29 | v1.0.3 |
iic/nlp_bert_document-segmentation_english-base | document-segmentation | 0.41 | v1.0.1 |
iic/speech_sambert-hifigan_tts_en-us_16k | text-to-speech | 0.35 | v1.0.1 |
iic/ofa_ocr-recognition_document_base_zh | ocr-recognition | 0.66 | v1.0.1 |
iic/nlp_lstm_named-entity-recognition_chinese-social_media | named-entity-recognition | 0.02 | v1.0.0 |
iic/nlp_seqgpt-560m | text-generation | 1.06 | v1.0.1 |
iic/nlp_palm2.0_text-generation_chinese-large | text-generation | 2.34 | v1.1.0 |
iic/nlp_raner_named-entity-recognition_english-large-ecom | named-entity-recognition | 2.11 | v1.0.0 |
lskhh/flower_classification14 | image-classification | 1.28 | v1.0.3 |
iic/speech_sambert-hifigan_tts_indah_Indonesian_16k | text-to-speech | 0.24 | v1.0.2 |
iic/speech_eres2net_large_mej_lre_16k_common | speech-language-recognition | 0.11 | v1.0.4 |
Stefanieliang/cv_vit-base_image-classification_Dailylife-labels_flowers | image-classification | 1.28 | v1.0.0 |
iic/cv_segformer-b2_image_semantic-segmentation_coco-stuff164k | image-segmentation | 0.31 | v2.0.0 |
iic/speech_eres2net_base_mej_lre_16k_common | speech-language-recognition | 0.04 | v1.0.1 |
iic/nlp_structbert_fact-checking_chinese-base | nli | 0.38 | v1.0.1 |
AI-ModelScope/opt-125 | text-generation | 0.7 | v1.0.0 |
iic/nlp_structbert_emotion-classification_chinese-tiny | text-classification | 0.03 | v1.0.0 |
Fengshenbang/Taiyi-Stable-Diffusion-1B-Chinese-v0.1 | text-to-image-synthesis | 3.89 | v1.0.0 |
Fengshenbang/Erlangshen-RoBERTa-110M-NLI | text-classification | 0.38 | v1.0.0 |
iic/nlp_ponet_extractive-summarization_doc-level_chinese-base | extractive-summarization | 0.44 | v1.0.0 |
chaoscodes/TinyLlama-1.1B-step-50K-105b | text-generation | 8.2 | v1.0.0 |
xiaolv/ocr_big | ocr-recognition | 0.07 | v1.0.0 |
dienstag/chinese-bert-wwm | fill-mask | 1.15 | v1.0.0 |
Fengshenbang/Wenzhong-GPT2-3.5B | text-generation | 6.69 | v1.0.0 |
ccyh123/Qwen-VL-Chat-Int4 | chat | 9.08 | v1.0.0 |
dienstag/chinese-macbert-large | fill-mask | 3.73 | v1.0.0 |
Fengshenbang/Erlangshen-TCBert-330M-Sentence-Embedding-Chinese | fill-mask | 1.3 | v1.0.1 |
iic/nlp_masts_backbone_clue_chinese-large | fill-mask | 1.21 | v1.4.1 |
Fengshenbang/Erlangshen-BERT-120M-IE-Chinese | fill-mask | 0.39 | v1.0.0 |
iic/cv_resnet152_open-vocabulary-detection_vild | open-vocabulary-detection | 0.31 | v1.0.4 |
iic/nlp_debertav2_fill-mask_chinese-base | fill-mask | 0.7 | v1.0.1 |
Fengshenbang/Erlangshen-UniMC-RoBERTa-110M-Chinese | fill-mask | 0.38 | v1.0.0 |
dienstag/chinese-xlnet-mid | fill-mask | 1.65 | v1.0.0 |
Fengshenbang/Erlangshen-TCBert-1.3B-Sentence-Embedding-Chinese | fill-mask | 4.77 | v1.0.1 |
dienstag/Analog-Diffusion | text-to-image-synthesis | 3.97 | v1.0 |
iic/multi-modal_rleg-vit-large-patch14 | generative-multi-modal-embedding | 1.59 | v0.0.1 |
dienstag/portraitplus | text-to-image-synthesis | 3.97 | v1.0 |
iic/zero-shot-classify-SSTuning-base | zero-shot-classify-sstuning | 0.47 | v1.0.2 |
dienstag/vintedois-diffusion-v0-1 | text-to-image-synthesis | 3.98 | v0.1 |
dienstag/cino-large-v2 | fill-mask | 3.82 | v1.0.0 |
dienstag/rbt4-h312 | fill-mask | 0.11 | v1.0.0 |
Fengshenbang/Erlangshen-DeBERTa-v2-97M-CWS-Chinese | fill-mask | 0.36 | v1.0.3 |
Fengshenbang/Erlangshen-TCBert-1.3B-Classification-Chinese | fill-mask | 4.77 | v1.0.1 |
zydfx1111/flower | image-classification | 1.28 | v1.0.0 |
Fengshenbang/Erlangshen-UniMC-DeBERTa-v2-330M-Chinese | fill-mask | 1.19 | v1.0.0 |
dienstag/chinese-electra-180g-base-discriminator | fill-mask | 0.76 | v1.0.0 |
dienstag/chinese-electra-small-ex-generator | fill-mask | 0.07 | v1.0.1 |
zyqlight/plants_classification | image-classification | 5.12 | v1.0.3 |
yonggreen/product_ner | named-entity-recognition | 0.38 | 1.0.0 |
lawup2/my_test_model | image-captioning | 0.83 | 1.1.4 |
MoEE3910/moee_xl | text-classification | 0.38 | v1.0 |
ValeriaWong/flower_classification14 | image-classification | 1.28 | v1.0.1 |
asd1821154213/flower_recog | image-classification | 1.28 | v1.0.1 |
Liiiiiii/Vit_Flower_Classification | image-classification | 1.28 | v1.0.0 |
playmake/LRBV1_qwen_350_1738 | chat | 3.42 | V1.0.0 |
lskhh/flower_newrecog | image-classification | 1.28 | V1.0,0 |
lskhh/flowers_classification-Dreamwing | image-classification | 1.28 | v1.0.0 |
iic/cv_resnet50_face-detection_retinaface | face-detection | 0.1 | v2.0.2 |
iic/cv_resnet18_ocr-detection-db-line-level_damo | ocr-detection | 0.15 | v1.3.0 |
iic/cv_resnest101_animal_recognition | animal-recognition | 0.47 | v1.0.0 |
iic/nlp_structbert_faq-question-answering_chinese-base | faq-question-answering | 0.42 | v1.0.2 |
iic/nlp_raner_named-entity-recognition_chinese-base-ecom-50cls | named-entity-recognition | 0.38 | v1.0.0 |