基于函數(shù)計算部署圖像描述模型mPLUG?
圖像描述模型可以根據(jù)圖片信息生成一句對應(yīng)的描述，可以用于給一張圖片配上一句文字或者打個標簽的場景。本文介紹如何使用函數(shù)計算部署圖像描述模型mPLUG。
背景信息
AIGC（Artificial Intelligence Generated Content）是指人工智能生成內(nèi)容。“圖生文”技術(shù)是指使用AI進行圖片理解和分析，并獲取圖片描述。
mPLUG模型是統(tǒng)一理解和生成的多模態(tài)基礎(chǔ)模型，該模型提出了基于skip-connections的高效跨模態(tài)融合框架。更多信息，請參見mPLUG。
本文介紹的mPLUG模型是指mPLUG圖像描述模型-中文-base，參數(shù)量約為3.5億，依照Apache License 2.0發(fā)布。
阿里云不對第三方模型的合法性、安全性、準確性進行任何保證，阿里云不對由此引發(fā)的任何損害承擔責任。
您應(yīng)自覺遵守第三方模型的用戶協(xié)議、使用規(guī)范和相關(guān)法律法規(guī)，并就使用第三方模型的合法性、合規(guī)性自行承擔相關(guān)責任。
前提條件
已開通函數(shù)計算服務(wù)，詳情請參見開通函數(shù)計算服務(wù)。
操作步驟
部署并使用mPLUG應(yīng)用框架將產(chǎn)生部分費用，包括vCPU資源使用、內(nèi)存資源使用、磁盤資源使用和公網(wǎng)出流量以及函數(shù)調(diào)用的費用。具體信息，請參見計費概述。
創(chuàng)建應(yīng)用
登錄函數(shù)計算控制臺，在左側(cè)導(dǎo)航欄，單擊應(yīng)用。
如果您首次使用函數(shù)計算的應(yīng)用中心，或您的賬號下沒有創(chuàng)建任何應(yīng)用，在左側(cè)導(dǎo)航欄，單擊應(yīng)用后，將自動進入創(chuàng)建應(yīng)用頁面。
如果您之前使用過應(yīng)用中心，在左側(cè)導(dǎo)航欄，單擊應(yīng)用，然后在應(yīng)用頁面單擊創(chuàng)建應(yīng)用。
在創(chuàng)建應(yīng)用頁面，選擇通過模板創(chuàng)建應(yīng)用，然后在應(yīng)用列表中搜索并選擇圖生文-圖像描述模板，光標移至該卡片，然后單擊立即創(chuàng)建。
在創(chuàng)建應(yīng)用頁面，設(shè)置以下配置項，然后單擊創(chuàng)建并部署默認環(huán)境。
主要配置項說明如下，其余配置項保持默認值即可。
配置項
說明
示例值
部署類型
選擇部署應(yīng)用的方式。
直接部署
角色名稱
首次登錄用戶，需要單擊前往授權(quán)配置角色權(quán)限。
如果您的角色名稱已有相關(guān)權(quán)限，則無需設(shè)置。
AliyunFCServerlessDevsRole
地域
選擇部署應(yīng)用的地域。
重要如果部署異常，例如AIGC公共鏡像拉取耗時長，拉取失敗，請切換到其他地域重試。
華北2（北京）
fc-mplug-image-captioning 鏡像地址
輸入mPLUG鏡像地址。鏡像地址需要與應(yīng)用所在的地域保持一致。
為了方便您使用，函數(shù)計算提供以下基于開源項目構(gòu)建的鏡像，您可以直接使用。
上海地域鏡像：registry.cn-shanghai.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
北京地域鏡像：registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
深圳地域鏡像：registry.cn-shenzhen.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
杭州地域鏡像：registry.cn-hangzhou.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
您還可以自定義鏡像。具體操作，請參見項目代碼目錄內(nèi)的README文檔。
registry.cn-beijing.aliyuncs.com/aliyun-fc/fc-mplug-image-captioning:v1
大約等待1~2分鐘后，部署狀態(tài)顯示部署成功，表示當前版本部署完成。
檢查函數(shù)
model的鏡像加速準備狀態(tài)。函數(shù)計算提供鏡像加速功能，可以對AI大鏡像進行啟動優(yōu)化，僅當鏡像加速準備狀態(tài)為可用時，才可以開始進行函數(shù)調(diào)用。
在應(yīng)用詳情頁面，單擊環(huán)境名稱，本示例以默認環(huán)境為例。
選擇環(huán)境詳情頁簽，在資源信息區(qū)域，單擊函數(shù)
model。
在
model函數(shù)詳情頁面的函數(shù)配置頁簽，在環(huán)境信息區(qū)域，觀察鏡像加速準備狀態(tài)，等待狀態(tài)變更為可用。
返回到已創(chuàng)建應(yīng)用的應(yīng)用詳情頁面，找到目標環(huán)境，光標移至其右側(cè)操作列的訪問域名，單擊訪問第一個域名。
由于當前模型較大，完全加載大概需要5~8分鐘。加載過程如下圖所示。
加載完成后，呈現(xiàn)以下頁面，表示您已成功搭建mPLUG圖像描述模型。
識別圖片內(nèi)容
您可以使用以下兩種方式上傳圖片，并獲取圖片描述。
直接輸入圖片鏈接進行解析
在輸入框內(nèi)輸入您要解析的圖片地址，單擊使用圖片鏈接。
上傳本地圖片進行解析
單擊選擇圖片，選擇需要解析的本地圖片并上傳后將自動進行解析。
刪除資源
如您暫時不需要使用此應(yīng)用，請及時刪除對應(yīng)資源。如您需要長期使用此應(yīng)用，請忽略此步驟。
返回函數(shù)計算控制臺概覽頁面，在左側(cè)導(dǎo)航欄，單擊應(yīng)用。
單擊目標應(yīng)用右側(cè)操作列的刪除，在彈出的刪除應(yīng)用對話框，勾選我已確定資源刪除的風險，依舊要刪除上面已選擇的資源，然后單擊刪除應(yīng)用及所選資源。
費用說明
套餐領(lǐng)取
為了方便您體驗本文提供的文生成圖的場景，首次開通用戶可以領(lǐng)取試用套餐并開通函數(shù)計算服務(wù)。該套餐不支持抵扣公網(wǎng)出流量和磁盤使用量的費用。如果您沒有購買相關(guān)資源包，公網(wǎng)出流量和超出512 MB的磁盤使用量將按量付費。
公網(wǎng)出流量和磁盤使用量評估
當前應(yīng)用磁盤使用量為512 MB，不需要支付費用。在加載前端頁面時，需要約1 MB的公網(wǎng)出流量。傳輸圖片也需要消耗一定的流量，在下面費用評估時假設(shè)一張圖片2 MB。
公網(wǎng)出流量使用量和磁盤使用量費用可參考以下表格內(nèi)容。
實際費用與圖片大小、調(diào)用頻率等多種因素有關(guān)系，預(yù)估費用僅供參考。
計費項 | 單價 | 使用量 | 費用 | |
公網(wǎng)出流量 | 前端頁面加載 | 0.50元/GB | 1 MB | 0.00049元 |
傳輸一張圖片 | 2 MB | 0.00098元 | ||
磁盤使用量 | 不超出512 MB：免費 | 512 MB | 0元 | |
資源消耗評估
函數(shù)計算配置：CPU 8核、內(nèi)存8 GB、磁盤 512 MB。通過多次圖片處理，給出冷啟動和熱啟動對應(yīng)的資源消耗平均值。
資源 | 冷啟動（31s） | 熱啟動（5.375s） |
CPU資源消耗 |
|
|
內(nèi)存資源消耗 |
|
|
磁盤資源消耗 | < 512 MB | < 512 MB |
公網(wǎng)出流量 |
|
|
如果您領(lǐng)取了試用套餐，根據(jù)上述資源消耗情況，可以評估出套餐能支持多少張圖片的處理。
在連續(xù)調(diào)用的情況下，只有首次為冷啟動，后續(xù)均為熱啟動。所以以下評估信息以熱啟動的資源消耗進行評估。
資源 | 套餐額度 | 生成圖片張數(shù) |
CPU | 前50萬vCPU*秒vCPU資源使用免費 |
|
內(nèi)存 | 前200萬GB*秒內(nèi)存資源使用免費 |
|
取上述表格中的最小值，領(lǐng)取的套餐可以支持處理約11627張圖片。
除上述的資源外，本文提供的場景還會產(chǎn)生磁盤使用量和公網(wǎng)出流量，這部分的費用評估請參見公網(wǎng)出流量和磁盤使用量評估。