久章草在线毛片视频播放,免费无挡无摭十八禁视频,强奷美女班主任电影

EAS支持將從開源社區下載的模型或您自己訓練獲得的模型部署為推理服務或AI-Web應用。針對不同方式獲取的訓練模型，EAS支持不同的部署方式。此外，EAS還提供了一系列針對特定場景的部署方式，您可以通過控制臺快速將其部署為在線服務。本文介紹如何使用控制臺方式部署及管理服務。

背景信息

您可以通過控制臺部署及管理EAS。

控制臺部署支持自定義模型部署和場景化模型部署兩種方式：
- 自定義模型部署：自定義模型部署提供更靈活的部署方式，您可以通過鏡像、processor等方式快速進行AI-Web應用或推理服務的部署。
- 場景化模型部署：EAS提供了多種針對特定場景的部署解決方案，包括AI繪畫-SDWebUI部署、LLM大語言模型、大模型RAG對話系統、AI視頻生成-ComfyUI部署、ModelScope模型部署、HuggingFace模型部署、Triton部署和TFServing部署。對于這些不同的部署場景，均提供了簡易的部署方法。
管理EAS
EAS支持通過控制臺方式管理已部署的模型服務，包括：查看服務詳情、更新服務資源配置、更新服務版本、擴縮容等操作。

使用步驟

登錄PAI控制臺，在頁面上方選擇目標地域，并在右側選擇目標工作空間，然后單擊進入EAS。

在推理服務頁簽，單擊部署服務。在部署服務頁面，選擇并單擊相應的部署方式。

部署方式		描述
自定義模型部署	自定義部署	提供更靈活的部署方式。支持通過Processor的形式，或鏡像、模型、代碼、運行命令和三方庫的方式，將您自己的模型部署為在線服務或AI-Web應用。具體的參數配置說明，請參見自定義部署參數說明。
自定義模型部署	JSON獨立部署	根據輸入的JSON文件內容來完成模型部署。具體的參數配置說明，請參見服務模型所有相關參數說明。
場景化模型部署	AI繪畫-SDWebUI部署	一鍵部署基于開源SDWebUI繪畫的AIGC服務，提供Web應用和API調用兩種部署方式，通過用戶與計算資源分離實現企業級應用。
	LLM大語言模型部署	一鍵部署支持WebUI和API調用的LLM應用，您可以利用LangChain框架集成企業知識庫，以實現智能問答和自動化功能。通過Blade內置推理加速，實現簡單的部署方式及較高性價比的推理方案。
	大模型RAG對話系統	一鍵部署集成了大語言模型（LLM）和檢索增強生成（RAG）技術的對話系統服務。適用于問答、摘要生成和依賴外部知識的自然語言處理任務。
	AI視頻生成-ComfyUI部署	一鍵部署基于ComfyUI和Stable Video Diffusion模型的AI視頻生成服務，幫助您完成社交平臺短視頻內容生成、動畫制作等任務。
	Modelscope模型部署	一鍵部署ModelScope開源模型，快速啟動模型服務。
	Triton Inference Server鏡像部署	利用基于Trition Server的推理服務引擎，將TensorRT、TensorFlow、PyTorch或ONNX等多種AI框架的模型一鍵部署為在線推理服務。
	TensorFlow Serving鏡像部署	利用基于TensorFlow Serving的推理服務引擎，將Tensorflow標準的SavedModel格式的模型一鍵部署為在線推理服務。

參數配置完成后，單擊部署。等待一段時間，當服務狀態變為運行中時，表明服務部署成功。

自定義部署參數說明

基本信息

參數	描述
服務名稱	根據界面提示，自定義服務名稱。
所屬群組	服務分組擁有統一的流量入口，適用于灰度發布、藍綠部署、異構資源、異步推理等場景。詳情請參見服務群組。

環境信息

部署方式支持鏡像部署和processor部署。

鏡像部署：如果您想通過鏡像、代碼及模型掛載的方式快速進行AI推理服務的部署，則選擇該部署方式。
processor部署：如果您想通過模型和Processor（包括預置Processor和自定義Processor）進行推理服務的部署，則選擇該部署方式。

說明

在復雜的模型推理場景中，例如AIGC、視頻處理等場景，推理耗時比較長，需要打開異步服務開關，實現異步推理服務，詳情請參見部署異步推理服務。

鏡像部署

鏡像部署支持異步服務和開啟Web應用。如果您使用的鏡像中集成了WebUI應用的部分，開啟Web應用后平臺會自動開啟web服務器，從而幫助您直接訪問前端WebUI頁面。

參數	描述
鏡像配置	支持以下幾種配置方式：官方鏡像：由阿里云PAI產品提供的多種官方鏡像。自定義鏡像：選擇已創建的自定義鏡像。關于如何創建自定義鏡像，詳情請參見自定義鏡像。鏡像地址：支持輸入用于部署模型服務的鏡像地址，例如`registry.cn-shanghai.aliyuncs.com/xxx/image:tag`。您可以使用PAI官方公開鏡像地址，也可以使用自定義鏡像地址。鏡像地址的獲取方式，詳情請參見自定義鏡像。重要選擇的鏡像地址和部署的服務需要在同一個地域。如果您使用私有倉庫中的鏡像，則需要單擊輸入賬號密碼，輸入鏡像倉庫用戶名和鏡像倉庫密碼。
模型配置	支持通過以下方式配置模型文件。 OSS 配置OSS源地址路徑，即選擇OSS Bucket路徑。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取OSS路徑中的文件。通用型NAS 選擇文件系統：配置為已創建的NAS文件系統的ID。您可以登錄NAS控制臺，在對應的地域，查看NAS文件系統ID。也可從下拉列表中查看擁有的NAS文件系統ID。文件系統掛載點：選擇NAS文件系統和掛載點，EAS服務通過掛載點來訪問NAS文件系統。如何創建通用型NAS文件系統，詳情請參見創建文件系統。文件系統路徑：需要掛載的NAS中的源路徑，即NAS實例內部的文件系統路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取NAS路徑中的文件。智算CPFS：如果使用的是靈駿相關的計算資源配額部署服務，則支持掛載靈駿CPFS的存儲資源。文件系統：選擇該賬號下的智算CPFS文件系統。如何創建智算CPFS文件系統，詳情請參見創建文件系統。源路徑：需要掛載的智算CPFS的源路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取CPFS路徑中的文件。 PAI模型根據模型名稱和模型版本選擇已注冊的模型。關于如何查看已注冊的模型，詳情請參見注冊及管理模型。配置掛載路徑：掛載服務實例中的目標路徑，用來讀取模型文件。
運行命令	鏡像的啟動命令，例如：`python /run.py`。同時您需要輸入端口號，即鏡像啟動后監聽的本地HTTP端口。重要由于EAS引擎監聽固定的8080和9090端口，因此端口需要避開8080和9090端口。
代碼配置	支持使用以下幾種進行代碼配置。 OSS 配置OSS源地址路徑，即選擇OSS Bucket路徑。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取OSS路徑中的文件。通用型NAS 選擇文件系統：配置為已創建的NAS文件系統的ID。您可以登錄NAS控制臺，在對應的地域，查看NAS文件系統ID。也可從下拉列表中查看擁有的NAS文件系統ID。文件系統掛載點：選擇NAS文件系統和掛載點，EAS服務通過掛載點來訪問NAS文件系統。如何創建通用型NAS文件系統，詳情請參見創建文件系統。文件系統路徑：需要掛載的NAS中的源路徑，即NAS實例內部的文件系統路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取NAS路徑中的文件。智算CPFS：如果使用的是靈駿相關的計算資源配額部署服務，則支持掛載靈駿CPFS的存儲資源。文件系統：選擇該賬號下的智算CPFS文件系統。如何創建智算CPFS文件系統，詳情請參見創建文件系統。源路徑：需要掛載的智算CPFS的源路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取CPFS路徑中的文件。 Git Git地址：配置Git代碼地址。掛載路徑：掛載服務實例中的目標路徑，用來讀取Git代碼地址中的代碼文件。代碼配置選擇已創建的代碼集，如果沒有代碼集，您可以單擊新建代碼配置來創建一個新的代碼集。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取PAI代碼集。自定義數據集選擇已創建的數據集，如果沒有數據集，您可以單擊新建數據集來創建一個新的數據集。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取PAI數據集。
三方庫配置	支持以下兩種方式配置第三方庫。三方庫列表：直接在下方文本框中輸入三方庫。 requirements.txt文件路徑：將第三方庫寫入requirements.txt文件中，在下方文本框中指定該requirements.txt文件的路徑。
環境變量	配置變量名和變量值：變量名：鏡像執行時的環境變量名稱。變量值：鏡像執行時的環境變量取值。

processor部署

部署方式選擇processor部署時，參數配置如下表所示：

參數	描述
模型配置	您可以通過以下任何一種方式配置模型文件：對象存儲（OSS）：選擇模型文件所在的OSS路徑。公網下載地址：輸入可以公開訪問的URL地址。 PAI模型：根據模型名稱和模型版本選擇已注冊的模型。關于如何查看已注冊的模型，詳情請參見注冊及管理模型。
Processor種類	支持所有的預置官方Processor和自定義Processor，關于預置官方Processor的更多信息，詳情請參見預置Processor使用說明。
模型類別	當Processor種類選擇EasyVision(CPU)、EasyVision(GPU)、EasyTransfer(CPU)、EasyTransfer(GPU)、EasyNLP、EasyCV時，支持配置該參數。上述每個Processor種類對應的模型類別不同，請根據業務使用場景選擇。
Processor語言	當Processor種類選擇自定義processor時，支持配置。支持選擇cpp、java及python。
Processor包	當Processor種類選擇自定義processor時，支持配置。您可以通過以下任何一種方式配置Processor包：對象存儲（OSS）：選擇文件所在的OSS路徑。公網下載地址：輸入可以公開訪問的URL地址。
Processor主文件	當Processor種類選擇自定義processor時，支持配置。自定義Processor包的主文件。
掛載配置	支持使用以下幾種掛載方式。 OSS 配置OSS源地址路徑，即選擇OSS Bucket路徑。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取OSS路徑中的文件。通用型NAS 選擇文件系統：配置為已創建的NAS文件系統的ID。您可以登錄NAS控制臺，在對應的地域，查看NAS文件系統ID。也可從下拉列表中查看擁有的NAS文件系統ID。文件系統掛載點：選擇NAS文件系統和掛載點，EAS服務通過掛載點來訪問NAS文件系統。如何創建通用型NAS文件系統，詳情請參見創建文件系統。文件系統路徑：需要掛載的NAS中的源路徑，即NAS實例內部的文件系統路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取NAS路徑中的文件。智算CPFS：如果使用的是靈駿相關的計算資源配額部署服務，則支持掛載靈駿CPFS的存儲資源。文件系統：選擇該賬號下的智算CPFS文件系統。如何創建智算CPFS文件系統，詳情請參見創建文件系統。源路徑：需要掛載的智算CPFS的源路徑。掛載路徑：掛載到服務實例中的目標路徑，用來讀取CPFS路徑中的文件。 Git Git地址：配置Git代碼地址。掛載路徑：掛載服務實例中的目標路徑，用來讀取Git代碼地址中的代碼文件。代碼配置選擇已創建的代碼集，如果沒有代碼集，您可以單擊新建代碼配置來創建一個新的代碼集。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取PAI代碼集。自定義數據集選擇已創建的數據集，如果沒有數據集，您可以單擊新建數據集來創建一個新的數據集。配置掛載路徑，即配置掛載服務實例中的目標路徑，用來讀取PAI數據集。
環境變量	配置變量名和變量值：變量名：鏡像執行時的環境變量名稱。變量值：鏡像執行時的環境變量取值。

資源部署

在資源部署區域配置以下參數。

參數	描述
資源類型	支持選擇公共資源或已購買（創建）的專屬資源組。如何購買專屬資源組，詳情請參見使用專屬資源組。說明建議在任務量相對較少、對任務時效性要求不高的場景下使用公共資源組。
GPU共享	當資源類型選擇EAS資源組時，支持打開GPU共享功能。具體配置方法，請參見GPU共享。說明當前GPU共享功能僅供白名單用戶受限申請使用，如果您希望使用GPU共享功能，請先提交工單，申請添加GPU共享功能使用白名單。
實例數	建議配置多個服務實例，以避免單點部署帶來的風險。當資源類型選擇 EAS資源組時，您需要為每個服務實例配置GPU、CPU和內存（GB）參數。
部署資源	當資源類型選擇公共資源時：支持選擇單個CPU或GPU實例規格。如果您領取了免費資源包，支持在華北2（北京）、華東2（上海）、華東1（杭州）、華南1（深圳）、西南1（成都）、華南2（河源）地域，使用試用活動頁簽的免費機型，詳情請參見新用戶免費試用。支持配置多規格實例或競價實例。搶占型保留時長：您可以為搶占型實例設置1小時保護期，即實例搶占成功后，默認至少可以使用1小時。部署資源：支持同時配置常規型資源或搶占型資源，并按照配置規格的先后順序作為優先級排序來拉起資源，最多支持添加5個資源類型。如果您設置搶占型資源，需要為該機器資源設置出價上限，用來自動競價搶占資源。
彈性資源池	僅資源類型選擇EAS資源組時，支持配置該參數。您可以打開開啟彈性資源池開關并參考部署資源進行公共資源配置，為部署在專屬資源組中的服務開啟彈性資源池能力。彈性資源池配置完成后，當服務擴容時遇到機器資源不足時，新擴出來的實例會自動啟動在已配置的按量付費的公共資源上，并以按量計費的方式來進行計費；在縮容時會優先縮減公共資源組中的服務實例。更多詳細內容，請參見彈性資源池。
額外系統盤	資源類型選擇公共資源或者選擇EAS資源組且配置彈性資源池時，支持配置該參數。為EAS服務配置額外系統盤，單位為GB，取值范圍為0~2000 GB。EAS免費贈送30 GB系統盤，如果此處配置20 GB，則實際可用的存儲空間為：`免費的30 GB+購買的20 GB=50 GB`。額外購買的系統盤按容量和使用時長計費，計費詳情請參見模型在線服務（EAS）計費說明。

專有網絡（可選）

在專有網絡區域，配置專有網絡（VPC）、交換機和安全組名稱參數，為部署在公共資源組中的EAS服務開通VPC高速直連。詳情請參見配置網絡連通。

網絡連通后，該VPC環境中的ECS服務器等即可通過創建的彈性網卡訪問部署在公共資源組中的EAS服務，同時EAS服務也可以訪問VPC環境中的其他云產品。

服務功能（可選）

在服務功能區域，支持配置以下參數：

參數	描述
內存緩存加速	EAS通過將模型文件緩存到本地目錄中，來提高讀取數據的速度，減少延時。更多關于該功能的詳細介紹及配置方法，請參見內存緩存本地目錄。
專屬網關	通過配置專屬網關，不僅可以增強訪問控制與安全性，還可以提升網絡訪問服務的效率。如何創建專屬網關以及配置訪問控制，詳情請參見服務專屬網關。
LLM智能路由	打開開關，并選擇LLM智能路由。如果沒有可選的LLM智能路由，您可以單擊新建LLM智能路由進行創建，詳情請參見LLM智能路由：提升LLM推理系統整體效率。 LLM智能路由是一種特殊的EAS服務，可以與LLM推理服務綁定。當LLM推理服務有多個后端實例時，LLM智能路由能夠根據后端負載進行動態分發，保證后端實例處理的算力和顯存盡可能均勻，提升集群資源使用水位。
健康檢查	打開健康檢查開關，為服務配置健康檢查功能。更多關于該功能的詳細介紹及配置方法，請參見健康檢查。
共享內存	配置實例的共享內存，直接對內存進行讀寫操作，無需數據的復制或傳輸。單位為GB。
啟用GRPC	表示是否開啟服務網關的GRPC連接，取值如下： false：默認值，表示網關不開啟GRPC鏈接，默認支持HTTP請求。 true：表示網關開啟GRPC連接。
服務響應超時時長	服務端為每個請求配置的超時時間，默認為5秒。
滾動更新	更新創建實例數：服務滾動更新過程中，多于指定實例數，最多可以額外創建的實例個數。該參數可以為正整數，表示實例個數；也可以為百分比，例如2%。默認比例為2%。增大該參數可以提高服務更新速度。例如：服務實例個數指定為100，該參數配置為20，則服務更新開始后會立即創建20個新實例。最大不可用實例數：服務滾動更新過程中，最大不可用的實例個數。該參數可以在服務更新過程中，為新實例釋放資源，避免服務因空閑資源不足而更新卡住。目前在專有資源組中，該參數默認為1；在公共資源組中，該參數默認為0。例如：該參數為N，則服務更新開始時會立即停止N個實例。說明如果空閑資源充足，可以將該參數配置為0。該參數配置過大可能會影響服務穩定性。因為在服務更新瞬間，可用實例個數會減少，則單實例承載的流量會變大。您需要權衡服務穩定性和資源情況來配置該參數。
優雅退出	優雅退出時間：表示實例的優雅退出時間，單位為秒，默認為30秒。EAS服務采用滾動更新的策略，實例會先進入Terminating狀態，服務會先將流量從要退出的實例上切走，實例等待30秒后將已收到的請求處理完成后退出。如果請求處理時間很長，為保證服務更新時，狀態為in progress的請求都能被處理完，您可以將該參數值適當調大。重要如果將該參數值調小則會影響服務穩定性，將該參數配置過大則會導致服務更新速度過慢，如果無特別需求請不要配置該參數。是否發送SIGTERM：取值如下： false（默認值）：實例進入退出狀態時不會發送SIGTERM信號。 true：在服務實例進入退出狀態時，系統會立即向主進程發送SIGTERM信號，服務內進程收到該信號后需要在信號處理函數中進行自定義的優雅退出操作，若不處理該信號可能導致主進程收到信號后直接退出，從而使優雅退出失敗。
保存調用記錄	支持將服務所有的請求和響應記錄持久化保存到MaxCompute數據表或日志服務SLS中。打開開關，并選擇保存記錄方式：大數據MaxCompute MaxCompute項目：在下拉列表中選擇已創建的項目。如果沒有可選的項目，您也可以單擊新建MaxCompute項目進行創建，詳情請參見通過MaxCompute控制臺創建項目。 MaxCompute數據表：配置數據表名稱，部署服務時，系統會自動在MaxCompute項目中創建數據表。日志服務SLS 選擇SLS Project：日志服務中的資源管理單元，用于資源隔離和控制。選擇已創建的項目，如果沒有可選的項目，您可以單擊前往創建SLS Project進行創建，詳情請參見管理Project。 logstore：日志庫（Logstore）是日志服務中日志數據的采集、存儲和查詢單元。配置logstore，部署服務時，系統會自動在SLS Project項目中創建logstore。
任務模式	打開開關，您可以將推理服務部署成彈性Job服務。更多關于彈性Job服務的內容介紹，請參見彈性Job服務功能介紹。

服務配置

在服務配置區域，顯示以上服務配置對應的JSON配置文件內容。

您可以根據需要補充一些在界面不支持配置的配置項，詳情請參見服務模型所有相關參數說明。

基于JSON配置文件，您可以通過EASCMD客戶端部署模型，詳情請參見創建服務。

管理EAS模型在線服務

您可以在模型在線服務頁面的推理服務頁簽，查看已部署的服務列表，并對目標服務進行停止、啟動、刪除等操作。

警告

停止或刪除模型服務，會導致依賴該服務的相關請求失敗，請謹慎操作。

查看服務詳情
- 單擊目標服務名稱，進入服務詳情頁面。在該頁面查看服務基本信息、服務實例和服務配置等。
- 在服務詳情頁面上方，您可以切換至不同的功能頁簽，以查看服務監控、日志、部署事件等信息。
查看容器日志
目前EAS在服務實例維度已經實現了容器日志的聚合和過濾，一旦服務實例運行失敗，您可以通過查看容器日志來排查報錯信息。具體操作步驟如下：
1. 單擊目標服務名稱，進入服務詳情頁面。
2. 在服務實例區域，單擊操作列下的容器列表。
3. 在容器列表對話框中，單擊操作列下的日志。
更新服務資源配置
在服務詳情頁面，單擊資源信息區域的資源配置。
更新已有服務版本
在推理服務列表中，單擊目標服務操作列下的更新，來更新服務版本。
警告
服務更新過程中將暫時中斷運行，可能導致依賴此服務的請求失敗，請務必謹慎操作。
服務更新完成后，單擊當前版本，查看版本信息或切換服務版本。
擴縮容
在推理服務列表中，單擊目標服務操作列下的擴縮容，配置實例數，來提高或減少指定模型服務占用的資源。
彈性伸縮
根據業務需求，配置服務以自動調整EAS其占用的資源。具體操作，請參見方式一：通過控制臺管理水平自動擴縮容功能。

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

服務部署：控制臺