LLM智能路由能顯著提升推理系統的資源使用水位，為客戶降本增效
適用客戶
基于EAS構建LLM驅動的應用和服務，如智能客服、內容生成、語言翻譯等。如果客戶需要高效且穩定地處理大量用戶請求，LLM智能路由能夠幫助客戶提升吞吐量和降低延時。
新增功能/規格
客戶在部署LLM類型的EAS服務時，支持關聯LLM智能路由，能夠對請求進行智能分發，從而保證后端實例處理的算力和顯存盡可能均勻，提升集群資源使用水位，
產品文檔
文檔內容是否對您有幫助？
LLM智能路由能顯著提升推理系統的資源使用水位，為客戶降本增效
基于EAS構建LLM驅動的應用和服務，如智能客服、內容生成、語言翻譯等。如果客戶需要高效且穩定地處理大量用戶請求，LLM智能路由能夠幫助客戶提升吞吐量和降低延時。
客戶在部署LLM類型的EAS服務時，支持關聯LLM智能路由，能夠對請求進行智能分發，從而保證后端實例處理的算力和顯存盡可能均勻，提升集群資源使用水位，