AI搜索開放平臺支持通過API的方式調用大模型服務，包含基于阿里巴巴自研模型底座微調的RAG專屬大模型，可結合文檔處理、檢索服務等，在RAG場景中廣泛應用，提升答案的準確率，降低幻覺率。
服務名稱 | 服務ID（service_id） | 服務描述 | API調用QPS限制（含主賬號與RAM子賬號） |
OpenSearch-通義千問-Turbo | ops-qwen-turbo | 以qwen-turbo大規模語言模型為模型底座，進行有監督的模型微調強化檢索增強的能力，減少有害性 | 3 說明 如需擴充QPS，請通過工單聯系技術支持協助。 |
通義千問-Turbo | qwen-turbo | 通義千問超大規模語言模型，支持中文英文等不同語言輸入 | |
通義千問-Plus | qwen-plus | 通義千問超大規模語言模型的增強版，支持中文英文等不同語言輸入 | |
通義千問-Max | qwen-max | 即通義千問2.0，通義千問千億級別超大規模語言模型，支持中文英文等不同語言輸入 |
前提條件
獲取身份鑒權信息
通過API調用AI搜索開放平臺服務時，需要對調用者身份進行鑒權，如何獲取鑒權信息請參見獲取API-KEY。
獲取服務調用地址
支持通過公網和VPC兩種方式調用服務，詳情請參見獲取服務接入地址。
請求說明
公共說明
請求body最大不能超過8MB。
HTTP請求方式
POST
URL
{host}/v3/openapi/workspaces/{workspace_name}/text-generation/{service_id} 參數說明：
host：調用服務的地址，支持通過公網和VPC兩種環境調用API服務，可參見獲取服務接入地址。
workspace_name：工作空間名稱，例如default。
service_id： 系統內置服務id，例如ops-qwen-turbo。
請求參數
Header參數
API-KEY認證
參數 | 類型 | 必填 | 描述 | 示例值 |
Content-Type | String | 是 | 請求類型：application/json | application/json |
Authorization | String | 是 | API-Key | Bearer OS-d1**2a |
Body參數
參數 | 類型 | 必填 | 描述 | 示例值 |
messages | List | 是 | 用戶與模型的對話歷史。list中的每個元素形式為{"role"：角色, "content": 內容}，角色當前可選值：system、user、assistant。
| |
stream | Boolean | 否 | 是否流式返回，默認為false。 當為true時，每次輸出為當前生成的整個序列，最后一次輸出為最終全部生成結果 | false |
parameters | Map | 否 | 請求大模型可調整參數。 | 無 |
parameters.seed | Integer | 否 | 生成時使用的隨機數種子，用戶控制模型生成內容的隨機性。seed支持無符號64位整數。在使用seed時，模型將盡可能生成相同或相似的結果，但目前不保證每次生成的結果完全相同。 | "parameters":{"seed":666} |
parameters.max_tokens | Integer | 否 | 用于限制模型生成token的數量，表示生成token個數的上限。其中qwen-turbo最大值和默認值為1500，qwen-max、qwen-max-1201 和 qwen-plus最大值和默認值均為2000。 | "parameters":{"max_tokens":1500} |
parameters.top_p | Float | 否 | 生成時，核采樣方法的概率閾值。例如，取值為0.8時，僅保留累計概率之和大于等于0.8的概率分布中的token，作為隨機采樣的候選集。取值范圍為（0,1.0)，取值越大，生成的隨機性越高；取值越低，生成的隨機性越低。注意，取值不要大于等于1。 | "parameters":{"top_p":0.7} |
parameters.top_k | Integer | 否 | 生成時，采樣候選集的大小。例如，取值為50時，僅將單次生成中得分最高的50個token組成隨機采樣的候選集。取值越大，生成的隨機性越高；取值越小，生成的確定性越高。注意：如果top_k參數為空或者top_k的值大于100，表示不啟用top_k策略，此時僅有top_p策略生效。 | "parameters":{"top_k":50} |
parameters.repetition_penalty | Integer | 否 | 用于控制模型生成時連續序列中的重復度。提高repetition_penalty時可以降低模型生成的重復度。1.0表示不作懲罰。沒有嚴格的取值范圍，只要大于0即可。 | "parameters":{"repetition_penalty":1.0} |
parameters.presence_penalty | Float | 否 | 用戶控制模型生成時整個序列中的重復度。提高presence_penalty時可以降低模型生成的重復度，取值范圍 [-2.0, 2.0]。 | "parameters":{"presence_penalty":1.0} |
parameters.temperature | Float | 否 | 用于控制隨機性和多樣性的程度。具體來說，temperature值控制了生成文本時對每個候選詞的概率分布進行平滑的程度。較高的temperature值會降低概率分布的峰值，使得更多的低概率詞被選擇，生成結果更加多樣化；而較低的temperature值則會增強概率分布的峰值，使得高概率詞更容易被選擇，生成結果更加確定。 取值范圍：[0, 2)，不建議取值為0，無意義。 | "parameters":{"temperature":0.85} |
parameters.stop | string/array | 否 | stop參數用于實現內容生成過程的精確控制，在模型生成的內容即將包含指定的字符串或token_id時自動停止，生成的內容不包含指定的內容。stop可以為string類型或array類型。
| "parameters":{"stop":["你好","天氣"]} |
說明：ops-qwen-turbo的最大tokens限制為4000
返回參數
參數 | 類型 | 描述 | 示例值 |
result.text | String | 本次模型生成的文本。 | 鄭州是一個... |
usage.output_tokens | Integer | 模型生成內容的Token長度。 | 100 |
usage.input_tokens | Integer | 用戶輸入內容的Token長度。 | 100 |
usage.total_tokens | Integer | 用戶輸入和模型生成內容的總Token數。 | 200 |
Curl請求示例
curl -XPOST -H"Content-Type: application/json"
"http://****-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/text-generation/ops-qwen-turbo"
-H "Authorization: Bearer 您的API-KEY"
-d "{
\"messages\":[
{
\"role\":\"system\",
\"content\":\"你是一個機器人助手\"
},
{
\"role\":\"user\",
\"content\":\"河南的省會是哪里\"
},
{
\"role\":\"assistant\",
\"content\":\"鄭州\"
},
{
\"role\":\"user\",
\"content\":\"那里有什么好玩的\"
}
],
\"stream\":false
}"響應示例
正常響應示例
{
"request_id": "450fcb80-f796-****-8d69-e1e86d29aa9f",
"latency": 564.903929,
"result": {
"text":"鄭州是一個歷史文化悠久且現代化的城市，有很多好玩的地方。以下是一些推薦的旅游景點：
嵩山少林寺：作為少林武術的發源地，嵩山少林寺一直以來都是游客向往的地方。在這里，你可以欣賞到精彩的武術表演，領略少林功夫的魅力。
黃河游覽區：黃河是中華民族的母親河，而在鄭州，你可以乘坐游船觀賞黃河的多種風情，感受大河之美。
鄭州動物園：這是一個適合全家游玩的景點，擁有各種珍稀動物，如大熊貓、金絲猴等，讓孩子們近距離接觸動物，增長見識。
鄭州博物館：如果你對歷史文化感興趣，那么鄭州博物館是一個不錯的選擇。這里收藏了大量珍貴的文物，展示了鄭州地區的歷史變遷和文化傳承。
鄭州世紀公園：這是一個大型的城市公園，擁有美麗的湖泊、花園和休閑設施。在這里，你可以進行散步、慢跑等戶外活動，享受大自然的寧靜與和諧。
以上只是鄭州眾多好玩地方的一部分，實際上鄭州還有很多其他值得一游的景點。希望你在鄭州的旅行能夠愉快！"
}
"usage": {
"output_tokens": 6320,
"input_tokens": 35,
"total_tokens": 6355,
}
}異常響應示例
在訪問請求出錯的情況下，輸出的結果中會通過code和message指明出錯原因。
{
"request_id": "45C8C9E5-6BCB-****-80D3-E298F788512B",
"latency": 0,
"code": "InvalidParameter",
"message": "JSON parse error: Unexpected character ..."
}狀態碼說明
請參見AI搜索開放平臺狀態碼說明。