圖片內(nèi)容提取
AI搜索開放平臺(tái)支持通過API的方式調(diào)用圖片內(nèi)容提取服務(wù),您可以將服務(wù)集成到您的業(yè)務(wù)處理鏈路中,解析后的文本可用于圖片檢索問答場(chǎng)景。
服務(wù)列表
服務(wù)名稱 | 服務(wù)ID | 服務(wù)描述 | API調(diào)用QPS限制(含主賬號(hào)與RAM子賬號(hào)) |
圖片內(nèi)容理解服務(wù)001 | ops-image-analyze-vlm-001 | 提供圖片內(nèi)容解析服務(wù),可基于多模態(tài)大模型對(duì)圖片內(nèi)容進(jìn)行解析理解以及文字識(shí)別,解析后的文本可用于圖片檢索及問答等場(chǎng)景。 | 10 說明 如需擴(kuò)充QPS,請(qǐng)通過工單聯(lián)系技術(shù)支持協(xié)助。 |
圖片文本識(shí)別服務(wù)001 | ops-image-analyze-ocr-001 | 提供圖片內(nèi)容OCR識(shí)別服務(wù),可基于OCR能力對(duì)圖片文字進(jìn)行識(shí)別,將文字信息提取出來,用于圖片檢索及問答等場(chǎng)景。 |
獲取身份鑒權(quán)信息
通過API調(diào)用AI搜索開放平臺(tái)服務(wù)時(shí),需要對(duì)調(diào)用者身份進(jìn)行鑒權(quán),如何獲取鑒權(quán)信息請(qǐng)參見獲取API-KEY。
獲取服務(wù)調(diào)用地址
支持通過公網(wǎng)和VPC兩種方式調(diào)用服務(wù),詳情請(qǐng)參見獲取服務(wù)接入地址。
創(chuàng)建異步提取任務(wù)
請(qǐng)求方式
POST
URL
{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/async
host:調(diào)用服務(wù)的地址,支持通過公網(wǎng)和VPC兩種方式調(diào)用API服務(wù),可參見獲取服務(wù)接入地址。
workspace_name:工作空間名稱,例如default。
service_id: 系統(tǒng)內(nèi)置服務(wù)ID,例如ops-image-analyze-vlm-001。
請(qǐng)求參數(shù)
Header參數(shù)
API-KEY認(rèn)證
參數(shù) | 類型 | 必填 | 描述 | 示例值 |
Content-Type | String | 是 | 請(qǐng)求類型:application/json | application/json |
Authorization | String | 是 | API-Key | Bearer OS-d1**2a |
Body參數(shù)
參數(shù) | 類型 | 必填 | 描述 | 示例值 |
service_id | String | 是 | 系統(tǒng)內(nèi)置服務(wù)ID:
| ops-image-analyze-vlm-001 |
document.url | String | 否 | 指明文件保存的URL地址。URL和content二選一,支持http,https協(xié)議。 | http://path/to/***.jpg |
document.content | String | 否 | 指明文件的內(nèi)容,用Base64Encode編碼。URL和content二選一。 | "aGVsbG8gd29ybGQ=" |
document.file_name | String | 否 | 文件名,如果為空從URL推斷,如果URL為空需要顯式指定。 | test.jpg |
document.file_type | String | 否 | 文件類型,為空則從file_name的后綴推斷,無(wú)法推斷則需要顯式指定,如:jpg, jpeg, png, bmp,tiff。 | jpg |
返回參數(shù)
參數(shù) | 類型 | 描述 | 示例值 |
result.task_id | String | 圖片解析異步任務(wù)ID。 | 6177bf71-f87f-4d86-ab0c-e2b64dfe**** |
Curl請(qǐng)求示例
curl -XPOST -H"Content-Type: application/json"
"http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/async"
-H "Authorization: Bearer 您的API-KEY" \
-d "{
\"document\":{
\"url\":\"https://img01.yzcdn.cn/****/2017/05/11/FoTMgBa0SvUaAeFruY7i7O_EUMhf.jpg%21middle.jpg\",
\"file_type\":\"jpg\"
}
}"
響應(yīng)示例
正常響應(yīng)示例
{
"request_id":"CD4E26F0-23FF-449C-83DC-20CC8FF1****",
"latency":8.0,
"http_code":200,
"result":{
"task_id":"cd4e26f0-23ff-449c-83dc-20cc8ff1****"
}
}
異常響應(yīng)示例
在訪問請(qǐng)求出錯(cuò)的情況下,輸出的結(jié)果中會(huì)通過code和message指明出錯(cuò)原因。
{
"request_id":"0CCAC03B-D83F-432F-B6BA-C3049576****",
"latency":0.0,
"code":"InvalidParameter",
"http_code":400,
"message":"document.content or document.url required, and both cannot be present at the same time"
}
獲取異步提取任務(wù)狀態(tài)
請(qǐng)求方式
GET
URL
{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/async/task-status?task_id=${task_id}
host:調(diào)用服務(wù)的地址,支持通過公網(wǎng)和VPC兩種方式調(diào)用API服務(wù),可參見獲取服務(wù)接入地址。
workspace_name:工作空間名稱,例如default。
service_id: 系統(tǒng)內(nèi)置服務(wù)ID,例如ops-image-analyze-vlm-001。
task_id:創(chuàng)建圖片解析響應(yīng)中返回的任務(wù)標(biāo)識(shí)ID,例如cd4e26f0-23ff-449c-83dc-20cc8ff1****。
請(qǐng)求參數(shù)
Header參數(shù)
API-KEY認(rèn)證
參數(shù) | 類型 | 必填 | 描述 | 示例 |
Content-Type | string | 是 | 請(qǐng)求類型:application/json | application/json |
Authorization | string | 是 | API-Key | Bearer OS-d1**2a |
返回參數(shù)
參數(shù) | 類型 | 描述 | 示例 |
request_id | String | 系統(tǒng)對(duì)一次API調(diào)用賦予的唯一標(biāo)識(shí)。 | 3C09570D-12DB-46B4-BF0F-A100D79B**** |
latency | Float/Int | 請(qǐng)求耗時(shí),單位ms。 | 3.0 |
result.task_id | String | 異步任務(wù)ID,同步調(diào)用時(shí)無(wú)此項(xiàng)。 | a7e4c0f6-874c-47e3-b05b-02278a96e**** |
result.status | String | 任務(wù)狀態(tài):
| SUCCESS |
result.data | Object | 圖片解析的結(jié)果。 | {"content":"圖中展示的是XXXX", "content_type":"plain"} |
result.data.content | String | 圖片內(nèi)容。 | "XXX" |
result.data.content_type | String | 輸出的文本類型:plain。 | plain |
usage.token_count | int | 輸出的token數(shù),適用于ops-image-analyze-vlm-001服務(wù)。 | 1234 |
usage.pv_count | int | 調(diào)用次數(shù)(固定為1),適用于ops-image-analyze-ocr-001服務(wù)。 | 1 |
Curl請(qǐng)求示例
curl -XGET -H"Content-Type: application/json"
"http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/async/task-status?task_id=d9781786-20b8-4fb4-bbb5-38f82e69****"
-H "Authorization: Bearer 您的API-KEY"
響應(yīng)示例
正常響應(yīng)示例
{
"request_id":"3C09570D-12DB-46B4-BF0F-A100D79B****",
"latency":3.0,
"http_code":200,
"result":{
"status":"SUCCESS",
"data":{
"content":"圖中展示的是一臺(tái)WMF品牌的攪拌機(jī),周圍擺放著各種水果和蔬菜。攪拌機(jī)旁邊有一個(gè)裝有紅色果汁的杯子,杯子里還插著一根吸管。桌子上散落著幾片檸檬、幾個(gè)草莓和一些獼猴桃。在桌子的一角還有一個(gè)切好的菠蘿和一個(gè)橙子。此外,還有一些胡蘿卜被切成小塊放在攪拌機(jī)里準(zhǔn)備榨汁。整個(gè)場(chǎng)景看起來非常健康和美味。",
"content_type":"plain"
},
"task_id":"d9781786-20b8-4fb4-bbb5-38f82e69****"
},
"usage":{
"token_count":95
}
}
異常響應(yīng)示例
在訪問請(qǐng)求出錯(cuò)的情況下,輸出的結(jié)果中會(huì)通過code和message指明出錯(cuò)原因。
{
"request_id":"153FC253-468D-4C46-873E-2AEB918C****",
"latency":2.0,
"code":"BadRequest.TaskNotExist",
"http_code":404,
"message":"task[d9781786-20b8-4fb4-bbb5-38f82e690b****] not exist"
}
創(chuàng)建同步提取任務(wù)
請(qǐng)求方式
POST
URL
{host}/v3/openapi/workspaces/{workspace_name}/image-analyze/{service_id}/sync
參數(shù)說明
host:調(diào)用服務(wù)的地址,支持通過公網(wǎng)和VPC兩種方式調(diào)用API服務(wù),可參見獲取服務(wù)接入地址。
workspace_name:工作空間名稱,例如default。
service_id: 系統(tǒng)內(nèi)置服務(wù)ID,例如ops-image-analyze-vlm-001。
請(qǐng)求參數(shù)
Header參數(shù)
API-KEY認(rèn)證
參數(shù) | 類型 | 必填 | 描述 | 示例值 |
Content-Type | String | 是 | 請(qǐng)求類型:application/json | application/json |
Authorization | String | 是 | API-Key | Bearer OS-d1**2a |
Body參數(shù)
參數(shù) | 類型 | 必填 | 描述 | 示例值 |
service_id | String | 是 | 系統(tǒng)內(nèi)置服務(wù)ID:
| ops-image-analyze-vlm-001 |
document.url | String | 否 | 指明文件保存的URL地址。URL和content二選一,支持http,https協(xié)議。 | http://path/to/***.jpg |
document.content | String | 否 | 文檔內(nèi)容,用Base64Encode編碼 與document.url二選一即可。 | "aGVsbG8gd29ybGQ=" |
document.file_name | String | 否 | 文件名,如果為空從URL推斷,如果URL為空需要顯式指定。 | test.jpg |
document.file_type | String | 否 | 文件類型,如果為空從file_name的后綴推斷,如果無(wú)法推斷需要顯式指定,如:jpg,jpeg,png, bmp,tiff。 | jpg |
返回參數(shù)
參數(shù) | 類型 | 描述 | 示例值 |
result.status | String | 任務(wù)狀態(tài):
| SUCCESS |
result.error | String | status=FAIL時(shí)的錯(cuò)誤信息內(nèi)容,正常情況為空。 | 文檔解密失敗 |
result.data | Object | 圖片解析的結(jié)果。 | {"content":"圖中展示的是XXXX", "content_type":"plain"} |
result.data.content | String | 圖片內(nèi)容。 | "XXX" |
result.data.content_type | String | 輸出的文本類型:plain。 | plain |
request_id | String | 系統(tǒng)對(duì)一次API調(diào)用賦予的唯一標(biāo)識(shí)。 | B4AB89C8-B135-xxxx-A6F8-2BAB801A2CE4 |
latency | Float/Int | 請(qǐng)求耗時(shí),單位ms。 | 10 |
usage | Object | 本次調(diào)用產(chǎn)生的計(jì)量信息。 | "usage": { "token_count": 1234 } |
usage.token_count | Int | 輸出的token數(shù),適用于ops-image-analyze-vlm-001服務(wù)。 | 1234 |
usage.pv_count | Int | 調(diào)用次數(shù)(固定為1),適用于ops-image-analyze-ocr-001服務(wù)。 | 1 |
Curl請(qǐng)求示例
curl -XPOST -H"Content-Type: application/json"
"http://***-hangzhou.opensearch.aliyuncs.com/v3/openapi/workspaces/default/image-analyze/ops-image-analyze-vlm-001/sync"
-H "Authorization: Bearer 您的API-KEY"
\ -d "{
\"document\":{
\"url\":\"https://img01.yzcdn.cn/****/2017/05/11/FoTMgBa0SvUaAeFruY7i7O_EUMhf.jpg%21middle.jpg\",
\"file_type\":\"jpg\"
}
}"
響應(yīng)示例
正常響應(yīng)示例
{
"request_id":"BB5CD4C3-C8B6-40E7-A037-4ADAE88A****",
"latency":12525.0,
"http_code":200,
"result":{
"status":"SUCCESS",
"data":{
"content":" 圖中展示的是一臺(tái)WMF品牌的攪拌機(jī),周圍擺放著各種水果和蔬菜。攪拌機(jī)旁邊有一個(gè)裝有紅色果汁的杯子,杯子里還插著一根吸管。桌子上散落著幾片檸 檬、幾個(gè)草莓和一些獼猴桃。在桌子的一角還有一個(gè)切好的菠蘿和一個(gè)橙子。此外,還有一些胡蘿卜被切成小塊放在攪拌機(jī)里準(zhǔn)備榨汁。整個(gè)場(chǎng)景看起來非常健康和美味。",
"content_type":"plain"
}
},
"usage":{
"token_count":95
}
}
異常響應(yīng)示例
在訪問請(qǐng)求出錯(cuò)的情況下,輸出的結(jié)果中會(huì)通過code和message指明出錯(cuò)原因。
{
"request_id": "6F33AFB6-A35C-4DA7-AFD2-9EA16CCF****",
"latency": 2.0,
"code": "InvalidParameter",
"http_code": 400,
"message": "JSON parse error: Cannot deserialize value of type `ImageStorage` from String \\"xxx\\"
}
狀態(tài)碼說明
HTTP 狀態(tài)碼 | 錯(cuò)誤碼 | 描述 |
200 | - | 請(qǐng)求成功,包括任務(wù)失敗場(chǎng)景,實(shí)際任務(wù)狀態(tài)需從result.status中判斷。 |
404 | BadRequest.TaskNotExist | 任務(wù)不存在。 |
400 | InvalidParameter | 不合法請(qǐng)求。 |
500 | InternalServerError | 內(nèi)部錯(cuò)誤。 |
更多狀態(tài)碼說明,請(qǐng)參見狀態(tài)碼說明。