建立數據索引,利用文件的元數據和向量語義作為查詢條件,快速查找OSS中的圖片、視頻、文檔、音頻文件。
OSS數據索引的優勢
簡單易用:直接使用OSS構建的數據索引,無需搬遷數據和自建檢索系統。
多模態支持:支持多種索引類型,包括OSS元數據、媒體元數據、自定義元數據、向量語義;提供近百種檢索條件。
高性能檢索:實現秒級索引和聚合,能夠構建最大支持百億文件的索引庫,滿足大規模數據處理需求。
支持的數據檢索方式
OSS支持標量檢索和向量檢索兩種檢索方式:
項目 | 標量檢索 | 向量檢索 |
定義 | 基于OSS元數據、對象ETag、對象標簽等元數據屬性進行匹配查詢 | 通過將文檔、圖片、視頻、音頻等文件的信息表示為向量,并利用這些向量進行語義相似性的比較和檢索,實現根據文件內容進行語義查詢 |
使用場景 | 文件查詢、文件統計 | 多模態檢索、復雜文件檢索 |
查詢條件示例 | 查詢2024年9月14日上傳的、私有的、標準存儲的文件 | 查詢和“蘋果”相關的圖片 |
返回結果示例 | 返回2024年9月14日上傳的、私有的、標準存儲的文件列表 | 返回和“蘋果”相關的圖片文件列表 |
如何選擇數據檢索方式
根據所需的檢索條件,參考下表選擇標量檢索或向量檢索:
檢索條件 | 標量檢索 | 向量檢索 |
OSS元數據 | ? | ? |
對象標簽和對象ETag | ? | ? |
自定義元數據 | ? | ? |
多媒體元數據 | ? | ? |
向量語義 | ? | ? |
關于標量檢索支持的所有元數據字段,請參見附錄:標量檢索的字段和操作符列表。
關于向量檢索支持的所有元數據字段,請參見附錄:向量檢索的字段和操作符列表。
如何進行數據檢索
對OSS中的數據進行標量檢索和向量檢索的流程如下:
進行標量檢索
對OSS中的文件基于元數據屬性進行查詢的流程如下圖所示:
應用上傳圖片、視頻、文檔、音頻等文件到OSS Bucket。
具備OSS管理權限的RAM用戶為Bucket開啟數據索引,并選擇標量檢索。
OSS使用系統默認的索引表結構,自動建立包含OSS元數據、對象ETag、對象標簽的數據索引。
應用調用DoMetaQuery接口基于元數據屬性進行查詢。
OSS返回滿足查詢條件的文件列表。
進行向量檢索
對OSS中的文件基于元數據屬性和向量語義進行組合查詢的流程如下圖所示:
應用上傳圖片、視頻、文檔、音頻等文件到OSS Bucket。
具備OSS管理權限的RAM用戶為Bucket開啟數據索引,并選擇向量檢索。
OSS使用系統默認的索引表結構和Embedding向量化模型,自動建立包含OSS元數據、對象ETag、對象標簽、自定義元數據、多媒體元數據、向量語義的數據索引。
應用調用DoMetaQuery接口基于元數據屬性和向量語義進行組合查詢。
OSS返回滿足查詢條件的文件列表。
開始進行數據檢索
進行標量檢索和向量檢索的詳細步驟請參見: