本文介紹如何通過ModelScope魔搭社區中的多模態表征開源模型進行多模態向量生成，并入庫至向量檢索服務DashVector中進行向量檢索。
ModelScope魔搭社區旨在打造下一代開源的模型即服務共享平臺，為泛AI開發者提供靈活、易用、低成本的一站式模型服務產品，讓模型應用更簡單。
ModelScope魔搭社區的愿景是匯集行業領先的預訓練模型，減少開發者的重復研發成本，提供更加綠色環保、開源開放的AI開發環境和模型服務，助力綠色“數字經濟”事業的建設。 ModelScope魔搭社區將以開源的方式提供多類優質模型，開發者可在平臺上免費體驗與下載使用。
在ModelScope魔搭社區，您可以：
免費使用平臺提供的預訓練模型，支持免費下載運行
一行命令實現模型預測，簡單快速驗證模型效果
用自己的數據對模型進行調優，定制自己的個性化模型
學習系統性的知識，結合實訓，有效提升模型研發能力
分享和貢獻你的想法、評論與模型，讓更多人認識你，在社區中成長
前提條件
DashVector：
已創建Cluster：創建Cluster
已獲得API-KEY：API-KEY管理
已安裝最新版SDK：安裝DashVector SDK
ModelScope：
已安裝最新版SDK：
pip install -U modelscope
CLIP模型
簡介
本項目為CLIP模型的中文版本，使用大規模中文數據進行訓練（~2億圖文對），可用于圖文檢索和圖像、文本的表征提取，應用于搜索、推薦等應用場景。
模型ID | 向量維度 | 度量方式 | 向量數據類型 | 備注 |
damo/multi-modal_clip-vit-base-patch16_zh | 512 | Cosine | Float32 |
|
damo/multi-modal_clip-vit-large-patch14_zh | 768 | Cosine | Float32 |
|
damo/multi-modal_clip-vit-huge-patch14_zh | 1024 | Cosine | Float32 |
|
damo/multi-modal_clip-vit-large-patch14_336_zh | 768 | Cosine | Float32 |
|
關于CLIP模型更多信息請參考：CLIP模型
使用示例
需要進行如下替換代碼才能正常運行：
DashVector api-key替換示例中的{your-dashvector-api-key}
DashVector Cluster Endpoint替換示例中的{your-dashvector-cluster-endpoint}
使用上表中模型ID替換示例中的{model_id}
使用上表中向量維度替換示例中的{model_dim}
from modelscope.utils.constant import Tasks
from modelscope.pipelines import pipeline
from modelscope.preprocessors.image import load_image
from typing import List
from dashvector import Client
pipeline = pipeline(task=Tasks.multi_modal_embedding, model='{model_id}')
def generate_text_embeddings(texts: List[str]):
inputs = {'text': texts}
result = pipeline.forward(input=inputs)
return result['text_embedding'].numpy()
def generate_img_embeddings(img: str):
input_img = load_image(img)
inputs = {'img': input_img}
result = pipeline.forward(input=inputs)
return result['img_embedding'].numpy()[0]
# 創建DashVector Client
client = Client(
api_key='{your-dashvector-api-key}',
endpoint='{your-dashvector-cluster-endpoint}'
)
# 創建DashVector Collection
rsp = client.create('CLIP-embedding', dimension={model_dim})
assert rsp
collection = client.get('CLIP-embedding')
assert collection
# 向量入庫DashVector
collection.insert(
[
('ID1', generate_text_embeddings(['阿里云向量檢索服務DashVector是性能、性價比具佳的向量數據庫之一'])[0]),
('ID2', generate_img_embeddings('https://clip-cn-beijing.oss-cn-beijing.aliyuncs.com/pokemon.jpeg'))
]
)
# 向量檢索
docs = collection.query(
generate_text_embeddings(['The best vector database'])[0]
)
print(docs)