本文介紹如何通過Jina Embeddings v2模型將文本轉換為向量,并入庫至向量檢索服務DashVector中進行向量檢索。
前提條件
DashVector:
已創建Cluster:創建Cluster
已獲得API-KEY:API-KEY管理
已安裝最新版SDK:安裝DashVector SDK
Jina AI
已獲得API密鑰:Jina Embeddings v2模型
Jina Embeddings v2模型
簡介
Jina Embeddings v2模型,唯一支持 8192 個詞元長度的開源向量模型,在大規模文本向量化基準 (MTEB) 的功能和性能方面與 OpenAI 的閉源模型 text-embedding-ada-002 相當。
模型名稱 | 向量維度 | 度量方式 | 向量數據類型 | 備注 |
jina-embeddings-v2-small-en | 512 | Cosine | Float32 |
|
jina-embeddings-v2-base-en | 768 | Cosine | Float32 |
|
jina-embeddings-v2-base-zh | 768 | Cosine | Float32 |
|
說明
關于Jina Embeddings v2模型更多信息請參考:Jina Embeddings v2模型
使用示例
說明
需要進行如下替換代碼才能正常運行:
DashVector api-key替換示例中的{your-dashvector-api-key}
DashVector Cluster Endpoint替換示例中的{your-dashvector-cluster-endpoint}
Jina AI api-key替換示例中的{your-jina-api-key}
from dashvector import Client
import requests
from typing import List
# 調用Jina Embeddings v2模型,將文本embedding為向量
def generate_embeddings(texts: List[str]):
headers = {
'Content-Type': 'application/json',
'Authorization': 'Bearer {your-jina-api-key}'
}
data = {'input': texts, 'model': 'jina-embeddings-v2-base-zh'}
response = requests.post('https://api.jina.ai/v1/embeddings', headers=headers, json=data)
return [record["embedding"] for record in response.json()["data"]]
# 創建DashVector Client
client = Client(
api_key='{your-dashvector-api-key}',
endpoint='{your-dashvector-cluster-endpoint}'
)
# 創建DashVector Collection
rsp = client.create('jina-text-embedding', 768)
assert rsp
collection = client.get('jina-text-embedding')
assert collection
# 向量入庫DashVector
collection.insert(
('ID1', generate_embeddings(['阿里云向量檢索服務DashVector是性能、性價比具佳的向量數據庫之一'])[0])
)
# 向量檢索
docs = collection.query(
generate_embeddings(['The best vector database'])[0]
)
print(docs)
文檔內容是否對您有幫助?