創建doc_analyze推理模型

創建模板：

PUT _inference/doc_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數說明：

創建示例：

PUT _inference/doc_analyze/doc_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-XXX",
    "service_id": "ops-document-analyze-001",
    "host" : "default-j01.platform-cnshanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調用doc_analyze推理模型

調用模板：

POST _inference/doc_analyze/<inference_id>
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"], # 可以是url, content or task_id
  "task_settings": {
    "document": {
      "input_type": "url", # optional, url, content or task_id, default url. 為task_id時查詢異步task結果
      "file_name": "<file_name>", # optional, url無法推斷時上傳
      "file_type": "<file_type>", # optional, file_name無法推斷時上傳
    },
    "output": {
      "image_storage" : "<image_storage>" # optional, default base64
    },
    "is_async" : "<true or false>", # 默認false
  }
}

參數說明：

調用示例：

# 同步
POST _inference/doc_analyze/doc_analyze_test
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"]
}

# 異步
POST _inference/doc_analyze/doc_analyze_test
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"],
    "task_settings": {
    "document":{
      "input_type": "url"
    },
    "is_async" : true
  }
}

# 獲取異步結果
POST _inference/doc_analyze/os-doc-a
{
  "input": ["8e8f1137-ffd6-4670-b63e-86906882793d"],
    "task_settings": {
    "document":{
      "input_type": "task_id"
    },
    "is_async" : true
  }
}

創建img_analyze推理模型

創建模板：

PUT _inference/img_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數說明：

創建示例：

PUT _inference/img_analyze/img_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-XXX",
    "service_id": "ops-image-analyze-ocr-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調用img_analyze推理模型

調用模板：

POST _inference/img_analyze/<inference_id>
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"], # 可以是url, content or task_id
  "task_settings": {
    "document": {
      "input_type": "url", # optional, url, content or task_id, default url
      "file_name": "<file_name>", # optional, url無法推斷時上傳
      "file_type": "<file_type>", # optional, file_name無法推斷時上傳
    },
    "is_async" : "<true or false>" # 默認false
  }
}

參數說明：

調用示例：

# 同步
POST _inference/img_analyze/os-img-a
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"]
}

# 異步
POST _inference/img_analyze/os-img-a
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"],
      "task_settings": {
    "document":{
      "input_type": "url"
    },
    "is_async" : true
  }
}

# 獲取異步結果
POST _inference/img_analyze/os-img-a
{
  "input": ["0239f61f-dd46-45ef-8cf1-affdd205a8c9"],
      "task_settings": {
    "document":{
      "input_type": "task_id"
    }
    "is_async" : true
  }
}

創建splic_doc推理模型

創建模板：

PUT _inference/doc_split/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host" : "<host>",
    "api_key":"<api_key>",
    "service_id": "<service_id>",
    "workspace" : "<work_space>",
    "http_schema":"<http_schema>"
  },
  "task_settings": {
    "document":{
      "content_encoding":"<document.content_encoding>",
      "content_type":"<document.content_type>"
    },
    "strategy":{
      "type":"<strategy.type>",
      "max_chunk_size":<strategy.max_chunk_size>,
      "compute_type":"<strategy.compute_type>",
      "need_sentence":"<strategy.need_sentence>"
    }
  }
}

參數說明：

創建示例：

PUT _inference/doc_split/os-doc-split
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-document-split-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調用doc_split推理模型

調用模板：

POST _inference/doc_split/<inference_id>
{
  "input":"<input>"
}

參數說明：

• <inference_id>：需要調用的inference endpoint標識符。

• input：需要切片的純文本內容。根據JSON標準，string字段如果包含字符\\、\"、\/、\b、\f、\n、\r或\t，需要轉義，常用JSON庫生成的JSON串無需手動轉義。

調用示例：

# query
POST _inference/doc_split/os-doc-split
{
  "input":"Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。 Lucene 可以說是當下最先進、高性能、全功能的搜索引擎庫—?無論是開源還是私有。但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 并將 Lucene 直接集成到應用程序中。 更糟糕的是，您可能需要獲得信息檢索學位才能了解其工作原理。Lucene 非常 復雜。Elasticsearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的復雜性，取而代之的提供一套簡單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個全文搜索引擎。 它可以被下面這樣準確的形容：一個分布式的實時文檔存儲，每個字段可以被索引與搜索.一個分布式實時分析搜索引擎.能勝任上百個服務節點的擴展，并支持 PB 級別的結構化或者非結構化數據.Elasticsearch 將所有的功能打包成一個單獨的服務，這樣你可以通過程序與它提供的簡單的 RESTful API 進行通信， 可以使用自己喜歡的編程語言充當 web 客戶端，甚至可以使用命令行（去充當這個客戶端）。就 Elasticsearch 而言，起步很簡單。對于初學者來說，它預設了一些適當的默認值，并隱藏了復雜的搜索理論知識。 它 開箱即用。只需最少的理解，你很快就能具有生產力。隨著你知識的積累，你可以利用 Elasticsearch 更多的高級特性，它的整個引擎是可配置并且靈活的。 從眾多高級特性中，挑選恰當去修飾的 Elasticsearch，使它能解決你本地遇到的問題。你可以免費下載，使用，修改 Elasticsearch。它在 Apache 2 license 協議下發布的， 這是眾多靈活的開源協議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個令人驚奇的 contributors 社區，看這里 Contributing to Elasticsearch。如果你對 Elasticsearch 有任何相關的問題，包括特定的特性(specific features)、語言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
}

# response
{
  "doc_split": {
    "rich_texts": [],
    "nodes": [
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "af0d0ddc07844835883c76c046cb97fd",
        "type": "root"
      },
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "d77e2ff8d7724ae797f991580299b680",
        "type": "sentence_node"
      },
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "aef1bc5fe2354f7a8b76ce07249a1836",
        "type": "sentence_node"
      }
    ],
    "chunks": [
      {
        "meta": {
          "parent_id": "af0d0ddc07844835883c76c046cb97fd",
          "id": "d77e2ff8d7724ae797f991580299b680",
          "type": "text",
          "token": 298
        },
        "content": "Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。 Lucene 可以說是當下最先進、高性能、全功能的搜索引擎庫—?無論是開源還是私有。但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 并將 Lucene 直接集成到應用程序中。 更糟糕的是，您可能需要獲得信息檢索學位才能了解其工作原理。Lucene 非常 復雜。Elasticsearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的復雜性，取而代之的提供一套簡單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個全文搜索引擎。 它可以被下面這樣準確的形容：一個分布式的實時文檔存儲，每個字段可以被索引與搜索.一個分布式實時分析搜索引擎.能勝任上百個服務節點的擴展，并支持 PB 級別的結構化或者非結構化數據.Elasticsearch 將所有的功能打包成一個單獨的服務，這樣你可以通過程序與它提供的簡單的 RESTful API 進行通信， 可以使用自己喜歡的編程語言充當 web 客戶端，甚至可以使用命令行（去充當這個客戶端）。就 Elasticsearch 而言，起步很簡單。對于初學者來說，它預設了一些適當的默認值，并隱藏了復雜的搜索理論知識。 它 開箱即用"
      },
      {
        "meta": {
          "parent_id": "af0d0ddc07844835883c76c046cb97fd",
          "id": "aef1bc5fe2354f7a8b76ce07249a1836",
          "type": "text",
          "token": 160
        },
        "content": "只需最少的理解，你很快就能具有生產力。隨著你知識的積累，你可以利用 Elasticsearch 更多的高級特性，它的整個引擎是可配置并且靈活的。 從眾多高級特性中，挑選恰當去修飾的 Elasticsearch，使它能解決你本地遇到的問題。你可以免費下載，使用，修改 Elasticsearch。它在 Apache 2 license 協議下發布的， 這是眾多靈活的開源協議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個令人驚奇的 contributors 社區，看這里 Contributing to Elasticsearch。如果你對 Elasticsearch 有任何相關的問題，包括特定的特性(specific features)、語言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
      }
    ]
  }
}

創建text_embedding推理模型

創建模板：

PUT _inference/text_embedding/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  },
  "task_settings": {
    "input_type": "<input_type>"
  }
}

參數說明：

創建示例：

PUT _inference/text_embedding/os-embeddings
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-text-embedding-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調用text_embedding推理模型

調用模板：

POST _inference/text_embedding/<inference_id>
{
  "input":[<input>]
}

參數說明：

• <inference_id>：需要調用的inference endpoint標識符。

• input：輸入內容。每次請求最多支持32條文本輸入，每一條文本的長度大小取決于選擇的模型。不支持空的字符串。

調用示例：

# query
POST _inference/text_embedding/os-embeddings
{
  "input":["科學技術是第一生產力",
        "elasticsearch產品文檔"]
}

# response
{
  "text_embedding": [
    {
      "embedding": [
        -0.029408421,
        0.061318535,
        ... 
        ]
    },
    {
      "embedding": [
        0.01568979,
        0.065073475,
        ...
        ]
    }
  ]
}

創建query_analyze推理模型

創建模板：

PUT _inference/query_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host" : "<host>",
    "api_key":"<api_key>",
    "service_id": "<service_id>",
    "workspace" : "<work_space>",
    "http_schema":"<http_schema>"
  }
}

參數說明：

創建示例：

PUT _inference/query_analyze/query_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-query-analyze-001",
    "host": "default-***.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace": "default"
  }
}

調用query_analyze推理模型

調用模板：

POST _inference/query_analyze/<inference_id>
{
  "input":"<input>",
  "task_settings": {
    "history": [
      {
        "content": "<history.content>",
        "role": "<history.role>"
      },
      {
        "content": "<history.content>",
        "role": "<history.role>"
      }
    ]
  }
}

參數說明：

調用示例：

POST _inference/query_analyze/query_analyze_test
{
  "input":"有多少人口",
  "task_settings": {
    "history": [
      {
        "content": "中國的首都在哪",
        "role": "user"
      },
      {
        "content": "北京",
        "role": "assistant"
      }
    ]
  }
}

創建rerank推理服務

創建模板：

PUT _inference/rerank/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host": "<host>",
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數說明：

調用示例：

PUT _inference/rerank/os-rerank
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-bge-reranker-larger",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調用rerank推理模型

調用模板：

POST _inference/rerank/<inference_id>
{
  "input": [<input_list>],
  "query": "<query>"
}

參數說明：

• infenrece_id：需要調用的inference endpoint標識符。

• input：列表形式的文檔內容。

• query：查詢內容。

調用示例：

# query
POST _inference/rerank/os-rerank
{
  "input": ["luke", "like", "leia", "chewy","r2d2", "star", "wars"],
  "query": "star wars main character"
}

# response
{
  "rerank": [
    {
      "index": 5,
      "score": 0.34587815
    },
    {
      "index": 6,
      "score": 0.10338597
    },
    {
      "index": 2,
      "score": 0.071332
    },
    {
      "index": 0,
      "score": 0.04681203
    },
    {
      "index": 4,
      "score": 0.015189049
    },
    {
      "index": 1,
      "score": 0.0013406205
    },
    {
      "index": 3,
      "score": 0.00109019
    }
  ]
}

創建completion推理模型

創建模板：

PUT _inference/completion/<inference_id>
{
    "service": "alibabacloud-ai-search",
    "service_settings": {
      "api_key":"<api_key>",
      "service_id": "<service_id>",
      "host" : "<host>",
      "workspace" : "<work_space>",
      "http_schema":"<http_schema>"
    }
}

參數說明：

創建示例：

PUT _inference/completion/os-completion-test
{
    "service": "alibabacloud-ai-search",
    "service_settings": {
      "api_key": "OS-xxx",
      "service_id": "ops-qwen-turbo",
      "workspace" : "default",
      "host" : "default-XXX.platform-cn-shanghai.opensearch.aliyuncs.com"
    }
}

調用completion推理模型

調用模板：

POST _inference/completion/<inference_id>
{
  "input":["<input>"]
}

參數說明：

• <inference_id>：需要調用的inference endpoint標識符。

• input：模型輸入內容。輸入需要為奇數（n + 1）個，前n個輸入代表用戶和模型的對話，最后一個輸入代表當前的輸入信息。

調用示例：

POST _inference/completion/os-completion-test
{
  "input":["河南省會是哪里"]
}

POST _inference/completion/os-completion-test
{
  "input":["河南省會是哪里", "鄭州", "那里有什么好玩的"]
}

split doc processor

split doc processor使用doc_split模型，將一個富文本切成多個chunk。

創建split doc processor

PUT _ingest/pipeline/<pipeline_name>
{
  "description": "<description>",
  "processors": [
    {
      "document_splitting": {
        "model_id": "<model_id>",
        "input_output": [
          {
            "input_field": "<input_type>",
            "output_field": "<input_field>",
            "extend_output_field": "<extend_output_field>"
          }
        ]
      }
    }
  ]
}

參數說明：

調用示例：

PUT _ingest/pipeline/os-split-doc-pipeline
{
  "description": "This is an example of split doc pipeline",
  "processors": [
    {
      "document_splitting": {
        "model_id": "os-doc-split",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "chunk",
            "extend_output_field": "chunk_ext"
          }
        ]
      }
    }
  ]
}

使用_simulate測試pipeline功能

POST _ingest/pipeline/os-split-doc-pipeline/_simulate
{
  "docs": [
    {
      "_index": "testindex",
      "_id": "1",
      "_source":{
        "content": "Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。 Lucene 可以說是當下最先進、高性能、全功能的搜索引擎庫—?無論是開源還是私有。但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 并將 Lucene 直接集成到應用程序中。 更糟糕的是，您可能需要獲得信息檢索學位才能了解其工作原理。Lucene 非常 復雜。Elasticsearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的復雜性，取而代之的提供一套簡單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個全文搜索引擎。 它可以被下面這樣準確的形容：一個分布式的實時文檔存儲，每個字段可以被索引與搜索.一個分布式實時分析搜索引擎.能勝任上百個服務節點的擴展，并支持 PB 級別的結構化或者非結構化數據.Elasticsearch 將所有的功能打包成一個單獨的服務，這樣你可以通過程序與它提供的簡單的 RESTful API 進行通信， 可以使用自己喜歡的編程語言充當 web 客戶端，甚至可以使用命令行（去充當這個客戶端）。就 Elasticsearch 而言，起步很簡單。對于初學者來說，它預設了一些適當的默認值，并隱藏了復雜的搜索理論知識。 它 開箱即用。只需最少的理解，你很快就能具有生產力。隨著你知識的積累，你可以利用 Elasticsearch 更多的高級特性，它的整個引擎是可配置并且靈活的。 從眾多高級特性中，挑選恰當去修飾的 Elasticsearch，使它能解決你本地遇到的問題。你可以免費下載，使用，修改 Elasticsearch。它在 Apache 2 license 協議下發布的， 這是眾多靈活的開源協議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個令人驚奇的 contributors 社區，看這里 Contributing to Elasticsearch。如果你對 Elasticsearch 有任何相關的問題，包括特定的特性(specific features)、語言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
      }
    }
    ]
}

返回的Response如下：

{
  "docs": [
    {
      "doc": {
        "_index": "testindex",
        "_version": "-3",
        "_id": "1",
        "_source": {
          "chunk_ext": [],
          "chunk": [
            {
              "meta": {
                "id": "0284a0f5644540c8b3c6ddefd897353f",
                "type": "text",
                "parent_id": "d88a5098fd5d446da7f81f9074b47591",
                "token": 298
              },
              "content": "Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。 Lucene 可以說是當下最先進、高性能、全功能的搜索引擎庫—?無論是開源還是私有。但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 并將 Lucene 直接集成到應用程序中。 更糟糕的是，您可能需要獲得信息檢索學位才能了解其工作原理。Lucene 非常 復雜。Elasticsearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的復雜性，取而代之的提供一套簡單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個全文搜索引擎。 它可以被下面這樣準確的形容：一個分布式的實時文檔存儲，每個字段可以被索引與搜索.一個分布式實時分析搜索引擎.能勝任上百個服務節點的擴展，并支持 PB 級別的結構化或者非結構化數據.Elasticsearch 將所有的功能打包成一個單獨的服務，這樣你可以通過程序與它提供的簡單的 RESTful API 進行通信， 可以使用自己喜歡的編程語言充當 web 客戶端，甚至可以使用命令行（去充當這個客戶端）。就 Elasticsearch 而言，起步很簡單。對于初學者來說，它預設了一些適當的默認值，并隱藏了復雜的搜索理論知識。 它 開箱即用"
            },
            {
              "meta": {
                "id": "f6d8063c562240cabeb52365999eeea3",
                "type": "text",
                "parent_id": "d88a5098fd5d446da7f81f9074b47591",
                "token": 160
              },
              "content": "只需最少的理解，你很快就能具有生產力。隨著你知識的積累，你可以利用 Elasticsearch 更多的高級特性，它的整個引擎是可配置并且靈活的。 從眾多高級特性中，挑選恰當去修飾的 Elasticsearch，使它能解決你本地遇到的問題。你可以免費下載，使用，修改 Elasticsearch。它在 Apache 2 license 協議下發布的， 這是眾多靈活的開源協議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個令人驚奇的 contributors 社區，看這里 Contributing to Elasticsearch。如果你對 Elasticsearch 有任何相關的問題，包括特定的特性(specific features)、語言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
            }
          ],
          "content": "Elasticsearch 是一個開源的搜索引擎，建立在一個全文搜索引擎庫 Apache Lucene? 基礎之上。 Lucene 可以說是當下最先進、高性能、全功能的搜索引擎庫—?無論是開源還是私有。但是 Lucene 僅僅只是一個庫。為了充分發揮其功能，你需要使用 Java 并將 Lucene 直接集成到應用程序中。 更糟糕的是，您可能需要獲得信息檢索學位才能了解其工作原理。Lucene 非常 復雜。Elasticsearch 也是使用 Java 編寫的，它的內部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡單， 通過隱藏 Lucene 的復雜性，取而代之的提供一套簡單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個全文搜索引擎。 它可以被下面這樣準確的形容：一個分布式的實時文檔存儲，每個字段可以被索引與搜索.一個分布式實時分析搜索引擎.能勝任上百個服務節點的擴展，并支持 PB 級別的結構化或者非結構化數據.Elasticsearch 將所有的功能打包成一個單獨的服務，這樣你可以通過程序與它提供的簡單的 RESTful API 進行通信， 可以使用自己喜歡的編程語言充當 web 客戶端，甚至可以使用命令行（去充當這個客戶端）。就 Elasticsearch 而言，起步很簡單。對于初學者來說，它預設了一些適當的默認值，并隱藏了復雜的搜索理論知識。 它 開箱即用。只需最少的理解，你很快就能具有生產力。隨著你知識的積累，你可以利用 Elasticsearch 更多的高級特性，它的整個引擎是可配置并且靈活的。 從眾多高級特性中，挑選恰當去修飾的 Elasticsearch，使它能解決你本地遇到的問題。你可以免費下載，使用，修改 Elasticsearch。它在 Apache 2 license 協議下發布的， 這是眾多靈活的開源協議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個令人驚奇的 contributors 社區，看這里 Contributing to Elasticsearch。如果你對 Elasticsearch 有任何相關的問題，包括特定的特性(specific features)、語言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
        },
        "_ingest": {
          "timestamp": "2024-07-16T06:34:56.003299351Z"
        }
      }
    }
  ]
}

text embedding processor

text embedding processor簡化了寫入的embedding處理，text_embedding和sparse_embedding類型均可以使用該processor。

text embedding processor支持nested類型的文檔直接進行embedding，不過受限于模型一次處理的embedding chunk數量，一般一個nested文檔不能超過32個子文檔。如果超過32個子文檔，需要使用foreach processor處理。

創建text embedding processor

PUT _ingest/pipeline/<pipeline_name>
{
  "description": "<description>",
  "processors": [
    {
      "text_embedding": {
        "model_id": "<model_id>",
        "input_output": [
          {
            "input_type" : "<input_type>",
            "input_field": "<input_field>",
            "output_field": "<output_field>"
          }
        ]
      }
    }
  ]
}

參數說明：

調用示例：

PUT _ingest/pipeline/os-embedding-pipeline
{
  "description": "This is an example of embedding fields",
  "processors": [
    {
      "text_embedding": {
        "model_id": "os-embeddings",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "content_embedding"
          }
        ]
      }
    }
  ]
}

使用_simulate測試pipeline的功能

POST _ingest/pipeline/os-embedding-pipeline/_simulate
{
  "docs": [
    {
      "_index": "testindex",
      "_id": "1",
      "_source":{
        "content": "elasticsearch產品文檔"
      }
    }
    ]
}

正確的返回結果：

{
  "docs": [
    {
      "doc": {
        "_index": "testindex",
        "_version": "-3",
        "_id": "1",
        "_source": {
          "content_embedding": [
            0.01568979024887085,
            0.06507347524166107,
            ...
          ],
          "model_id": "os-embeddings",
          "content": "elasticsearch產品文檔"
        },
        "_ingest": {
          "timestamp": "2024-07-16T06:36:06.803526132Z"
        }
      }
    }
  ]
}