调用第三方推理服务

Download

聚焦模式

字号

最后更新时间： 2026-08-12 18:13:52

ES 可以通过 Inference 能力集成第三方推理服务，便于灵活高效的调用各类所需能力，您可以参阅此文档了解更多详情。
第一步：开通节点出站访问
ES 访问公网第三方服务，您需要先开通“节点出站访问”：
﻿
第二步：创建 Inference 推理端点
如下是自定义 Inference 的参考模板：
PUT _inference/text_embedding/test-text-embedding
{
  "service": "custom",
  "service_settings": {
     "secret_parameters": {
          "api_key": "<some api key>"
     },
     "url": "...endpoints.huggingface.cloud/v1/embeddings",
     "headers": {
         "Authorization": "Bearer ${api_key}",
         "Content-Type": "application/json"
     },
     "request": "{\\"input\\": ${input}}",
     "response": {
         "json_parser": {
             "text_embeddings":"$.data[*].embedding[*]"
         }
     }
  }
}
 例如这里是一个使用硅基流动的 embedding 服务的示例，可以参考模板填入 API Key 与模型名称：
PUT _inference/text_embedding/test-text-embedding
{
    "service": "custom",
    "service_settings": {
        "secret_parameters": {
            "api_key": "sk-您的真实API Key"
        },
        "url": "https://api.siliconflow.cn/v1/embeddings",
        "headers": {
            "Authorization": "Bearer sk-您的真实API Key",
            "Content-Type": "application/json;charset=utf-8"
        },
        "request": "{\\"input\\": ${input}, \\"model\\": \\"BAAI/bge-large-zh-v1.5\\"}",
        "response": {
            "json_parser": {
                "text_embeddings": "$.data[*].embedding[*]"
            }
        }
    }
}
﻿
执行后返回如下信息即表示创建成功：
﻿
第三步：验证推理服务
 您可通过如下语句进行调用验证，成功的话应返回 embedding 之后的结果：
POST _inference/text_embedding/test-text-embedding
{ 
    "input": "hello，this is a inference service" 
}
﻿
﻿

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

tencent cloud

Elasticsearch Service

调用第三方推理服务

第一步：开通节点出站访问

第二步：创建 Inference 推理端点

第三步：验证推理服务

帮助和支持