如何减少Cohere API Webhook响应片段长度并降低Token使用量？

我正在将Cohere API与Zapier集成，用于执行网页搜索并生成简洁摘要。目前遇到Webhook响应中片段过长的问题，导致Token消耗过高、处理效率低下，严重影响集成的效率与成本效益。

已尝试的参数调整 #

• 将max_tokens设置为更低值；
• 测试top_p与top_k的不同取值；
• 在Webhook配置中设置return_snippets: false。

当前配置示例 #

{
  "model": "command-r-plus",
  "message": "Please provide a concise summary of what was happening in New York on 15 May 2024 using web search.",
  "temperature": 0.1,
  "max_tokens": 150,
  "top_p": 0.3,
  "top_k": 3,
  "frequency_penalty": 0.5,
  "connectors": [
    {
      "id": "web-search",
      "options": {
        "num_results": 1,
        "return_snippets": false
      }
    }
  ],
  "prompt_truncation": "AUTO",
  "citation_quality": "fast"
}

尽管尝试了上述操作，响应片段仍然过长，Token使用量依旧居高不下，导致摘要不够简洁且成本过高。需要找到能完全排除或大幅缩短Cohere API Webhook响应中片段的方法，确保摘要简洁、Token高效利用。当前使用的端点为https://api.cohere.com/v1/chat。

解决方案 #

1. 在Zapier中添加代码步骤过滤响应字段 #

通过Zapier的「Code by Zapier」步骤，对Cohere返回的响应进行处理，直接移除片段相关的冗余字段（如documents或snippets），从输出层面截断无用内容。示例Python代码如下：

import json

# 读取Cohere的原始响应（假设存储在input_data['cohere_response']）
raw_response = json.loads(input_data['cohere_response'])

# 删除片段相关字段，根据实际返回结构调整
for field in ['documents', 'snippets']:
    if field in raw_response:
        del raw_response[field]

# 返回清理后的响应
return {"cleaned_response": json.dumps(raw_response)}

2. 强化提示词约束 #

在提问中明确要求不包含任何搜索片段原文，只输出提炼后的摘要，从生成层面减少冗余内容。修改后的提示词示例：

Please provide a concise summary of what was happening in New York on 15 May 2024 using web search. Do NOT include any original snippets, source text or citation details in your response — only your own condensed summary.

3. 配置web-search连接器的片段长度限制 #

如果web-search连接器支持document_chunks_max_characters参数，设置极小值（如100），从源头限制返回的文档片段长度，减少输入Token消耗。修改后的连接器配置：

"connectors": [
  {
    "id": "web-search",
    "options": {
      "num_results": 1,
      "return_snippets": false,
      "document_chunks_max_characters": 100
    }
  }
]

4. 使用结构化响应格式约束输出 #

利用command-r-plus支持的结构化响应功能，强制API仅返回摘要字段，避免冗余内容。在配置中添加response_format参数：

"response_format": {
  "type": "object",
  "properties": {
    "summary": { "type": "string" }
  },
  "required": ["summary"]
}

内容的提问来源于stack exchange，提问作者Anton Cosenco