如何在Weaviate问答服务中配置使用GPT-4及GPT-4-32k？

要在Weaviate的问答（Ask）模块中使用GPT-4或GPT-4-32k，需完成服务端环境配置和客户端查询参数调整两步，具体操作如下：

1. 服务端配置（指定全局默认模型） #

如果通过Docker部署Weaviate，需在启动配置中注入OpenAI密钥及目标模型参数：

# docker-compose.yml 示例
services:
  weaviate:
    image: semitechnologies/weaviate:latest
    environment:
      - OPENAI_API_KEY=你的OpenAI API密钥
      - OPENAI_MODEL=gpt-4-32k  # 可选值：gpt-4 / gpt-4-32k
      - QUERY_DEFAULTS_LIMIT=1
      - AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true
    ports:
      - "8080:8080"

配置后重启Weaviate服务，此时所有Ask查询会默认使用指定的GPT-4系列模型。

2. 客户端查询时指定模型（覆盖全局配置） #

如果需要在单次查询中指定特定模型，可在GraphQL的ask参数中添加model字段。修改你提供的PHP代码如下：

$weaviate = new Weaviate('http://weaviate:8080/v1/', '');
$res = $weaviate->graphql()->get('{
Get {
  '.self::$weaviateClass.' (
    ask: {
      question: "'.$request->q.'",
      properties: ["content"],
      model: "gpt-4"  # 或 "gpt-4-32k"，按需替换
    },
    limit: 1
  ) {
    title
    _additional {
      answer {
        hasAnswer
        property
        result
        startPosition
        endPosition
      }
    }
  }
}
}');

dd($res);

注意事项 #

• 确保你的OpenAI API密钥拥有GPT-4系列模型的调用权限，否则会返回权限错误。
• GPT-4-32k支持更长的上下文输入，适合处理大篇幅文档的问答场景，但调用成本更高。

内容的提问来源于stack exchange，提问作者KoIIIeY