使用NLog.Targets.ElasticSearch 7.7.0 API Key认证连ES 8.7.0遭401错误

可能的原因及对应解决方案 #

1. 索引权限不匹配 #

你的API Key权限配置中，允许的索引是logs-<index1>-default-*，但NLog配置的目标索引是logs-<index1>-default，这个索引名称不匹配权限中的通配符模式（通配符要求索引以logs-<index1>-default-开头），导致写入时被ES权限系统拒绝，触发401。

解决：

• 方案一：修改API Key的权限，添加logs-<index1>-default到允许的索引列表中
• 方案二：调整NLog的索引配置，让索引名称匹配权限模式，比如添加日期后缀：

  elasticTarget.Index = "logs-<index1>-default-${date:format=yyyy.MM.dd}";
  

2. CloudId与Uri配置冲突 #

你同时设置了CloudId和Uri，旧版本的NLog.Targets.ElasticSearch可能无法正确处理这种冲突，导致客户端连接逻辑混乱，认证失败。

解决：
只保留其中一个配置项，比如使用Elastic Cloud的话，优先保留CloudId并移除Uri设置：

// 移除这一行
// elasticTarget.Uri = ConfigurationManager.AppSettings["Url"];

3. NLog.Targets.ElasticSearch 7.7.0的API Key认证实现问题 #

该版本依赖的Elasticsearch.Net版本较旧，可能在构造API Key认证头时存在兼容性问题（ES 8.x对认证头的处理有细节变化）。

解决：
手动构造API Key认证头，替代自动配置的ApiKeyId和ApiKey：

1. 注释掉代码中设置ApiKeyId和ApiKey的行
2. 手动生成Authorization头：

var apiKeyId = ConfigurationManager.AppSettings["ApiKeyId"];
var apiKey = ConfigurationManager.AppSettings["ApiKey"];
var apiKeyCredentials = $"{apiKeyId}:{apiKey}";
var encodedCredentials = Convert.ToBase64String(Encoding.UTF8.GetBytes(apiKeyCredentials));
elasticTarget.Headers.Add("Authorization", $"ApiKey {encodedCredentials}");

4. 验证API Key的有效性 #

虽然你提到curl可以正常使用，但需要确认curl请求的操作和NLog的操作是否一致：

• 确保curl使用的是相同的API Key、相同的索引
• 验证curl是否执行了写入操作（而不仅仅是读取），因为你的API Key权限包含write等写入权限，但需要确认实际测试过写入

验证步骤 #

1. 先解决索引权限匹配问题，这是最容易被忽略的点
2. 清理冲突的CloudId/Uri配置
3. 如果仍报错，尝试手动构造认证头
4. 开启NLog内部日志的Debug级别，查看更详细的请求信息：
   修改NLog.config中的internalLogLevel="Debug"，然后查看internalLogFile中的日志，确认请求头、目标索引等信息是否正确

内容的提问来源于stack exchange，提问作者Smriti