使用NLog 4.5将结构化日志写入ElasticSearch后无法按字段查询

你遇到的核心问题是：当前配置把MySimpleClass对象序列化成了字符串存在LogMessage字段里，而非ElasticSearch能识别的结构化对象。所以你没法直接用子字段（比如LogMessage.UserId）查询——因为ES只把它当成普通文本，解析不了内部结构。

咱们一步步拆解解决：

问题根源分析 #

看你的配置：

<target xsi:type="ElasticSearch" name="MyElasticTarget" uri="url" requireAuth="true" username="MyUser" password="MyPass" Index="MyIndex-${date:format=yyyy.MM.dd}" > 
  <layout xsi:type="JsonLayout" type='JsonLayout' IncludeAllProperties='true'> 
    <attribute name='LogMessage' layout='${MySimpleClass:raw=true}' /> 
  </layout> 
</target>

这里的${MySimpleClass:raw=true}是把对象序列化为JSON字符串后，直接作为LogMessage的字段值存储。ES会自动把这个字段映射成text或keyword类型，而非object类型，自然无法识别内部的子字段结构。

解决方案：让NLog输出结构化嵌套对象 #

有两种实用的修复方式：

方法1：直接将对象属性作为ES顶级字段存储 #

如果不需要把对象包裹在LogMessage里，希望每个属性直接成为ES文档的顶级字段，可以修改JsonLayout配置：

<target xsi:type="ElasticSearch" name="MyElasticTarget" uri="url" requireAuth="true" username="MyUser" password="MyPass" Index="MyIndex-${date:format=yyyy.MM.dd}" >
  <layout xsi:type="JsonLayout" IncludeAllProperties="true">
    <!-- 替换原来的LogMessage属性，逐个指定对象的属性作为顶级字段 -->
    <attribute name="UserId" layout="${MySimpleClass:Property=UserId}" />
    <attribute name="Content" layout="${MySimpleClass:Property=Content}" />
    <!-- 按需添加其他需要的属性 -->
  </layout>
</target>

这样每个属性都会成为ES的独立字段，你可以直接用UserId:123这类条件查询。

方法2：将对象作为嵌套的LogMessage对象存储 #

如果必须保留LogMessage作为嵌套对象，要确保NLog把它序列化为JSON对象而非字符串。可以用嵌套的JsonLayout实现：

<target xsi:type="ElasticSearch" name="MyElasticTarget" uri="url" requireAuth="true" username="MyUser" password="MyPass" Index="MyIndex-${date:format=yyyy.MM.dd}" >
  <layout xsi:type="JsonLayout" IncludeAllProperties="true">
    <!-- 用嵌套的JsonLayout将对象序列化为嵌套结构 -->
    <attribute name="LogMessage">
      <layout xsi:type="JsonLayout">
        <attribute name="UserId" layout="${MySimpleClass:Property=UserId}" />
        <attribute name="Content" layout="${MySimpleClass:Property=Content}" />
        <!-- 其他属性 -->
      </layout>
    </attribute>
  </layout>
</target>

或者，如果你的MySimpleClass布局渲染器支持直接返回对象，也可以简化为：

<attribute name='LogMessage' layout='${MySimpleClass}' serializeAsJson="true" />

这样LogMessage在ES里会是object类型，你就能用LogMessage.UserId:123来查询了。

方法3：临时修复ES索引映射（不推荐，仅救急） #

如果已经有大量数据写入，不想重新生成日志，可以修改ES的索引映射，把LogMessage改为object类型：

PUT /MyIndex-*/_mapping
{
  "properties": {
    "LogMessage": {
      "type": "object"
    }
  }
}

注意：这种方式只对后续写入的数据生效，已存在的字符串数据仍无法解析为对象，所以优先从日志写入源头解决。

额外提醒 #

• 确认你的NLog 4.5版本支持JsonLayout的嵌套和serializeAsJson参数，如果遇到兼容性问题，建议升级到4.6+版本，对ElasticSearch目标和JsonLayout的支持更完善。
• 可以先通过ConsoleTarget输出相同的JsonLayout，在本地确认JSON结构是否正确——看LogMessage是字符串还是嵌套对象。

内容的提问来源于stack exchange，提问作者Bashar Abu Shamaa