Elasticsearch映射后薪资聚合返回null，求男女员工平均薪资解决方案

问题背景 #

需要将JSON格式的员工数据导入companydatabase索引，对比男女员工平均薪资。已通过mapping将Salary字段定义为integer类型，但执行聚合查询后，返回结果hits为空数组，无法得到有效平均薪资数值。

原始数据示例：

{"index":{"_index":"companydatabase"}}  
{"FirstName":"ELVA","LastName":"RECHKEMMER","Designation":"CEO","Salary":"154000","DateOfJoining":"1993-01-11","Address":"8417 Blue Spring St. Port Orange, FL 32127","Gender":"Female","Age":62,"MaritalStatus":"Unmarried","Interests":["Body Building","Illusion","Protesting","Taxidermy","TV watching","Cartooning","Skateboarding"]}
{"index":{"_index":"companydatabase"}}  
{"FirstName":"JENNEFER","LastName":"WENIG","Designation":"President","Salary":"110000","DateOfJoining":"2013-02-07","Address":"16 Manor Station Court Huntsville, AL 35803","Gender":"Female","Age":45,"MaritalStatus":"Unmarried","Interests":["String Figures","Working on cars","Button Collecting","Surf Fishing"]}

问题原因 #

1. 字段类型不匹配导致数据导入失败：原始数据中Salary是字符串类型（带引号），但mapping定义为integer。Elasticsearch默认严格校验字段类型，字符串无法直接转为integer，导致文档被拒绝存入索引，自然无法查询到聚合结果。
2. Mapping字段拼写错误：mapping中Adress（应为Address）、Interest（应为Interests）的拼写与原始数据字段名不一致，会导致这些字段无法正确映射，虽不影响Salary聚合，但会影响其他字段的使用。
3. 对size:0的误解：查询中设置size:0是正确的（仅返回聚合结果，不返回文档），hits为空是预期行为，聚合结果实际在返回的aggregations字段中，但前提是数据已正确存入索引。

修复步骤 #

1. 修正Mapping字段拼写 #

确保mapping字段名与原始数据完全一致：

mapping_type = {
    'mappings': {
        'properties': {
            'Address': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'Age': {
                'type': 'long'
            },
            'DateOfJoining': {
                'type': 'date'
            },
            'Designation': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'FirstName': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'Gender': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'Interests': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'LastName': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'MaritalStatus': {
                'type': 'text',
                'fields': {
                    'keyword': {
                        'type': 'keyword', 
                        'ignore_above': 256
                    }
                }
            },
            'Salary': {
                'type': 'integer'
            }
        }
    }
}

# 重新创建索引
es.indices.delete(index="companydatabase", ignore=[400,404])
es.indices.create(index="companydatabase", body=mapping_type)

2. 预处理数据后导入 #

将原始数据中的Salary字符串转为整数，避免类型错误：

import json

# 假设raw_data是读取到的原始数据行列表
for line in raw_data:
    line = line.strip()
    if not line:
        continue
    doc = json.loads(line)
    # 处理数据行（跳过index指令行）
    if 'FirstName' in doc:
        doc['Salary'] = int(doc['Salary'])
    # 导入Elasticsearch
    es.index(index="companydatabase", body=doc)

3. 执行聚合查询（可选简化） #

如果只需男女员工平均薪资，可简化查询；原查询按职位+性别分组也可正常运行，只要数据已正确存入：

# 简化版：仅按性别分组计算平均薪资
request_body={
    "size": 0,
    "aggs": {
        "salary_by_gender": {
            "terms": {
                "field": "Gender.keyword"
            },
            "aggs": {
                "average_salary": {
                    "avg": {
                        "field": "Salary"
                    }
                }
            }
        }
    }
}

result = es.search(index="companydatabase", body=request_body)
print(json.dumps(result, indent=2))

执行后，聚合结果会在result['aggregations']中，可获取男女员工的平均薪资数值。

内容的提问来源于stack exchange，提问作者Nadie N