OpenSearch中@timestamp字段在Discover显示为字符串的问题

你遇到的核心问题是：OpenSearch索引的mapping中@timestamp显示为date类型，但在OpenSearch Dashboards的Discover/Visualize模块中，该字段被识别为字符串，无法进行日期相关的过滤或排序操作。这通常由以下原因导致：

• 依赖自动映射创建索引，未显式定义@timestamp的date类型规则，导致字段识别存在偏差
• OpenSearch Dashboards的字段缓存未同步索引的最新mapping配置
• 部分文档中@timestamp的格式不符合OpenSearch date类型的解析规范

1. 显式创建自定义索引映射 #

放弃依赖自动映射，在创建索引时明确指定@timestamp的date类型及匹配格式，从根源确保字段类型正确。修改Lambda中创建索引的代码：

# 替换原有的client.indices.create(my_index)语句
custom_mapping = {
    "mappings": {
        "properties": {
            "@timestamp": {
                "type": "date",
                "format": "yyyy-MM-dd"  # 完全匹配你的JSON日期格式
            },
            "map-migrated": {
                "type": "keyword"
            },
            "prod_backupmonthly": {
                "type": "keyword"
            }
        }
    }
}

response = client.indices.create(
    index=my_index,
    body=custom_mapping
)
print('\n创建带自定义映射的索引:')
print(response)

2. 验证文档字段实际类型 #

导入文档后，通过OpenSearch API检查单条文档的字段类型，确认@timestamp已被正确解析：

GET inventory/_doc/1  # 替换为你的实际文档ID

返回结果中@timestamp的值应显示为date类型，而非字符串格式。

3. 刷新OpenSearch Dashboards字段缓存 #

Dashboards不会自动同步索引的mapping变更，需手动刷新字段列表：

• 进入Stack Management > Index Patterns
• 找到你的inventory索引模式，点击Refresh field list
• 返回Discover页面，检查@timestamp的字段类型是否更新为Date

4. 校验文档日期格式一致性 #

确保所有导入的JSON文档中@timestamp格式统一为yyyy-MM-dd，避免因格式异常导致字段类型识别错误。可在Lambda中添加格式校验逻辑：

from datetime import datetime

for line in data:
    # 校验日期格式
    try:
        datetime.strptime(line['@timestamp'], '%Y-%m-%d')
    except ValueError:
        print(f"文档{idNum}的日期格式无效: {line['@timestamp']}")
        # 可选择跳过该文档或进行格式修正
        continue
    
    id = str(idNum)
    response = client.index(
        index = my_index,
        body = line,
        id = id,
        refresh = True
    ) 
    print(response)
    idNum = idNum + 1

• 显式映射是确保字段类型正确的最可靠方式，自动映射可能因数据格式波动出现识别错误
• 必须手动刷新Dashboards的字段列表，才能同步索引的最新mapping配置
• 日期格式必须严格匹配映射中定义的format参数，否则OpenSearch会将其视为字符串处理

内容的提问来源于stack exchange，提问作者Sayonara Chops