ManticoreSearch实时索引message字段查询为空问题排查咨询

配置文件内容 #

searchd {
    listen = 9312
    listen = 9306:mysql
    listen = 9308:http
    log = /var/log/manticore/searchd.log
    query_log = /var/log/manticore/query.log
    pid_file = /var/run/manticore/searchd.pid
    #data_dir = /var/lib/manticore
}

source messages_sql {
        type = mysql
        sql_host = wahelp.mysql
        sql_user = wahelp
        sql_pass = secret
        sql_db = wahelp
        sql_query =  SELECT id, message,  message_type + 0 message_type, status + 0 status,  unix_timestamp(created_at) created_at from messages
        sql_field_string = message
        sql_attr_uint = message_type
        sql_attr_uint = status
        sql_attr_timestamp = created_at
}

table messages_plain {
  type   = plain
  source = messages_sql
  path   = /var/lib/manticore/messages_plain
}

table messages_rt {
    type = rt
    path = /var/lib/manticore/messages_rt
    rt_field = message
    rt_attr_uint = message_type
    rt_attr_uint = status
    rt_attr_timestamp = created_at
}

table messages
{
    type = distributed
    local = messages_plain
    local = messages_rt
}

问题描述 #

查询分布式索引messages时，若结果同时包含messages_plain和messages_rt的数据，messages_rt中的message字段为空；但单独查询messages_rt索引时，该字段正常显示内容。

可能的原因 #

核心原因是两个子索引的字段/属性定义不一致，且分布式索引默认采用第一个子索引的schema作为结果返回基准：

• messages_plain中，message通过sql_field_string定义，同时作为全文可搜索字段和字符串属性存储，查询时可作为属性返回。
• messages_rt中，message仅通过rt_field定义，是全文可搜索字段但未被定义为属性。
  当分布式查询时，系统以messages_plain的schema为基准，尝试从messages_rt中读取message属性，但messages_rt不存在该属性，因此返回空值；而单独查询messages_rt时，Manticore会直接返回存储的全文字段内容，所以显示正常。

排查与解决方向 #

• 验证索引schema一致性：执行DESCRIBE messages_plain;和DESCRIBE messages_rt;命令，对比两者的字段/属性列表，确认message的定义差异。
• 统一索引字段定义：
  方案1：修改messages_plain的source配置，将sql_field_string = message改为sql_field = message stored，让message仅作为存储的全文字段（与messages_rt的rt_field逻辑一致）。
  方案2：修改messages_rt的配置，添加rt_attr_string = message，同时确保插入数据时将message值同步到该属性中（需适配数据写入逻辑）。
• 测试分布式索引顺序影响：临时调整分布式索引messages中local的顺序，将messages_rt放在前面，查询后观察messages_plain的message字段是否为空，以此验证schema基准的问题。
• 检查查询语句的返回字段：确认查询分布式索引时是否显式指定了返回属性，排除字段筛选导致的差异（此场景下单独查询正常，可能性较低）。

内容的提问来源于stack exchange，提问作者master_lomaster