从Kafka导入Jaeger日志到ClickHouse 字段适配数据类型（含嵌套tags）选型

针对Jaeger消息里的嵌套对象数组结构，结合你当前使用的JSONEachRow解析格式，有两类经过生产验证的映射方案，可根据后续查询需求选择：

方案1：Array(Tuple) 原生映射（适合全量留痕、少复杂tag查询的场景） #

这种方式不需要额外写转换逻辑，直接对应JSON里的嵌套数组结构，是最省事的映射方式。

注意：JSONEachRow解析时，对对象内缺失的字段会自动填充对应类型的默认值（空字符串、0等），不会因为JSON里部分tag缺少vStr/vInt64字段报错。
你遇到的tags字段解析失败，通常是两个常见原因：

• 直接把嵌套对象里的vInt64字段定义为数字类型，但实际你的JSON消息里vInt64是带引号的字符串形式（如"2130706433"），类型不匹配导致解析失败
• 错用了Nested类型，没有理解Nested本质是拆分数组存储的扁平化结构，无法直接对应每个元素为独立对象的JSON数组
  对应的字段定义为：
  tags Array(Tuple(key String, vStr String, vType String, vInt64 String))
  修改后的Kafka消费表示例：

CREATE TABLE IF NOT EXISTS db1.jaeger_kafka_source
(
  traceId String,
  spanId  String,
  operationName String,
  tags Array(Tuple(key String, vStr String, vType String, vInt64 String)),
  -- 同结构的logs、process字段可以用完全一样的逻辑映射
  logs Array(Tuple(timestamp String, fields Array(Tuple(key String, vStr String)))),
  process Tuple(serviceName String)
) ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'broker.net:9092',
    kafka_topic_list = 'jaeger',
    kafka_group_name = 'sample_group',
    kafka_format = 'JSONEachRow';

方案2：Map类型存储（适合频繁按tag key查询的场景） #

如果后续经常需要按tag的键过滤、提取值（比如统计http.status_code=304的请求量、筛选component=kong的所有span），用Map结构存储查询效率远高于遍历数组。
因为JSONEachRow无法直接把对象数组自动转成Map结构，需要搭配物化视图做一层转换：

1. 首先按方案1的方式定义Kafka消费表，拿到原始的Array(Tuple)结构的tags
2. 正式MergeTree存储表定义tags为Map类型：

CREATE TABLE IF NOT EXISTS db1.jaeger_span
(
  traceId String,
  spanId  String,
  operationName String,
  tags Map(String, String),
  processServiceName String
) ENGINE = MergeTree()
ORDER BY (traceId, spanId);

3. 创建物化视图自动做结构转换，把Kafka消费的原始数据写入正式表：

CREATE MATERIALIZED VIEW IF NOT EXISTS db1.jaeger_consumer_mv
TO db1.jaeger_span
AS
SELECT
  traceId,
  spanId,
  operationName,
  -- 拆分数组的key和value为两个平行数组，构造Map
  mapFromArrays(
    arrayMap(tag -> tag.key, tags),
    arrayMap(tag -> if(tag.vStr != '', tag.vStr, tag.vInt64), tags)
  ) AS tags,
  process.serviceName AS processServiceName
FROM db1.jaeger_kafka_source;

转换完成后，查询时可以直接通过tags['http.status_code']拿到对应tag的值，不需要遍历数组。

避坑提醒 #

• 不要把Kafka引擎表直接当正式存储表：Kafka引擎本身不持久化消费到的消息，必须搭配物化视图把数据写入MergeTree类引擎的正式表，才能长期存储查询
• 解析失败排查：可以手动执行SELECT * FROM db1.jaeger_kafka_source LIMIT 1拉取一条实际消费的消息，根据返回的报错信息调整字段类型即可

内容的提问来源于stack exchange，提问作者Timur