在KDB中解析含JSON文本的列并提取多列属性的方法

咱先来聊最直接的情况——如果你的JSON列里所有条目结构都统一，比如每条都有name、age、email这些属性，那用KDB自带的JSON解析函数.j.k就能快速搞定：

方案一：固定结构JSON的快速解析扩展 #

假设你的表叫t，JSON列是json_col，先把JSON字符串解析成KDB字典：

// 先解析JSON列成字典列
update parsed:.j.k each json_col from `t

接下来直接从字典列里提取需要的属性，生成新列：

// 提取name、age、email作为独立列
t: update name:parsed[`name], age:parsed[`age], email:parsed[`email] from t
// 或者一步到位，不用保留parsed列
t: select json_col, parsed[`name] as name, parsed[`age] as age, parsed[`email] as email from update parsed:.j.k each json_col from t

这种方法简单高效，适合所有JSON结构完全一致的场景。

方案二：处理结构不一致/缺失字段的情况 #

如果有些JSON条目缺少某些属性（比如部分条目没有age），直接提取会得到空值，这时候可以给缺失字段设置默认值：

// 用?:运算符给缺失的email设置默认值"unknown"，用@函数给age设置默认值0
t: update name:parsed[`name], age:@[parsed;`age;0], email:parsed[`email] ?: "unknown" from update parsed:.j.k each json_col from t

这样就能避免出现空值导致的后续问题，确保每一行的新列都有有效值。

方案三：动态提取所有未知字段 #

要是你不确定JSON里有哪些属性，或者属性经常变动，可以动态提取所有可能的字段：

// 第一步：解析JSON列
t: update parsed:.j.k each json_col from t
// 第二步：获取所有出现过的字段名
all_fields: raze distinct keys each t[`parsed] where not null t[`parsed]
// 第三步：动态生成所有字段的提取表达式，扩展成新列
t: select json_col, (each[;t[`parsed]] each all_fields) as all_fields from t

你也可以把这个逻辑封装成一个函数，方便重复调用：

parse_json_expand: {[tab; json_col]
    parsed_tab: update parsed:.j.k each json_col from tab;
    all_fields: raze distinct keys each parsed_tab[`parsed] where not null parsed_tab[`parsed];
    select (json_col), (each[;parsed_tab[`parsed]] each all_fields) as all_fields from parsed_tab
};
// 调用函数
t_expanded: parse_json_expand[t; `json_col]

额外注意事项 #

要是你的JSON列里有格式错误的条目，.j.k会直接报错中断操作。这时候可以加个错误捕获，把解析失败的条目标记出来：

// 解析失败时返回"parse_error"
t: update parsed:{@[.j.k; x; {"parse_error"}]} each json_col from t

之后你可以筛选出解析失败的条目单独处理：

select from t where parsed="parse_error"

内容的提问来源于stack exchange，提问作者user9475848