You need to enable JavaScript to run this app. 如何合并3个JSON文件并将关联数据嵌套到对应用户记录中
优惠活动
大模型
产品
解决方案
定价
更多

如何合并3个JSON文件并将关联数据嵌套到对应用户记录中

代码修改方案
import json

# 替换为你本地三个JSON文件的实际路径
uPath = "users.json"
sPath = "streamData.json"
tPath = "trackData.json"
outputPath = "hcl-user-data.json"

def main():
    # 1. 一次性读取所有源文件数据,避免循环重复读文件造成的性能浪费
    with open(uPath, 'r', encoding='utf-8') as f:
        users = json.load(f)
    with open(sPath, 'r', encoding='utf-8') as f:
        streams = json.load(f)
    with open(tPath, 'r', encoding='utf-8') as f:
        tracks = json.load(f)
    
    # 2. 构造track_id到track数据的映射表,后续匹配查询效率为O(1)
    track_map = {track['track_id']: track for track in tracks}
    
    # 3. 预处理流数据:先给每条流添加对应trackData,再按user_id分组
    user_stream_map = {}
    for stream in streams:
        # 给流数据追加trackData字段
        track_id = stream['track_id']
        if track_id in track_map:
            stream['trackData'] = track_map[track_id]
        # 按用户ID分组存储流数据
        user_id = stream['user_id']
        if user_id not in user_stream_map:
            user_stream_map[user_id] = []
        user_stream_map[user_id].append(stream)
    
    # 4. 给每个用户添加匹配好的streamData数组
    result = []
    for user in users:
        user_id = user['user_id']
        # 没有对应流数据的用户默认赋值空数组
        user['streamData'] = user_stream_map.get(user_id, [])
        result.append(user)
    
    # 5. 输出最终结果到文件
    with open(outputPath, 'w', encoding='utf-8') as f:
        json.dump(result, f, ensure_ascii=False, indent=4)

if __name__ == "__main__":
    main()

核心修改说明

  • 原错误行dict(row).update([userTmp])的问题:dict(row)生成的是临时字典对象,修改不会生效到原用户数据;同时update方法要求传入字典参数,你传入列表的格式完全错误。修改后直接操作原user字典对象,给streamData字段直接赋值即可。
  • 新增trackData关联逻辑:提前把所有track数据按track_id做索引,给每条stream匹配对应track数据,满足需求第一步要求。
  • 优化数据处理逻辑:不用每个用户遍历全量流数据,整体只遍历一次流数据就完成按用户分组,处理效率大幅提升。

内容的提问来源于stack exchange,提问作者Dean Geary

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.20 12:15:04