如何合并3个JSON文件并将关联数据嵌套到对应用户记录中
代码修改方案
import json # 替换为你本地三个JSON文件的实际路径 uPath = "users.json" sPath = "streamData.json" tPath = "trackData.json" outputPath = "hcl-user-data.json" def main(): # 1. 一次性读取所有源文件数据,避免循环重复读文件造成的性能浪费 with open(uPath, 'r', encoding='utf-8') as f: users = json.load(f) with open(sPath, 'r', encoding='utf-8') as f: streams = json.load(f) with open(tPath, 'r', encoding='utf-8') as f: tracks = json.load(f) # 2. 构造track_id到track数据的映射表,后续匹配查询效率为O(1) track_map = {track['track_id']: track for track in tracks} # 3. 预处理流数据:先给每条流添加对应trackData,再按user_id分组 user_stream_map = {} for stream in streams: # 给流数据追加trackData字段 track_id = stream['track_id'] if track_id in track_map: stream['trackData'] = track_map[track_id] # 按用户ID分组存储流数据 user_id = stream['user_id'] if user_id not in user_stream_map: user_stream_map[user_id] = [] user_stream_map[user_id].append(stream) # 4. 给每个用户添加匹配好的streamData数组 result = [] for user in users: user_id = user['user_id'] # 没有对应流数据的用户默认赋值空数组 user['streamData'] = user_stream_map.get(user_id, []) result.append(user) # 5. 输出最终结果到文件 with open(outputPath, 'w', encoding='utf-8') as f: json.dump(result, f, ensure_ascii=False, indent=4) if __name__ == "__main__": main()
核心修改说明
- 原错误行
dict(row).update([userTmp])的问题:dict(row)生成的是临时字典对象,修改不会生效到原用户数据;同时update方法要求传入字典参数,你传入列表的格式完全错误。修改后直接操作原user字典对象,给streamData字段直接赋值即可。 - 新增trackData关联逻辑:提前把所有track数据按track_id做索引,给每条stream匹配对应track数据,满足需求第一步要求。
- 优化数据处理逻辑:不用每个用户遍历全量流数据,整体只遍历一次流数据就完成按用户分组,处理效率大幅提升。
内容的提问来源于stack exchange,提问作者Dean Geary
相关产品推荐
相关产品推荐

