Python基于版本字段提取CSV最新记录并转字典的逻辑求助

嘿，这个需求其实挺典型的——要从带版本号的批量记录里揪出每个主键的最新版本对吧？我给你拆解清晰的逻辑，再给你两种实用的实现方案，纯Python原生和pandas简化版都有，你可以按需选～

核心逻辑梳理 #

本质上我们要做的就是按primary_id分组，每组保留version最大的那条记录。最高效的方式是一次遍历完成，不用先分组再排序，这样处理2万条数据完全没压力。

方案一：纯Python原生实现（无需额外库） #

假设你已经用csv模块把数据读到了列表csv_records里，每个元素是一个字典（比如用csv.DictReader读取的结果）：

# 第一步：把version转成数值类型（必须！避免字符串比较的坑，比如"10" < "2"）
for record in csv_records:
    # 如果是小数版本号就换成float()
    record['version'] = int(record['version'])

# 第二步：用字典暂存每个primary_id的最新记录
latest_records = {}

for record in csv_records:
    pid = record['primary_id']
    current_version = record['version']
    
    # 逻辑：如果主键没存过，或者当前记录版本更高，就更新
    if pid not in latest_records or current_version > latest_records[pid]['version']:
        latest_records[pid] = record

# 结果可以按需转换：
# 1. 转成最新记录的列表（每个元素是原格式的字典）
result_list = list(latest_records.values())
# 2. 或者保留{primary_id: 最新记录}的字典格式，方便按主键快速查找
# result_dict = latest_records

方案二：用Pandas快速实现（代码更简洁） #

如果你已经装了pandas，处理这种表格数据会更省心，尤其是字段多的时候：

import pandas as pd

# 读取CSV（如果还没读的话，这一步直接替代手动读列表）
df = pd.read_csv('你的文件路径.csv')

# 确保version是数值类型
df['version'] = pd.to_numeric(df['version'])

# 按version降序排序，然后去重（只保留每个primary_id的第一条，也就是版本最高的）
latest_df = df.sort_values(by='version', ascending=False).drop_duplicates(subset='primary_id')

# 转成字典列表（和原生方案的result_list格式一致）
result_dict_list = latest_df.to_dict('records')

# 或者转成{primary_id: 最新记录字典}的格式
result_dict = latest_df.set_index('primary_id').T.to_dict('dict')

关键注意事项 #

• 版本号类型转换：一定要把version转成整数/浮点数，字符串比较会出大问题（比如字符串"10"会被认为比"9"小）。
• 效率问题：原生方案的时间复杂度是O(n)，2万条数据一秒内就能处理完；pandas的方案内部优化过，效率也很高，代码更简洁。

内容的提问来源于stack exchange，提问作者CrazySpatial