使用Pandas将列值转换为列表头且避免大结果集丢记录的方案咨询

你遇到的记录丢失问题，核心原因是pivot_table是聚合类操作，当你指定的index列组合存在重复值时，aggfunc='first'会只保留每个重复组的第一条记录，其余的会被静默丢弃，大数据量下这种重复更容易出现，所以会出现记录缺失的问题。

以下是三种不同场景下的可行实现方案： #

方案1：使用pivot代替pivot_table（推荐） #

pivot是专门用于非聚合透视的方法，不会对数据做合并操作，当你指定的index + columns组合唯一时，完全不会丢失记录，代码如下：

import pandas as pd

data = df.pivot(
    index=['First Name', 'Last Name', 'Age', 'Gender'],
    columns='field_label',
    values='field_value'
).reset_index().rename_axis(None, axis=1)
# 若需要填充空值可在末尾追加 .fillna('')

如果数据存在重复的index + columns组合，该方法会直接抛出错误，能提前发现数据重复问题，避免静默丢数据的风险。 #

方案2：兼容重复index的全保留方案 #

如果你的业务场景本身允许同一个index组合对应多条field_value记录，可以新增辅助列区分重复分组，确保所有记录都被保留：

import pandas as pd

# 新增辅助列标记同一index下的不同行
df['_row_seq'] = df.groupby(['First Name', 'Last Name', 'Age', 'Gender', 'field_label']).cumcount()

data = df.pivot(
    index=['First Name', 'Last Name', 'Age', 'Gender', '_row_seq'],
    columns='field_label',
    values='field_value'
).reset_index()\
 .drop('_row_seq', axis=1)\
 .rename_axis(None, axis=1)

方案3：field_label取值唯一时的极简实现 #

如果你的数据中field_label列只有Options一个固定取值，不需要用到透视操作，直接重命名+删除列即可，效率最高：

import pandas as pd

data = df.rename(columns={'field_value': 'Options'}).drop('field_label', axis=1)

内容的提问来源于stack exchange，提问作者user2423706