如何遍历DataFrame完成结构转换？解决索引越界问题

首先说结论：你完全不用手动写循环来填充数据——Pandas内置的pivot方法就是专门用来处理这种长格式转宽格式的需求，不仅高效，还能彻底避免索引越界的问题。

最优解决方案：用Pivot一键重塑数据 #

直接用pivot把原始的长表转成宽表，再对齐你预设的df_new结构即可，代码如下：

import pandas as pd
import numpy as np

# 你的原始数据
data_old = {'seq': [100,100,100,100,1002,1002,1002,1003], 
            'fieldID':['name','income','married','age','name','dollar','date','age'], 
            'fieldValue':['George',100,'yes',38,'Martiness','5000','01/01/2000','45'] }
data_new = {'seq': [100,1002,1003], 'name': ['','',''], 'income': ['','',''], 'married': ['','',''], 'age': ['','',''], 'dollar': ['','',''], 'date': ['','',''] }
df_old = pd.DataFrame(data_old)
df_new = pd.DataFrame(data_new, index = data_new['seq'])

# 1. 用pivot把长表转成宽表：seq作为行索引，fieldID作为列，fieldValue作为值
df_pivoted = df_old.pivot(index='seq', columns='fieldID', values='fieldValue')

# 2. 和df_new的结构对齐：匹配行索引和列，缺失值填充为空字符串
df_result = df_pivoted.reindex(df_new.index)  # 匹配行
df_result = df_result.reindex(columns=df_new.columns.drop('seq'))  # 匹配列
df_result = df_result.fillna('')

# 3. 补回seq列并调整列顺序和df_new一致
df_result['seq'] = df_result.index
df_result = df_result[df_new.columns]

# 输出结果和你期望的完全一致
print(df_result)

为什么你的循环会出现索引越界？ #

如果你一定要搞清楚手动循环的问题，我帮你梳理下错误点：

1. 变量名错误：find_value函数里的df_all应该是df_old，你写错了变量名；
2. 索引引用错误：循环里的seq = index、df_new.loc[app, fieldID]都是未定义的变量，应该用iterrows返回的行索引作为seq；
3. 列索引逻辑混乱：你用cnt_col计数取列名，但跳过第一列后，cnt_col的起始值和列的实际位置不匹配，导致取到错误的列名，进而触发索引越界。

修正后的循环版本（仅作学习参考） #

如果想让循环正常运行，修正后的代码如下：

# 修正find_value函数的变量名
def find_value(sequence, field_identifier):
    ''' search for values of fields from the original export by using the sequence number and field id '''
    try:
        df_func = df_old.loc[(df_old['seq'] == sequence) & (df_old["fieldID"] == field_identifier)]
        field_value = df_func.iloc[0]["fieldValue"]  # 用iloc按位置取，避免索引问题
    except:
        field_value = ""
    return field_value

# 修正循环逻辑
for idx, row in df_new.iterrows():
    current_seq = idx  # 当前行的索引就是seq
    for column in df_new.columns:
        if column == 'seq':  # 跳过seq列，不用填充
            continue
        # 用当前seq和列名作为fieldID查找值
        df_new.loc[idx, column] = find_value(current_seq, column)

print(df_new)

总结 #

处理这种数据格式转换，优先用Pandas内置的重塑函数（pivot、melt等），它们内部已经处理了所有索引和匹配逻辑，比手动循环高效得多，也不容易出错。

内容的提问来源于stack exchange，提问作者Decar