如何将单个ID与多元素列表合并为Pandas DataFrame并循环追加

核心问题原因 #

你遇到的长度不匹配问题，是因为单个id值的长度为1，而timestamps和values是长度大于1的列表，Pandas要求构造DataFrame时所有列的长度必须一致。解决的关键是把单个id扩展成和另外两个列表等长的序列。

单次生成DataFrame片段 #

先将单个id重复为与列表长度相同的序列，再构造DataFrame：

import pandas as pd

id = 1
timestamps = [1,2,3,4]
values = ['A','B','C','D']

# 构造当前id对应的DataFrame片段
df_segment = pd.DataFrame({
    'id': [id] * len(timestamps),  # 重复id至与列表等长
    'timestamp': timestamps,
    'value': values
})

# 初始化总DataFrame
df = df_segment.copy()

循环追加数据 #

有两种方式实现循环追加，根据数据量选择：

方式1：逐次追加（适合小数据量） #

每次生成新的DataFrame片段后，用pd.concat直接追加到总DataFrame：

# 模拟循环生成的样本数据
samples = [
    {'id': 2, 'timestamps': [5,6], 'values': ['E','F']},
    {'id': 3, 'timestamps': [7,8,9], 'values': ['G','H','I']}
]

for sample in samples:
    new_segment = pd.DataFrame({
        'id': [sample['id']] * len(sample['timestamps']),
        'timestamp': sample['timestamps'],
        'value': sample['values']
    })
    # 追加并重置索引
    df = pd.concat([df, new_segment], ignore_index=True)

方式2：先收集所有片段再合并（适合大数据量，效率更高） #

先把所有生成的DataFrame片段存入列表，最后一次性合并，减少内存开销：

segments = [df]  # 先加入初始片段

for sample in samples:
    segments.append(pd.DataFrame({
        'id': [sample['id']] * len(sample['timestamps']),
        'timestamp': sample['timestamps'],
        'value': sample['values']
    }))

# 一次性合并所有片段
df = pd.concat(segments, ignore_index=True)

内容的提问来源于stack exchange，提问作者aegis301