如何在循环中将numpy数组拼接为DataFrame？处理变长数组及排序

循环生成长度不同的numpy数组（data_y和data_x），尝试追加到pandas DataFrame时触发报错：ValueError: Length of values (111) does not match length of index (256)，无法用np.vstack处理不同长度的数组，求最优处理方式；另外需要对y值对应排序，考虑在DataFrame中完成排序，询问是否有其他更优建议。

示例场景：
循环中依次生成如下数组：

y0 = np.array([6,7,8,9])
y1 = np.array([1,2,3,4,5])
x0 = np.array([600, 700, 800, 900])
x1 = np.array([0.1, 0.2, 0.3, 0.4, 0.5])

最终期望得到的DataFrame：

y    x  
0  1    0.1
1  2    0.2
2  3    0.3
3  4    0.4
4  5    0.5
5  6    600
6  7    700
7  8    800
8  9    900

当前报错代码：

df = pd.DataFrame({"data_y":[], "data_x":[]})

for i in range(100):
    
    # 初始化列表
    data_y = []
    data_x = []

    # 处理数据得到列表
    data_y, data_x = ....

    # 转换为numpy数组
    data_y, data_x = ....

    # 尝试合并到DataFrame
    df["data_y"] = data_y.tolist()
    df["data_x"] = data_x.tolist()

1. 不同长度数组追加到DataFrame的最优处理 #

报错原因是直接给df["data_y"]赋值新列表时，新列表长度与DataFrame现有索引长度不匹配。推荐两种高效处理方式：

方法一：循环内生成临时DataFrame再合并 #

每次循环生成对应数据的临时DataFrame，通过pd.concat合并到主DataFrame：

import pandas as pd
import numpy as np

df = pd.DataFrame(columns=["y", "x"])

for i in range(100):
    # 替换为你的实际数据处理逻辑
    if i % 2 == 0:
        data_y = np.array([6,7,8,9])
        data_x = np.array([600, 700, 800, 900])
    else:
        data_y = np.array([1,2,3,4,5])
        data_x = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
    
    temp_df = pd.DataFrame({"y": data_y, "x": data_x})
    df = pd.concat([df, temp_df], ignore_index=True)

方法二：先收集所有数据再一次性生成DataFrame（推荐） #

避免循环内多次合并DataFrame的性能损耗，适合循环次数多的场景：

import pandas as pd
import numpy as np

all_y = []
all_x = []

for i in range(100):
    # 替换为你的实际数据处理逻辑
    if i % 2 == 0:
        data_y = np.array([6,7,8,9])
        data_x = np.array([600, 700, 800, 900])
    else:
        data_y = np.array([1,2,3,4,5])
        data_x = np.array([0.1, 0.2, 0.3, 0.4, 0.5])
    
    all_y.extend(data_y.tolist())
    all_x.extend(data_x.tolist())

df = pd.DataFrame({"y": all_y, "x": all_x})

2. y值排序的建议 #

你提出的在DataFrame中排序的思路完全可行，且是最简洁高效的方式：

# 按y值升序排序，同时重置索引
df_sorted = df.sort_values(by="y", ascending=True).reset_index(drop=True)

如果数据量极大，不建议在收集数据时实时维护有序（每次插入排序会增加额外开销），最终在完整DataFrame上一次性排序的方案性能更优，代码也更易维护。

内容的提问来源于stack exchange，提问作者chowx054