将CSV文件分块读取并转换为NumPy数组的技术问题

我来帮你搞定这个问题！你遇到的嵌套结构问题，大概率是读取时遗漏了压缩参数或者类型转换的处理方式不对导致的，下面给你分步解决的方案：

先修正分块读取的核心代码 #

首先你保存CSV时用了compression='gzip'，读取时必须加上这个参数，否则pandas无法正确解析压缩文件，很容易出现类型混乱，进而转NumPy时产生嵌套结构。另外，用to_numpy()替代values（pandas官方更推荐前者），能更清晰地控制数组类型：

import pandas as pd
import numpy as np

# 初始化带压缩参数的迭代器
reader = pd.read_csv(
    "train_data.csv",
    iterator=True,
    header=None,
    dtype={
        0: np.float64,
        1: np.float64,
        2: np.float64,
        3: np.int32,
        4: np.int32,
        5: np.int32
    },
    compression='gzip'  # 关键！别漏掉这个参数
)

chunk_size = 10000  # 根据你的内存情况调整块大小
numpy_chunks = []

try:
    while True:
        # 读取单块DataFrame
        chunk_df = reader.get_chunk(chunk_size)
        # 直接转成二维NumPy数组（无嵌套）
        chunk_np = chunk_df.to_numpy()
        numpy_chunks.append(chunk_np)
        print(f"已读取第{len(numpy_chunks)}块，形状：{chunk_np.shape}")
except StopIteration:
    print("所有数据块读取完成！")

# 可选：合并所有块为一个大NumPy数组
full_numpy_data = np.concatenate(numpy_chunks)

排查嵌套问题的根源 #

如果还是出现嵌套结构，你可以先打印chunk_df.dtypes检查各列类型：

print(chunk_df.dtypes)

如果某列显示为object类型，说明pandas没能按照你指定的dtype解析该列，可能是CSV里存在格式错误（比如某行的数值是字符串）。这种情况下，你可以：

• 检查原始数据是否有格式异常
• 给对应的列加上na_values参数，把异常值转为NaN，比如：

  reader = pd.read_csv(
      # 其他参数不变
      na_values=['', ' ', 'nan']
  )
  

更高效的替代方案（可选） #

既然你的数据原本就是NumPy数组，其实没必要转CSV来回折腾，直接用NumPy的压缩保存更高效，还能避免类型转换问题：

# 保存NumPy数组时
np.savez_compressed("train_data.npz", data=your_original_numpy_array)

# 读取时
loaded_data = np.load("train_data.npz")
full_array = loaded_data['data']
# 分块读取直接用切片就行
chunk1 = full_array[:10000]
chunk2 = full_array[10000:20000]

内容的提问来源于stack exchange，提问作者mhmmtucan