如何导出包含大型np.array的Pandas DataFrame为完整CSV文件？

嘿，这个问题我之前做音频特征处理的时候也遇到过！Pandas默认处理非标量列（比如你的大数组）时，用to_csv确实会把数组转成简化的字符串表示，而不是完整内容。给你几个解决思路：

这是最直接适配CSV格式的方法，把每个数组转成逗号分隔的完整字符串，这样导出到CSV里就是全部数值：

import numpy as np
import pandas as pd

# 假设你的DataFrame是df，数组列名为'x'
# 将numpy数组转为无截断的逗号分隔字符串（去掉默认的[]包裹）
df['x'] = df['x'].apply(lambda arr: np.array2string(arr, separator=',', threshold=np.inf)[1:-1])

# 导出CSV
df.to_csv('audio_features.csv', index=False)

之后要读取回来的话，再把字符串转回数组：

df = pd.read_csv('audio_features.csv')
# 将字符串列转回numpy数组
df['x'] = df['x'].apply(lambda s: np.fromstring(s, sep=','))

考虑到你的每个数组有17万+数值，导出成CSV后文件会异常庞大，读写速度也会很慢。更推荐用支持原生存储非标量数据的二进制格式，比如Pickle、Feather或Parquet：

• Pickle（最简单）：

# 导出
df.to_pickle('audio_features.pkl')
# 读取
df = pd.read_pickle('audio_features.pkl')

直接保存DataFrame的完整结构，不需要任何转换，读取后数组和原数据完全一致。

• Feather/Parquet（更高效，跨语言支持）：
  Feather适合小到中型数据集，读写速度极快；Parquet适合大型数据集，支持压缩：

# Feather
df.to_feather('audio_features.feather')
df = pd.read_feather('audio_features.feather')

# Parquet（需要安装pyarrow或fastparquet）
df.to_parquet('audio_features.parquet')
df = pd.read_parquet('audio_features.parquet')

• 用CSV存储大数组时，每行的长度会非常长，部分文本编辑器或工具可能无法正常打开，这也是为什么更推荐二进制格式的原因。
• 如果你的数组是Python列表而非numpy数组，把np.array2string换成','.join(map(str, arr))即可。

内容的提问来源于stack exchange，提问作者MeidanGR