Python使用pandas读取CSV后将字符串数组转换为float类型的问题求解

问题原因 #

• 核心问题：你CSV中存储的数组本质是字符串格式的Python列表字面量，pandas读取时会识别为普通字符串，而非结构化数值数组
• 具体报错原因：
  1. AttributeError: 'numpy.ndarray' object has no attribute 'asarray'是因为asarray是numpy模块的全局方法，你错误地用已经生成的单元素字符串数组D调用该方法，而非调用np.asarray()
  2. 清理括号后仍转换失败是因为处理后得到的仍然是逗号分隔的整串字符串，没有拆分成为单个数值元素，无法直接转换为float类型
  3. 你执行D = np.array(D)时输入为字符串，最终生成的是仅包含1个字符串元素的numpy数组，而非多元素数值数组，本身就不满足类型转换的前提

现有文件解决方案 #

使用Python内置的ast模块的literal_eval方法，可以直接把字符串格式的列表转换为Python原生列表，比手动清理字符更稳定，代码如下：

import pandas as pd
import numpy as np
import ast

df = pd.read_csv("file.csv")
# 提取对应位置的字符串内容
D_str = df.iloc[1, 0]
# 将字符串列表转换为Python原生列表
D_list = ast.literal_eval(D_str)
# 转换为float类型的numpy数组
D_arr = np.array(D_list, dtype=np.float64)

ast.literal_eval只会解析合法的Python字面量，不会执行任意代码，安全性远高于eval，可以放心使用。

CSV存储优化建议 #

当前将整个数组塞进单个单元格的存储方式属于非结构化存储，每次读取都需要做字符串解析，建议替换为以下两种规范存储方式，从根源避免转换问题：

• 方案1：拆分为多列存储
  如果每个数组长度固定，直接将数组的每个元素存为单独的列，比如Pressures数组有16个元素，就设置列名为Pressures_0、Pressures_1 ... Pressures_15，写入时直接把数组展开为一行多列，读取后可以直接提取数值，无需额外转换。
• 方案2：长表格式存储
  用三列参数名、索引、数值存储所有数据，比如Pressures的第一个元素存储为Pressures, 0, 5，第二个元素存储为Pressures, 1, 10，这种格式灵活性更高，pandas读取后可以直接通过分组、透视操作提取对应参数的数组，不需要做字符串解析。

内容的提问来源于stack exchange，提问作者Tom