如何将Pandas Series中的TF-IDF向量转为纯数值NumPy二维数组？

问题场景 #

手动实现TF-IDF后，结果以Pandas Series形式存储，每个元素是浮点型列表：

print(type(dataset["TFIDFVec"]))
print(dataset["TFIDFVec"])

<class 'pandas.core.series.Series'>
0       [0.0, 0.6307448112902039, 0.0, 0.0, 0.0, 0.0, ...
1       [0.0, 0.0, 1.3985703304477997, 0.0, 0.0, 0.0, ...

使用to_numpy()后得到的是包含列表的数组，无法直接用于后续数值计算，需要转换成纯数值的二维NumPy数组。

解决方法 #

方法1：直接用NumPy转换Series元素

利用tolist()将Series转成嵌套列表，再传入np.array()，这是最简洁高效的方式：

import numpy as np

tfidf_arr = np.array(dataset["TFIDFVec"].tolist())

验证输出：

print(tfidf_arr.shape)
print(tfidf_arr)
# 输出示例：
# (2, 特征数)
# [[0.         0.63074481 0.         ... 0.         0.         0.        ]
#  [0.         0.         1.39857033 ... 0.         0.         0.        ]]

方法2：通过Pandas展开成DataFrame再转数组

将Series中的每个列表展开为DataFrame的一行，再转换为NumPy数组，适合需要保留Pandas数据结构的场景：

import pandas as pd
import numpy as np

# 展开列表为DataFrame列
tfidf_df = dataset["TFIDFVec"].apply(pd.Series)
# 转NumPy数组
tfidf_arr = tfidf_df.to_numpy()

方法3：从TF-IDF计算阶段直接生成数组

如果是手动实现TF-IDF，可在生成向量时直接用NumPy数组存储，避免后续转换步骤：

import numpy as np

# 假设vocab_size是词汇表大小，documents是文档列表
tfidf_vectors = []
for doc in documents:
    vec = np.zeros(vocab_size)
    # 此处执行TF-IDF计算逻辑，填充vec
    tfidf_vectors.append(vec)

# 直接得到二维数值数组
tfidf_arr = np.array(tfidf_vectors)
# 若需存入DataFrame：
dataset["TFIDFVec"] = list(tfidf_arr)

内容的提问来源于stack exchange，提问作者andryan86