如何用向量化操作将表格数据转换为含缺失值的图像数组？

需求说明 #

现有表格数据：

axis0  axis1  value
0      0      2
1      1      1
0      1      3

需要转换为如下图像数组（缺失值填充为nan）：

[[2 3]
[nan 1]]

要求用向量化操作替代for循环，解决大数据量下处理速度慢的问题。

优化方案 #

方法1：使用Pandas的pivot方法 #

Pandas的pivot是原生向量化操作，可直接将二维索引映射为矩阵，自动填充缺失值为nan：

import pandas as pd

# 构造原始数据
df = pd.DataFrame({
    'axis0': [0, 1, 0],
    'axis1': [0, 1, 1],
    'value': [2, 1, 3]
})

# 按axis0为行、axis1为列转换
result = df.pivot(index='axis0', columns='axis1', values='value').values
print(result)

输出结果：

[[ 2.  3.]
 [nan  1.]]

方法2：使用Numpy的索引批量赋值 #

先创建全nan的目标数组，直接用axis0和axis1作为索引完成批量赋值，全程无Python层面循环：

import numpy as np

# 原始数据数组
axis0 = np.array([0, 1, 0])
axis1 = np.array([0, 1, 1])
values = np.array([2, 1, 3])

# 确定目标数组的维度
rows = axis0.max() + 1
cols = axis1.max() + 1

# 初始化全nan数组并完成向量化赋值
result = np.full((rows, cols), np.nan)
result[axis0, axis1] = values
print(result)

输出结果与方法1一致，该方法在超大数据量场景下性能更优，直接操作Numpy底层数组开销极低。

核心优势 #

• 两种方案均为完全向量化操作，规避了Python循环的性能瓶颈，百万级数据处理速度可提升数倍甚至数十倍
• 自动处理缺失值场景，无需手动判断填充逻辑

内容的提问来源于stack exchange，提问作者hnc