Python下对含不同dtype的numpy结构化数组执行ufunc报错咨询

问题根因 #

• 直接对混合类型结构化数组调用min等聚合类ufunc报错属于numpy预期行为：混合类型的结构化数据没有预设的通用比较规则，无法直接执行reduce类操作。
• 自定义逻辑输出不符合预期的核心问题是视图转换后未正确调整数组形状：当你筛选出多个同类型字段的结构化子数组后，直接调用view(dt)会得到一维数组，长度等于原数组长度 × 同类型字段数，此时调用min(axis=0)会对所有同类型的值求全局最小值，而非按字段分组求最小值。

解决方案 #

方案1：修改现有同类型分组生成器 #

调整视图转换后的数组形状，把同类型字段单独作为最后一个维度，即可按预期执行聚合操作：

import numpy as np

def rec_homogeneous_generator(rec_array):
    dtype_groups = {}
    # 按数据类型分组字段
    for name, dt in rec_array.dtype.descr:
        if dt not in dtype_groups:
            dtype_groups[dt] = []
        dtype_groups[dt].append(name)
    
    for dt, cols in dtype_groups.items():
        # 筛选同类型字段的子结构化数组
        sub_arr = rec_array[cols]
        # 视图转换后调整形状：原形状 + (同类型字段数,)
        homogeneous_arr = sub_arr.view(dt).reshape(sub_arr.shape + (len(cols),))
        yield cols, homogeneous_arr

def test_large_record():
    x = np.array([0.0, 0.2, 0.3], dtype=np.float64)
    x_2 = np.array([0.01, 0.12, 0.82], dtype=np.float64)
    y = np.array([1, 5, 7], dtype=np.int64)
    rec_array = np.rec.fromarrays([x, x_2, y], dtype=[('x', '<f8'), ('x_2', '<f8'), ('y', '<i8')])

    for cols, h_array in rec_homogeneous_generator(rec_array):
        # 沿原数组的样本维度（axis=0）求最小值，得到每个字段的最小值
        col_mins = h_array.min(axis=0)
        print(f"字段{cols}的最小值：{col_mins}")

test_large_record()

运行输出：

字段['x', 'x_2']的最小值：[0.   0.01]
字段['y']的最小值：[1]

方案2：简单遍历字段求聚合（不需要按类型分组时可选） #

如果不需要把同类型字段合并成连续数组操作，直接遍历每个字段单独求聚合更简洁：

def get_rec_array_min(rec_array):
    return {field: rec_array[field].min() for field in rec_array.dtype.names}

# 调用示例
print(get_rec_array_min(rec_array))
# 输出：{'x': 0.0, 'x_2': 0.01, 'y': 1}

内容的提问来源于stack exchange，提问作者Dan