如何将NumPy结构化数组的时间字段转换为纪元秒格式？

核心问题澄清 #

• 直接用astype转换datetime64[m]得到单数字而非60倍数：因为datetime64[m].astype(int)返回的是相对于纪元的分钟数，并非秒数，需要乘以60才能得到纪元秒。
• unstructured_to_structured结果不符合预期：datetime64[m]的单位是分钟（m代表minutes），所以数值3对应的是3分钟后（1970-01-01T00:03），而非3小时，你混淆了单位标识（小时是h）。

通用高效转换方法 #

无需手动遍历元素，利用NumPy矢量化操作批量处理，自动识别时间字段并转换为纪元秒/秒数：

实现代码 #

import numpy as np

def convert_time_fields_to_epoch_sec(arr):
    # 构建新的结构化数组 dtype
    new_dtype_spec = []
    for field_name, field_dtype in arr.dtype.descr:
        if field_dtype == 'datetime64[m]' or field_dtype == 'timedelta64[m]':
            new_dtype_spec.append((field_name, 'int64'))
        else:
            new_dtype_spec.append((field_name, field_dtype))
    new_dtype = np.dtype(new_dtype_spec)
    
    # 创建空的目标数组
    converted_arr = np.empty(arr.shape, dtype=new_dtype)
    
    # 批量转换每个字段
    for field_name in arr.dtype.names:
        original_dtype = arr.dtype.fields[field_name][0]
        if original_dtype == np.dtype('datetime64[m]'):
            # 分钟数转纪元秒：分钟数 * 60
            converted_arr[field_name] = arr[field_name].view('int64') * 60
        elif original_dtype == np.dtype('timedelta64[m]'):
            # 分钟数转秒：分钟数 * 60
            converted_arr[field_name] = arr[field_name].view('int64') * 60
        else:
            # 非时间字段直接复制
            converted_arr[field_name] = arr[field_name]
    
    return converted_arr

使用示例 #

# 测试用结构化数组
test_data = np.array(
    [(np.datetime64('1970-01-01T03:00', 'm'), np.timedelta64(120, 'm'), 456)],
    dtype=[('timestamp', 'datetime64[m]'), ('duration', 'timedelta64[m]'), ('value', 'int32')]
)

# 执行转换
result = convert_time_fields_to_epoch_sec(test_data)
print(result)
# 输出：[(10800, 7200, 456)]
# 说明：1970-01-01T03:00的纪元秒为3*3600=10800；120分钟=7200秒

关键说明 #

• 效率：所有操作都是NumPy矢量化处理，比手动遍历元素快几个数量级，适合大规模数组。
• 通用性：自动识别所有datetime64[m]和timedelta64[m]字段，无需逐个指定，适配任意包含此类时间格式的结构化数组。
• 原地转换限制：由于datetime64[m]（通常占8字节）转int64也是8字节，理论上可尝试原地转换，但为避免数据损坏，建议创建新数组，安全性更高。

内容的提问来源于stack exchange，提问作者Andreas Schuldei