如何高效将Numpy数组转换为FORTRAN顺序的ctypes数组？

问题描述 #

是否存在一种高效的方法将NumPy数组转换为FORTRAN顺序的ctypes数组？理想情况下无需拷贝，且不会引发步长相关问题？

示例代码 #

import numpy as np

# 示例数据
n = 10000
A = np.zeros((n,n), dtype=np.int8)
A[0,1] = 1

def slow_conversion(A):
    return np.ctypeslib.as_ctypes(np.ascontiguousarray(A.T))

assert slow_conversion(A)[1][0] == 1

性能对比 #

直接调用as_ctypes的性能 #

%%timeit
np.ctypeslib.as_ctypes(A)

测试结果：3.35 µs ± 10.5 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

现有慢速转换方法的性能 #

%%timeit
slow_conversion(A)

测试结果：206 ms ± 10.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

理想结果是获得与直接调用as_ctypes相近的性能。

解决方案 #

核心思路 #

np.ctypeslib.as_ctypes本身支持处理非连续数组，只要目标ctypes函数能兼容数组的步长布局，就可以实现无拷贝转换。以下分场景给出方案：

场景1：原数组已是FORTRAN顺序

如果数组本身是列优先（FORTRAN顺序）的存储布局，直接调用as_ctypes即可，完全无拷贝，性能和直接转换C顺序数组一致：

# 创建FORTRAN顺序的数组
A_fortran = np.asfortranarray(A)
# 无拷贝转换
ctypes_arr = np.ctypeslib.as_ctypes(A_fortran)
assert ctypes_arr[1][0] == 1

场景2：原数组是C顺序，目标函数支持非连续内存/步长

C顺序数组的转置A.T是原数组的视图（无拷贝），可以直接传递给as_ctypes，性能和直接转换原数组几乎一致：

# 基于转置视图的无拷贝转换
ctypes_arr_view = np.ctypeslib.as_ctypes(A.T)
assert ctypes_arr_view[1][0] == 1

测试该方法的性能，结果会和np.ctypeslib.as_ctypes(A)接近（约3-4µs），因为仅创建视图和ctypes包装，无内存拷贝操作。

场景3：目标函数要求连续的FORTRAN顺序内存

如果目标ctypes函数强制要求内存是连续的列优先布局，那么必须通过np.ascontiguousarray(A.T)完成内存拷贝，这种情况下性能无法避免下降，因为需要复制整个数组的内存。

总结 #

• 无拷贝且高性能的前提是：目标函数兼容非连续内存布局，或原数组本身已是FORTRAN顺序。
• 仅当函数严格要求连续FORTRAN内存时，才需要接受拷贝带来的性能损耗。

内容的提问来源于stack exchange，提问作者Andrew Walker