rpy2将R三维数组转换为Python numpy数组时维度异常的解决方案

问题描述 #

• 使用rpy2包将R环境中的复杂嵌套tibble传递到Python环境时，为降低Python侧处理嵌套结构的复杂度，提前在R侧将数据拆分为元数据、多组时间序列两部分，时间序列部分统一转换为三维数组。
• R与Python对多维数组的维度排列、存储逻辑存在差异，原预期rpy2会自动完成维度适配，但实际测试发现默认numpy2ri转换器无法保留R数组的原始语义：
  • R中定义维度为c(4, 3, 2)的数组，经默认转换后得到的numpy数组shape虽为(4, 3, 2)，但维度内元素排列不符合R侧的切片逻辑
  • 手动调用reshape(2, 4, 3, order='F')也无法得到正确结果
• 最小复现代码如下：

import rpy2.robjects as ro
import numpy as np

from rpy2.robjects import numpy2ri
from rpy2.robjects import default_converter
from rpy2.robjects.conversion import localconverter

ro.r(
    """
        f <- function() {
            data1 <- c(
                1, 2,  3,  4,
                5, 6,  7,  8,
                9, 10, 11, 12
            )
            data2 <- c(
                10, 20,  30,  40,
                50, 60,  70,  80,
                90, 100, 110, 120
            )
            result <- array(
                c(data1, data2),
                dim = c(4, 3, 2)
            )
            print(result)
            print(dim(result))
            return(result)
        }
    """
)

r_f = ro.globalenv["f"]
v_np = r_f()

print(type(v_np))
print("###################################")

with localconverter(default_converter + numpy2ri.converter) as cv:
    np_data_measurment = ro.conversion.rpy2py(v_np)

print(np_data_measurment)
print(type(np_data_measurment))
print(np_data_measurment.shape)
print("###################################")

np_good = np.array(
    [
        [
            [1, 5, 9],
            [2, 6, 10],
            [3, 7, 11],
            [4, 8, 12]],
        [
            [10, 50, 90],
            [20, 60, 100],
            [30, 70, 110],
            [40, 80, 120]],
    ]
)

print(np_good)
print(type(np_good))
print(np_good.shape)

print("###################################")
print(np_data_measurment.reshape(2, 4, 3, order='F'))

• 预期转换结果为代码中定义的np_good数组，shape为(2, 4, 3)，元素排列完全匹配R侧数组的分块切片逻辑。

原因说明 #

R使用Fortran式列优先存储规则，三维数组的维度顺序为行维-列维-块维，打印输出时按块维分层展示；默认numpy2ri转换器仅直接拷贝R数组的维度值作为numpy的shape，未调整轴顺序，导致R中作为分层依据的块维落在numpy数组的最后一个轴上，和常规使用时「第一个轴为样本/块维度」的逻辑不符，且reshape仅修改维度长度、不调整轴对应关系，无法修正该错位。

自定义转换器实现 #

基于rpy2的原生转换规则接口自定义转换器，自动完成三维数组的轴顺序适配，转换后无需手动调整即可得到符合预期的数组结构：

import rpy2.robjects as ro
import numpy as np
from rpy2.robjects import numpy2ri, default_converter
from rpy2.robjects.conversion import localconverter, Converter

# 定义自定义转换器，继承默认转换规则
r_array_converter = Converter("R 3D array adapter", base=default_converter + numpy2ri.converter)

@r_array_converter.rpy2py.register(ro.vectors.Array)
def convert_r_3darray(r_arr):
    # 先走默认转换得到基础numpy数组
    np_arr = numpy2ri.converter.rpy2py(r_arr)
    # 仅针对三维数组做轴调整：将最后一个块维移到第一个轴，保持行、列维度顺序不变
    if np_arr.ndim == 3:
        np_arr = np_arr.transpose(2, 0, 1)
    return np.ascontiguousarray(np_arr)

# 调用示例
if __name__ == "__main__":
    ro.r(
        """
            f <- function() {
                data1 <- c(1,2,3,4,5,6,7,8,9,10,11,12)
                data2 <- c(10,20,30,40,50,60,70,80,90,100,110,120)
                return(array(c(data1, data2), dim = c(4,3,2)))
            }
        """
    )
    r_f = ro.globalenv["f"]
    # 在转换器上下文内执行转换，自动完成适配
    with localconverter(r_array_converter):
        np_res = ro.conversion.rpy2py(r_f())
    
    # 验证结果
    np_good = np.array(
        [
            [[1,5,9],[2,6,10],[3,7,11],[4,8,12]],
            [[10,50,90],[20,60,100],[30,70,110],[40,80,120]]
        ]
    )
    print(np.array_equal(np_res, np_good))  # 输出True
    print(np_res.shape)  # 输出(2,4,3)，与预期完全一致

• 该转换器对一维、二维数组的转换逻辑和默认规则完全一致，不会影响常规向量、矩阵的转换结果。
• 转换器可按需选择作用范围：用localconverter上下文包裹代码可实现局部生效，调用r_array_converter.activate()可实现全局生效，所有R数组转换都会自动执行适配逻辑。

内容的提问来源于stack exchange，提问作者Someone2