PySpark 3.1.1读取含VARRAY类型Oracle表遇Unsupported type ARRAY错误求助

问题描述 #

我有一个包含5列的Oracle表，其中一列的类型定义如下：

TYPE "C_ARRAY" IS VARRAY (500) OF c_my_type

使用PySpark 3.1.1读取该表时，持续触发以下错误：

An error occurred while calling o77.jdbc.: java.sql.SQLException: Unsupported type ARRAY

尝试手动指定该列为STRUCT或STRING类型，问题仍未解决，当前使用ojdbc8-full 21.9版本驱动。

可行解决方案 #

1. 通过SQL查询转换VARRAY为可识别类型 #

放弃直接读取整张表，改用query参数自定义查询逻辑，将VARRAY转换为JDBC支持的类型：

• 如果c_my_type是简单类型（如VARCHAR2、NUMBER），用JSON_ARRAYAGG聚合为JSON字符串：

  df = spark.read.format("jdbc") \
      .option("url", "jdbc:oracle:thin:@//your-host:port/service-name") \
      .option("query", """
          SELECT t.col1, t.col2, t.col3, t.col4, 
                 JSON_ARRAYAGG(v.column_value) AS c_array_str
          FROM your_table t, TABLE(t.c_array) v
          GROUP BY t.col1, t.col2, t.col3, t.col4
      """) \
      .option("user", "your-username") \
      .option("password", "your-password") \
      .option("driver", "oracle.jdbc.OracleDriver") \
      .load()
  

• 如果c_my_type是自定义结构体，先展开结构体字段再拆分读取：

  df = spark.read.format("jdbc") \
      .option("url", "jdbc:oracle:thin:@//your-host:port/service-name") \
      .option("query", """
          SELECT t.col1, 
                 v.field1, v.field2, v.field3
          FROM your_table t, TABLE(t.c_array) v
      """) \
      .option("user", "your-username") \
      .option("password", "your-password") \
      .option("driver", "oracle.jdbc.OracleDriver") \
      .load()
  

  后续可通过Spark分组聚合将拆分的行重新组合为数组。

2. 使用Oracle内置函数转换VARRAY为字符串 #

对于元素较少的VARRAY，用LISTAGG转换为逗号分隔的字符串：

df = spark.read.format("jdbc") \
    .option("url", "jdbc:oracle:thin:@//your-host:port/service-name") \
    .option("query", """
        SELECT col1, col2, col3, col4,
               LISTAGG(v.column_value, ',') WITHIN GROUP (ORDER BY 1) AS c_array_str
        FROM your_table t, TABLE(t.c_array) v
        GROUP BY col1, col2, col3, col4
    """) \
    .option("user", "your-username") \
    .option("password", "your-password") \
    .option("driver", "oracle.jdbc.OracleDriver") \
    .load()

注意：LISTAGG有长度限制，仅适合小容量VARRAY。

3. 升级PySpark版本 #

PySpark 3.1.1对Oracle复杂类型支持有限，升级到3.3及以上版本后，JDBC对复杂类型的兼容性更好，可能无需额外转换即可读取VARRAY字段。

内容的提问来源于stack exchange，提问作者Pablo Ochoa