Spark-SQL能否写入Oracle XMLTYPE列？写入报错求解决方案

确认Spark-SQL是否支持写入Oracle表的XMLTYPE列（注：此问题并非指读写XML文件）。具体场景：

• 读取Oracle源表src_clxml（表结构：xml_unid numeric(19) NOT NULL，"XML" sys.xmltype NULL）操作正常，能通过show打印XML列数据；
• 写入同结构的目标表tgt_clxml时，报错：java.sql.BatchUpdateException: ORA-01461: can bind a LONG value only for insert into a LONG column；
• 将目标表的XMLTYPE列改为CLOB可正常写入，但业务要求必须保留XMLTYPE类型。

疑问：

1. 是否可以将Spark识别为LONG类型的XML列转换为Oracle期望的XMLTYPE？
2. 这是否属于JDBC问题？

原代码：

class ClXml(val sc: SparkContext, val ss: SparkSession, val args: Array[String]) {

val s1 = args(1)
val t1 = args(2)
val sPpt = args(3)
val tPpt = args(4)

import ss.implicits.StringToColumn

val clxml = new Source(sc, ss, s1, sPpt)

val clxmlDF = clxml
  .getDf
  .select(
    $"xml_unid".as("xml_unid"),
    $"guid".as("guid"),
    $"xml".as("xml"),
    $"permanent_id".as("permanent_id"),
    $"searchable".as("searchable"),
    $"mapped_id".cast("int").as("mapped_id")
  )

clxmlDF.write
.format("jdbc")
.option("driver", "oracle.jdbc.driver.OracleDriver")
.option("url", "myurl")
.option("dbtable", "mytable")
.option("user", "myuser")
.option("password", "***")
.mode("append")
.save()
}

问题本质 #

这确实属于JDBC层面的类型映射问题：Spark读取Oracle XMLTYPE列时，默认会将其映射为String（内部处理为LONG类型），而Oracle JDBC驱动不会自动将这类数据绑定到XMLTYPE列，从而抛出ORA-01461错误。

解决方法 #

要实现Spark写入Oracle XMLTYPE列，需通过自定义数据转换或JDBC参数配置处理，以下是两种可行方案：

方案1：自定义分区写入（兼容性强）

通过foreachPartition手动处理数据绑定，将XML字符串转换为Oracle原生XMLType对象写入：

1. 引入Oracle XML依赖
   确保项目包含Oracle XML相关库：

<dependency>
    <groupId>com.oracle.database.xml</groupId>
    <artifactId>xdb</artifactId>
    <version>19.3.0.0</version>
</dependency>

2. 修改写入逻辑
   替换原有的write.jdbc代码，改用手动分区写入：

import oracle.xdb.XMLType
import java.sql.Connection
import java.sql.PreparedStatement

// 封装Oracle连接获取逻辑
def getOracleConn: Connection = {
  Class.forName("oracle.jdbc.driver.OracleDriver")
  java.sql.DriverManager.getConnection("myurl", "myuser", "***")
}

// 手动处理每个分区的数据写入
clxmlDF.foreachPartition { partition =>
  val conn = getOracleConn
  val stmt = conn.prepareStatement(
    "INSERT INTO tgt_clxml (xml_unid, guid, xml, permanent_id, searchable, mapped_id) VALUES (?, ?, ?, ?, ?, ?)"
  )
  
  partition.foreach { row =>
    // 绑定常规字段
    stmt.setLong(1, row.getAs[Long]("xml_unid"))
    stmt.setString(2, row.getAs[String]("guid"))
    stmt.setString(4, row.getAs[String]("permanent_id"))
    stmt.setBoolean(5, row.getAs[Boolean]("searchable"))
    stmt.setInt(6, row.getAs[Int]("mapped_id"))
    
    // 绑定XMLTYPE字段
    val xmlStr = row.getAs[String]("xml")
    if (xmlStr != null) {
      val xmlType = XMLType.createXML(conn, xmlStr)
      stmt.setObject(3, xmlType)
    } else {
      stmt.setNull(3, oracle.jdbc.OracleTypes.OPAQUE, "SYS.XMLTYPE")
    }
    
    stmt.addBatch()
  }
  
  stmt.executeBatch()
  stmt.close()
  conn.close()
}

方案2：JDBC参数配置（简单高效，需驱动兼容）

针对Oracle JDBC 12c及以上版本，可添加驱动参数强制XMLTYPE类型映射：

clxmlDF.write
.format("jdbc")
.option("driver", "oracle.jdbc.driver.OracleDriver")
.option("url", "myurl")
.option("dbtable", "mytable")
.option("user", "myuser")
.option("password", "***")
.option("oracle.jdbc.mapXmlTypeToClob", "false") // 禁用XMLTYPE转CLOB
.mode("append")
.save()

注意：此参数需配合同版本的Oracle JDBC驱动使用，且读取XMLTYPE列时也需添加该参数，避免类型映射不一致。

关键说明 #

• Spark本身无原生Oracle XMLTYPE写入支持，需依赖JDBC驱动或手动转换；
• 自定义分区写入方式适配所有Oracle JDBC版本，稳定性更强；
• 若使用参数配置方案，需确认驱动版本≥12c，且测试环境与生产环境驱动版本一致。

内容的提问来源于stack exchange，提问作者SteveTR