Spark Scala JDBC导入Oracle NUMBER(1)转布尔型：如何改为0/1？

我完全懂你遇到的困扰——Oracle里定义为NUMBER(1)的c7列，通过Spark JDBC读取后自动变成了布尔类型（true/false），但你希望保留原始的0/1数值。这其实是Spark JDBC驱动的默认类型映射规则导致的，咱们可以通过几个实用的方法来调整：

方法1：自定义JDBC类型映射（推荐） #

Spark允许我们通过配置或者读取参数来覆盖默认的类型映射，从根源上解决问题。

方式A：读取时用customSchema显式指定列类型 #

在读取Oracle表的代码里，直接通过customSchema参数明确指定c7列的类型为integer或者decimal(1,0)，这样Spark就会严格按照你指定的类型解析：

val df = spark.read
  .format("jdbc")
  .option("url", "jdbc:oracle:thin:@//your-oracle-host:port/service-name")
  .option("dbtable", "your_target_table")
  .option("user", "your_db_username")
  .option("password", "your_db_password")
  // 这里要列出表的所有列，重点指定c7的类型
  .option("customSchema", "c1 VARCHAR(50), c2 NUMBER(10), c7 DECIMAL(1,0), c8 DATE, ...")
  .load()

方式B：全局配置JDBC类型映射 #

如果你希望所有Oracle的NUMBER(1)列都默认映射为数值类型，可以在初始化SparkSession时设置全局配置，一劳永逸：

val spark = SparkSession.builder()
  .appName("OracleJDBCReader")
  // 将Oracle的NUMBER(1)类型映射为integer
  .config("spark.sql.jdbc.typeMapping.oracle.NUMBER(1)", "integer")
  .getOrCreate()

之后所有读取Oracle表的操作中，NUMBER(1)类型都会被解析成整数，不再自动转布尔值。

方法2：读取后转换布尔列为数值 #

如果已经把数据读成布尔类型了，也可以快速通过DataFrame的转换操作，把true/false转成对应的1/0：

import org.apache.spark.sql.functions._

// 把c7列的布尔值转成0/1整数
val convertedDf = df.withColumn("c7", when(col("c7") === true, 1).otherwise(0))

这个方法适合临时处理个别列的场景，操作起来很直接。

补充：为什么会出现这个问题？ #

Oracle的NUMBER(1)类型常被用来存储0/1的标识值，但Spark JDBC驱动默认会把这种长度为1的数值类型映射为布尔型（因为在不少数据库生态里，1对应true、0对应false是常见用法）。所以我们需要手动覆盖这个默认规则，才能保留原始的数值形式。

内容的提问来源于stack exchange，提问作者NS Saravanan