如何无需指定列名批量将DataFrame中decimal(38,10)列转为integer？

核心思路 #

遍历DataFrame的Schema，精准筛选出类型为DecimalType(38,10)的列，批量执行类型转换，无需手动指定列名，同时保留其他精度的Decimal列。

具体实现 #

1. Scala 版本

import org.apache.spark.sql.types.{DecimalType, IntegerType}
import org.apache.spark.sql.DataFrame

// 定义批量转换函数
def convertDecimal38ToInt(df: DataFrame): DataFrame = {
  // 筛选所有Decimal(38,10)类型的列
  val targetCols = df.schema.fields.filter { field =>
    field.dataType match {
      case dt: DecimalType => dt.precision == 38 && dt.scale == 10
      case _ => false
    }
  }.map(_.name)

  // 批量转换目标列到Integer类型
  targetCols.foldLeft(df) { (accDF, colName) =>
    accDF.withColumn(colName, accDF(colName).cast(IntegerType))
  }
}

// 使用示例
val originalDF = spark.read.table("your_oracle_imported_table")
val convertedDF = convertDecimal38ToInt(originalDF)
convertedDF.write.mode("overwrite").saveAsTable("processed_table")

2. Python 版本

from pyspark.sql.types import DecimalType, IntegerType
from pyspark.sql import DataFrame

def convert_decimal38_to_int(df: DataFrame) -> DataFrame:
    # 筛选目标列
    target_cols = [
        field.name for field in df.schema.fields
        if isinstance(field.dataType, DecimalType) 
        and field.dataType.precision == 38 
        and field.dataType.scale == 10
    ]
    
    # 批量转换列类型
    for col_name in target_cols:
        df = df.withColumn(col_name, df[col_name].cast(IntegerType()))
    return df

// 使用示例
original_df = spark.read.table("your_oracle_imported_table")
converted_df = convert_decimal38_to_int(original_df)
converted_df.write.mode("overwrite").saveAsTable("processed_table")

适配多张表的批量处理场景 #

将转换函数封装后，结合表列表遍历即可处理数千张表：

// Scala 批量处理示例
val tableList = List("table1", "table2", "table3") // 替换为你的表名列表
tableList.foreach { tableName =>
  val df = spark.read.table(tableName)
  val convertedDF = convertDecimal38ToInt(df)
  convertedDF.write.mode("overwrite").saveAsTable(s"processed_$tableName")
}

注意事项 #

• 转换前需确认Decimal(38,10)列的数值可安全转为Integer（无小数部分、数值在Integer范围内），避免数据丢失。
• 若需保留整数部分但调整精度，可将IntegerType替换为DecimalType(18,0)等其他类型。

内容的提问来源于stack exchange，提问作者WhiteBird