如何自动将Spark DataFrame中所有Decimal类型列转为Float类型以适配Pandas转换及XLSX导出

我完全懂你的痛点——Spark里的Decimal类型转成Pandas DataFrame后会变成object类型，导出Excel直接就成了文本格式，根本没法当数字用！而且你还没法提前硬编码列名，得自动识别所有Decimal列来处理，确实得找个通用的方案。

其实核心思路很简单：先遍历Spark DataFrame的Schema，把所有Decimal类型的列找出来，然后只对这些列做类型转换（转成Float），其他列保持原样，最后重新组合成新的DataFrame就行。这样不管你有多少个Decimal列、列名是什么，都能自动处理，还不影响其他类型的列，NULL值也能完美保留。

具体实现代码 #

先给你最直接的实现，用selectExpr就能快速搞定：

# 1. 先获取原始DataFrame
df = spark.sql("select 'text' as txt, 1.1111 as one, 2.22222 as two, CAST(3.333333333333 AS FLOAT) as three")

# 2. 识别所有Decimal类型的列名
decimal_cols = [col_name for col_name, dtype in df.dtypes if dtype.startswith('decimal')]

# 3. 构造转换规则：Decimal列转Float，其他列不变
transformed_cols = [
    f"CAST(`{col}` AS FLOAT) AS `{col}`" if col in decimal_cols else col
    for col in df.columns
]

# 4. 应用转换得到新的DataFrame
df_transformed = df.selectExpr(*transformed_cols)

验证转换效果 #

先看转换后的Spark Schema：

df_transformed.printSchema()

输出完全符合你的预期：

root
 |-- txt: string (nullable = false)
 |-- one: float (nullable = false)
 |-- two: float (nullable = false)
 |-- three: float (nullable = false)

再转成Pandas DataFrame验证类型：

df_pd = df_transformed.toPandas()
print(df_pd.dtypes)

输出：

txt       object
one      float32
two      float32
three    float32
dtype: object

所有原来的Decimal列现在都是float32类型，完美解决了object类型的问题，导出Excel的时候就会作为数字存储了！

另一种Spark原生Column API实现 #

如果你更习惯用PySpark的Column API来写，也可以这样：

from pyspark.sql.functions import col

# 同样先识别Decimal列
decimal_cols = [col_name for col_name, dtype in df.dtypes if dtype.startswith('decimal')]

# 构造转换列列表
transformed_cols = [
    col(col_name).cast("float").alias(col_name) if col_name in decimal_cols else col(col_name)
    for col_name in df.columns
]

# 生成转换后的DataFrame
df_transformed = df.select(*transformed_cols)

这个方法和上面的效果完全一样，只是写法更偏向Spark的原生API，在需要更复杂的列处理时会更灵活。

补充说明 #

• 这个方案自动适配所有Decimal列，不管你有多少个、列名是什么，都不用手动指定；
• NULL值完全不用担心，CAST转换会原样保留NULL；
• 所有非Decimal类型的列（比如你的txt字符串列、已经是Float的three列）都不会被修改，完美保留原类型。

备注：内容来源于stack exchange，提问作者Jonas Helium