Scala中批量去除DataFrame列前导0的实现方法

嘿，很高兴能帮你解决这个批量处理DataFrame列前导0的问题！你已经搞定了单列的情况，那扩展到多列其实很简单，我给你两种实用的方法：

这种方法直观易懂，适合快速上手：

首先导入需要的函数，然后定义要处理的列列表，接着循环对每一列执行regexp_replace操作：

from pyspark.sql.functions import regexp_replace

# 指定需要去除前导0的列
target_cols = ["subcategory", "subcategory_label"]

# 循环处理每一列
for col in target_cols:
    df = df.withColumn(col, regexp_replace(col, "^0*", ""))

# 查看处理后的结果
df.show()

这种方法更符合Spark的编程风格，避免多次链式调用withColumn，性能更优，尤其是当数据量较大时：

from pyspark.sql.functions import regexp_replace

target_cols = ["subcategory", "subcategory_label"]

# 构建所有列的处理逻辑：目标列去除前导0，其他列原样保留
processed_columns = [
    regexp_replace(col, "^0*", "").alias(col) if col in target_cols else col
    for col in df.columns
]

# 生成处理后的DataFrame
cleaned_df = df.select(*processed_columns)

cleaned_df.show()

补充说明 #

• 正则表达式^0*的作用是匹配字符串开头的0个或多个0，如果你的列中存在全0的情况（比如0000），处理后会变成空字符串。如果希望全0的情况保留一个0，可以把正则改成^0+(?=[^0])|^0$，不过从你的示例来看，原数据都是开头有0、后面跟非0字符，所以原正则完全适用。
• 两种方法最终都会得到你期望的结果：

内容的提问来源于stack exchange，提问作者abssab