PySpark中基于列名拆分含列名字段值的实现需求

你遇到的问题核心是split函数会把列名内部的下划线也当成分隔符，而你需要的是仅以完整列名作为拆分依据。这里提供两种可行的实现方式：

方式1：正则表达式提取（通用适配各种场景） #

利用Spark的regexp_extract函数，针对每个列名构造精准的正则模式，匹配列名前缀后的剩余内容，同时新增列固定保存原列名。

示例代码（支持多列批量处理）：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, regexp_extract, lit

# 初始化SparkSession
spark = SparkSession.builder.appName("SplitByColumnName").getOrCreate()

# 模拟多列测试数据
data = [
    ("genre_list_comedy_val", "type_list_movie"),
    ("genre_list_drama_val_us", "type_list_tv"),
    ("genre_list_action_val", "type_list_documentary")
]
df = spark.createDataFrame(data, ["genre_list", "type_list"])

# 待处理的列名列表
segments = ["genre_list", "type_list"]

# 遍历列名，生成拆分后的新列
for col_name in segments:
    # 构造正则：匹配以「列名+下划线」开头的内容，提取后面的部分
    regex_pattern = f"^{col_name}_(.*)$"
    df = df.withColumn(f"{col_name}_column_name", lit(col_name)) \
           .withColumn(f"{col_name}_value", regexp_extract(col(col_name), regex_pattern, 1))

# 移除原列（可选，根据业务需求决定是否保留）
df = df.drop(*segments)

df.show(truncate=False)

运行输出：

+---------------------+----------------+-------------------+---------------------+
|genre_list_column_name|genre_list_value|type_list_column_name|type_list_value|
+---------------------+----------------+-------------------+---------------------+
|genre_list           |comedy_val      |type_list          |movie                |
|genre_list           |drama_val_us    |type_list          |tv                   |
|genre_list           |action_val      |type_list          |documentary          |
+---------------------+----------------+-------------------+---------------------+

方式2：字符串截取（性能更优，适合固定前缀场景） #

如果能确定字段值严格遵循「列名_剩余内容」的格式，直接用substring截取列名长度+1位置后的内容，性能比正则表达式更好。

只需修改上述循环部分的代码：

for col_name in segments:
    # 计算前缀长度（列名长度+下划线的1位），从该位置开始截取剩余内容
    prefix_length = len(col_name) + 1
    df = df.withColumn(f"{col_name}_column_name", lit(col_name)) \
           .withColumn(f"{col_name}_value", col(col_name).substr(prefix_length, 1000))

注意事项 #

• 若字段值存在列名重复出现的情况（比如genre_list_comedy_genre_list），正则方式会更精准，只会匹配开头的列名前缀。
• 不需要保留原列的话，可以在循环中直接替换，或者最后批量删除原列。

内容的提问来源于stack exchange，提问作者Matthew