PySpark如何基于DataFrame某列创建存储字符串长度的新列？

嗨，刚接触PySpark的话确实容易在这类细节上卡壳，别担心，这个需求其实很好实现的！

核心思路 #

我们需要用到PySpark内置的length函数来计算字符串长度，不过要注意一个关键点：如果你的Col1是数字类型（比如int、long），得先把它转换成字符串类型，否则length函数会报错，因为它只针对字符串生效。

具体代码步骤 #

1. 首先导入需要的函数：

from pyspark.sql.functions import length, col

2. 假设你的原始DataFrame名为df，执行下面的代码添加新列Col2：

# 如果Col1是数字类型，先转成字符串再计算长度
df_with_col2 = df.withColumn("Col2", length(col("Col1").cast("string")))

# 如果Col1本身已经是字符串类型，可以简化成：
# df_with_col2 = df.withColumn("Col2", length(col("Col1")))

示例效果 #

假设你的原始DataFrame是这样的：

运行代码后得到的df_with_col2会是：

额外小提示 #

如果Col1里存在null值，length函数会返回null。如果你想给null值设置一个默认长度（比如0），可以结合coalesce和lit函数实现：

from pyspark.sql.functions import coalesce, lit

df_with_col2 = df.withColumn(
    "Col2",
    coalesce(length(col("Col1").cast("string")), lit(0))
)

内容的提问来源于stack exchange，提问作者user3476463