PySpark ValueError：无法将列转为布尔值问题求助（已定位问题段）

问题根源 #

你定义的days是Python lambda函数，它仅能处理Python原生数值，但F.col('num_days')*7是PySpark的Column对象，lambda无法识别这种类型，直接调用就会触发ValueError。PySpark窗口函数的rangeBetween需要基于Column表达式的数值，不能用Python原生函数处理Column类型。

修复方法 #

替换Python lambda为PySpark原生表达式，直接计算天数对应的秒数：

完整可运行代码 #

数据准备（补充缺失导入与分区列）

from pyspark.sql import SparkSession
from pyspark.sql.types import StructType, StructField, IntegerType, TimestampType
from pyspark.sql.window import Window
from random import randint
from datetime import datetime, timedelta
import pyspark.sql.functions as F

# 启动Spark会话
spark = SparkSession.builder.appName("example").getOrCreate()

# 生成测试数据
start_date = datetime.now()
data = [(randint(1,30), randint(1,50), start_date + timedelta(days=randint(0,10))) for _ in range(10)]

# 定义Schema并创建DataFrame
schema = StructType([
    StructField("num_days", IntegerType(), True),
    StructField("volume", IntegerType(), True),
    StructField("period", TimestampType(), True)
])

df = spark.createDataFrame(data, schema)
# 补充原代码缺失的unique_row_id列（示例用固定值，实际替换为你的分区字段）
df = df.withColumn("unique_row_id", F.lit(1))

修复后的计算逻辑

# 直接在rangeBetween中用PySpark表达式计算时间范围
df = df.withColumn(
    'some_calc',
    F.when(
        F.col('num_days').isNotNull(),
        F.collect_list('volume').over(
            Window.partitionBy("unique_row_id")
                  .orderBy(F.col('period').cast('long'))
                  .rangeBetween(
                      -(F.col('num_days') * 7 * 86400),  # 7*num_days天前的时间戳（秒）
                      -86400  # 1天前的时间戳（秒）
                  )
        )
    )
)

# 查看结果
df.show(truncate=False)

核心要点 #

• 用F.col('num_days') * 7 * 86400直接计算秒数，避免用Python lambda处理Column对象，这是PySpark的原生写法，能正确识别列值。
• 原代码中unique_row_id未定义，示例里补充了固定值，实际使用时替换为你的真实分区列。
• period转时间戳可以简化为F.col('period').cast('long')，因为Timestamp类型直接转long就是秒级时间戳。

内容的提问来源于stack exchange，提问作者Dushamishkin