如何将含CONVERT_TIMEZONE函数的SQL转为PySpark DataFrame select操作？

字段重命名实现 #

在select操作中重命名字段直接使用col()方法搭配alias()即可，和SQL中AS的作用完全一致：

• 示例：col("name").alias("my_name") 对应SQL逻辑tbl.name AS my_name

CONVERT_TIMEZONE函数使用说明 #

PySpark支持在select操作中使用时区转换函数，两种标准实现方式如下：

1. 内置函数调用（适用于PySpark 3.0及以上版本）
   直接从pyspark.sql.functions导入convert_timezone内置函数使用，转日期类型通过cast("date")实现。
2. SQL表达式嵌入（全版本兼容）
   使用expr()或者selectExpr()直接嵌入原生SQL表达式，和原有SQL写法完全一致，无需额外导入函数。

完整实现代码 #

写法1：标准DataFrame API写法

# 导入依赖
from pyspark.sql.functions import col, convert_timezone

final_dataframe = tbl_dataframe.select(
    col("id"),
    col("name").alias("my_name"),
    col("account").alias("new_account_id"),
    convert_timezone("UTC", "America/Los_Angeles", col("entry_time")).cast("date").alias("my_time")
)

写法2：SQL语法兼容写法（无需额外导包）

final_dataframe = tbl_dataframe.selectExpr(
    "id",
    "name AS my_name",
    "account AS new_account_id",
    "CONVERT_TIMEZONE('UTC', 'America/Los_Angeles', entry_time)::DATE AS my_time"
)

内容的提问来源于stack exchange，提问作者amggg013