如何在PySpark DataFrame中动态转换时间戳为Hive格式？

要批量处理DataFrame中指定的时间戳列（比如TimeStampA、TimeStampB），将yyyy:MM:dd:HH:mm:ss格式转换为Hive标准的yyyy-MM-dd HH:mm:ss格式，可以通过以下两种动态方式实现：

方法1：正则表达式替换 #

利用regexp_replace直接替换分隔符，无需转换为时间戳类型，适合格式固定的场景：

from pyspark.sql import SparkSession
from pyspark.sql.functions import regexp_replace

# 初始化SparkSession
spark = SparkSession.builder.appName("TimestampConvert").getOrCreate()

# 测试数据
data = [("2022:10:11:08:07:22", "2023:01:05:12:30:45"), (None, "2023:02:15:09:15:30")]
df = spark.createDataFrame(data, ["TimeStampA", "TimeStampB"])

# 指定需要转换的时间戳列
timestamp_cols = ["TimeStampA", "TimeStampB"]

# 动态遍历列，转换格式
for col_name in timestamp_cols:
    df = df.withColumn(col_name, regexp_replace(col_name, r"^(\d{4}):(\d{2}):(\d{2}):", r"$1-$2-$3 "))

df.show(truncate=False)

正则表达式^(\d{4}):(\d{2}):(\d{2}):匹配前三个冒号分隔的日期部分，替换为$1-$2-$3 ，将冒号转为横杠和空格，保留后面的时间部分。

方法2：时间戳解析+格式化 #

先将字符串解析为PySpark的Timestamp类型，再格式化为目标字符串格式，更严谨（能自动校验时间合法性）：

from pyspark.sql.functions import to_timestamp, date_format

# 复用上面的测试DataFrame和列列表
for col_name in timestamp_cols:
    # 先解析原格式为Timestamp，再格式化为Hive标准格式
    df = df.withColumn(col_name, date_format(to_timestamp(col_name, "yyyy:MM:dd:HH:mm:ss"), "yyyy-MM-dd HH:mm:ss"))

df.show(truncate=False)

这里to_timestamp指定原格式yyyy:MM:dd:HH:mm:ss将字符串转为Timestamp类型，再用date_format输出为yyyy-MM-dd HH:mm:ss格式的字符串。如果原字符串格式不合法，会返回null。

动态扩展说明 #

如果需要处理的列名是动态获取的（比如从DataFrame schema中筛选符合命名规则的列），可以通过以下方式自动获取列列表：

# 自动获取所有包含"TimeStamp"的列
timestamp_cols = [col.name for col in df.schema if "TimeStamp" in col.name]

内容的提问来源于stack exchange，提问作者Mayank Upadhyay