嘿，刚好我之前处理过类似的需求，来帮你一步步解决这两个问题！

1. PostgreSQL中将timestamp列转为整数值 #

在PostgreSQL里，我们可以通过EXTRACT(EPOCH FROM ...)函数来获取时间戳对应的Epoch值（也就是从1970-01-01 00:00:00 UTC到目标时间的秒数），再根据需要转成整数或长整型：

• 转成秒级整数：如果不需要毫秒精度，直接提取Epoch秒数后转成INTEGER即可：

  SELECT CAST(EXTRACT(EPOCH FROM last_updated_timestamp) AS INTEGER) AS epoch_seconds
  FROM schema.tablename;
  

• 转成带毫秒的长整型：如果你的时间戳包含毫秒（即使示例显示的是无毫秒格式，实际存储可能包含），可以把秒数乘以1000后转成BIGINT（避免超出整数范围）：

  SELECT CAST(EXTRACT(EPOCH FROM last_updated_timestamp) * 1000 AS BIGINT) AS epoch_millis
  FROM schema.tablename;
  

2. Greenplum数据导入HDFS时用时间戳转Epoch做分区 #

针对你Spark读取GP数据并需要整数分区字段的场景，有两种高效的方案：

方案一：在Greenplum端预先转换（推荐） #

直接在GP的查询里生成Epoch长整数字段，Spark读取后直接用这个字段做分区，减少Spark端的计算开销：

SELECT 
  -- 保留原表所有字段
  *,
  -- 生成毫秒级Epoch值作为分区字段
  CAST(EXTRACT(EPOCH FROM last_updated_timestamp) * 1000 AS BIGINT) AS partition_epoch
FROM schema.tablename

如果数据量较大，你还可以基于这个值调整分区粒度，比如按小时分区（每小时一个分区）：

SELECT 
  *,
  CAST(EXTRACT(EPOCH FROM last_updated_timestamp) / 3600 AS BIGINT) AS partition_hour
FROM schema.tablename;

方案二：Spark读取后再转换 #

如果需要在Spark端处理，可以先读取原始timestamp列，再通过Spark函数转成Epoch值：
以Scala为例：

import org.apache.spark.sql.functions._

// 读取Greenplum数据
val gpDF = spark.read.format("jdbc")
  .option("url", "jdbc:postgresql://gp-server:5432/your-db")
  .option("dbtable", "schema.tablename")
  .option("user", "your-username")
  .option("password", "your-password")
  .load()

// 转换timestamp为毫秒级Epoch长整型
val dfWithPartitionKey = gpDF.withColumn(
  "partition_epoch",
  // 如果timestamp列是Spark的TimestampType，直接转long就是毫秒数
  col("last_updated_timestamp").cast("bigint")
)

// 用该字段分区并写入HDFS
dfWithPartitionKey.write.partitionBy("partition_epoch").parquet("hdfs://your-path/")

注意：如果GP的timestamp包含毫秒，Spark通过JDBC读取时会自动识别为TimestampType，直接转成bigint就能得到毫秒级Epoch值，无需额外格式化。

内容的提问来源于stack exchange，提问作者Metadata