RDS至Redshift数据管道传输问题：时间戳字段末尾追加.0

我来分享几个实用的解决方案，帮你搞定这个时间格式的问题：

方案1：在数据管道抽取阶段转换格式 #

这是从源头解决问题的方式，在从RDS读取数据时就把timestamp转成不带毫秒的字符串：

• 如果是用JDBC查询抽取，直接修改源查询语句：

  SELECT DATE_FORMAT(date, '%Y-%m-%d %H:%i:%s') AS date, other_columns FROM table1
  

  这样抽取出来的date字段就是不带.0的字符串，传到Redshift后自然不会有多余后缀。
• 如果你用的是AWS Glue这类ETL工具，可以在转换节点里用字符串格式化函数处理时间字段，比如PySpark写法：

  df = df.withColumn("date", date_format(col("date"), "yyyy-MM-dd HH:mm:ss"))
  

方案2：Redshift加载后修正数据 #

如果没法修改数据管道的抽取逻辑，可以在Redshift端对已加载的数据做批量修正：
用正则表达式替换掉末尾的.0：

UPDATE your_redshift_table 
SET date_column = REGEXP_REPLACE(date_column, '\.0$', '') 
WHERE date_column LIKE '%.0';

如果是用COPY命令加载数据，也可以在COPY阶段直接转换格式：

COPY your_redshift_table
FROM 's3://your-bucket/path'
IAM_ROLE 'arn:aws:iam::123456789012:role/your-role'
FORMAT AS CSV
-- 拆分字符串取前半部分去掉.0
date_column = CAST(SPLIT_PART(date_column, '.', 1) AS VARCHAR)

方案3：将Redshift列类型改为Timestamp（推荐） #

如果业务场景允许，建议直接把Redshift的对应列类型从varchar改成timestamp。这样传输时Redshift会自动解析RDS的timestamp值，存储为时间类型而非字符串，既避免了格式问题，又能利用Redshift的时间函数做后续分析。修改列类型的SQL：

ALTER TABLE your_redshift_table ALTER COLUMN date_column TYPE timestamp;

问题原因说明 #

RDS的timestamp类型通常支持毫秒精度，当数据管道把它转成字符串传输时，即使毫秒位是0，也会被格式化为YYYY-MM-DD HH:MI:SS.0的形式；而Redshift的varchar列会直接保留这个字符串，所以就出现了末尾的.0。

内容的提问来源于stack exchange，提问作者Pankaj Kumar