两AWS账户S3同方式生成CSV文件下载格式不一致问题咨询

这种情况我碰到过好几次，大概率是S3对象的元数据（尤其是Content-Type）差异或者UNLOAD命令的参数设置不同导致的，下面给你拆解最可能的几个原因：

1. UNLOAD命令的文件名/格式参数差异 #

先核对两个账户对应的UNLOAD语句细节：

• 如果第一个账户的UNLOAD命令明确指定了.csv后缀（比如TO 's3://bucket-1/export_data.csv'），而第二个账户的命令没指定后缀（比如TO 's3://bucket-2/export_data'），下载时系统/浏览器会根据默认逻辑补全后缀，就可能出现一个是.csv、一个是.txt的情况。
• 另外要确认是否在UNLOAD中使用了FORMAT AS CSV参数：如果第一个命令加了这个参数，Redshift会自动给S3对象设置text/csv的Content-Type；如果第二个命令没加（或者用了默认的FORMAT AS TEXT），Content-Type会是text/plain，这直接决定了下载时的默认后缀。

2. S3对象的Content-Type元数据不一致 #

这是最常见的核心原因！S3对象的Content-Type元数据会告诉浏览器/下载工具该如何识别文件类型：

• 你可以去S3控制台分别查看两个文件的属性，找到「元数据」区域：
  • 若第一个文件的Content-Type是text/csv，下载时会默认保存为.csv；
  • 若第二个文件的Content-Type是text/plain，就会默认保存为.txt。
• 导致这种差异的可能诱因：
  • 两个AWS账户的S3默认元数据配置不同；
  • 第二个账户的S3桶有Lambda函数、生命周期规则等自动化工具，在文件上传后修改了Content-Type；
  • UNLOAD时的参数差异（比如是否加了FORMAT AS CSV、HEADER等）影响了Redshift自动设置的元数据。

3. 下载工具/浏览器的推断逻辑差异 #

虽然你说文件大小相同，但如果两个文件的内容有极细微差异（比如换行符格式，不过大小相同的话概率极低），或者你用了不同的下载工具（比如AWS CLI vs Chrome浏览器），工具对无后缀文件的类型推断逻辑不同，也可能导致后缀差异。不过这个可能性比前两个低很多。

快速验证方法 #

1. 对比两个账户的UNLOAD命令，确认参数是否完全一致；
2. 查看S3中两个文件的Content-Type元数据，确认是否存在差异；
3. 手动修改第二个文件的Content-Type为text/csv，再重新下载，看是否会自动变成.csv后缀。

内容的提问来源于stack exchange，提问作者Bilberryfm