Redshift字符串列被截断：原因排查与修复方案咨询

问题原因 #

• Redshift Spectrum默认会将Glue数据目录中定义为string类型的列映射为varchar(16383)，超过该长度的字符串内容会被自动截断。而Athena对string类型的处理无此默认长度限制，因此能完整读取数据。
• 直接修改Glue表列类型为varchar后触发Spectrum扫描错误，是因为Glue表的类型定义与Parquet文件底层元数据的string类型不匹配，导致Spectrum进行类型校验时失败。

修复方案 #

方案1：配置Glue爬虫指定字符串长度 #

• 在Glue爬虫的配置中，添加分类参数指定字符串类型的映射规则，例如设置classification=parquet, string-type=varchar(65535)（可根据实际数据长度调整，Redshift varchar最大支持65535）。
• 重新运行爬虫，生成符合长度要求的表定义，此时Redshift Spectrum会使用指定的varchar长度，避免内容截断。

方案2：手动修改Glue表定义并刷新元数据 #

• 先统计Parquet文件中目标字符串列的实际最大长度，按需设置合理的varchar长度。
• 在Glue数据目录中编辑对应表的列定义，将string类型改为varchar(N)（N为统计得到的最大长度）。
• 在Redshift中执行元数据刷新命令：

ALTER EXTERNAL TABLE your_table_name REFRESH;

• 此操作确保Redshift读取到最新的表定义，同时保证Glue表类型与Parquet文件元数据兼容，避免扫描错误。

方案3：直接在Redshift中定义外部表 #

• 绕过Glue爬虫，直接在Redshift中创建外部表，明确指定字符串列的类型和长度。示例SQL：

CREATE EXTERNAL TABLE your_schema.your_table (
  id INT,
  long_content VARCHAR(65535)
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION 's3://your-bucket/parquet-data-path/';

• 这种方式可直接控制列类型参数，避免Glue爬虫的默认映射限制。

内容的提问来源于stack exchange，提问作者msve