Redshift VARCHAR超长报错，如何获取含超长值的全量记录？

问题描述 #

我需要从某表提取数据，但部分记录的列触发Redshift报错：

Query 1 ERROR: ERROR:  Value of VARCHAR type is too long.
DETAIL:  
  -----------------------------------------------
  error:  Value of VARCHAR type is too long.
  code:      25101
  context:   Received VARCHAR len=75187 max=65535. This could be due to multibyte characters exceeding the column size or the value in remote database is larger than the max allowed length (65535) of varchar column in Redshift.
  query:     85267890
  location:  federation_fetchers.hpp:146
  process:   query1_122_85267890 [pid=9420]
  -----------------------------------------------

通过WHERE子句过滤len(t.my_column) < 65535可正常查询，但我需获取全表记录。尝试用substring(t.my_column,1,65534)截取仍报错，请问如何获取包含长度≥65535值的全量记录？

解决方案 #

1. 源端提前截断字段（联邦查询场景优先） #

从错误日志的federation_fetchers.hpp可知这是联邦查询，直接在源数据库层面处理超长字段，避免Redshift拉取时触发长度校验：

SELECT 
  CASE 
    WHEN len(t.my_column) > 65535 THEN substring(t.my_column, 1, 65535)
    ELSE t.my_column
  END AS my_column,
  -- 其他需要提取的字段
FROM remote_table t

2. 类型转换后截断 #

如果源端无法处理，尝试先将字段转为TEXT类型（需源库支持），再在Redshift端截断：

SELECT 
  SUBSTRING(CAST(t.my_column AS TEXT), 1, 65535) AS my_column,
  -- 其他字段
FROM remote_table t

也可以用TRY_CAST做容错处理，转换失败时自动截断：

SELECT 
  COALESCE(TRY_CAST(t.my_column AS VARCHAR(65535)), SUBSTRING(t.my_column, 1, 65535)) AS my_column,
  -- 其他字段
FROM remote_table t

3. 修改目标表字段长度 #

如果业务允许，直接把Redshift目标表的对应字段改为VARCHAR(MAX)（Redshift支持最大1GB的存储长度），彻底规避长度限制：

ALTER TABLE your_target_table ALTER COLUMN my_column TYPE VARCHAR(MAX);

修改完成后即可正常提取全量数据。

4. 分批处理记录 #

先提取符合长度要求的记录，再单独处理超长记录：

-- 插入正常长度记录
INSERT INTO your_target_table
SELECT * FROM remote_table WHERE len(my_column) <= 65535;

-- 截断超长字段后插入
INSERT INTO your_target_table
SELECT 
  SUBSTRING(my_column, 1, 65535) AS my_column,
  -- 其他字段
FROM remote_table WHERE len(my_column) > 65535;

内容的提问来源于stack exchange，提问作者Moreno