加载含Zalgo文本到Redshift遇长度超限：原因及正确裁剪方案

• Zalgo文本由基础字符叠加大量Unicode组合字符（如重音、叠加符号）构成，这类字符在UTF-8编码下每个可能占用1-4字节，远多于普通ASCII字符。
• 你用substring按字符数截断（取前2000个字符），但Redshift的varchar(N)限制的是字节数。2000个Zalgo字符的总字节数很容易超过DDL定义的字节上限，因此加载时仍触发长度超限错误。

substring(s.caption for 2000)是按Unicode字符数截取，而非字节数。Zalgo文本中单个视觉字符可能对应多个Unicode码点（基础字符+多个组合字符），且每个码点在UTF-8下占多字节，导致截取后的字符串字节数远超Redshift的限制。

方法1：导出时按字节数截断（推荐） #

核心是将字符串转为UTF-8字节流后按字节数截取，再转回字符串，避免截断在多字节字符中间导致乱码。以下是不同源数据库的示例：

PostgreSQL源

convert_to(
  substring(convert_from(s.caption, 'UTF8') for 2000),
  'UTF8'
) as caption,
convert_to(
  substring(convert_from(s.location, 'UTF8') for 2000),
  'UTF8'
) as location

MySQL源

-- 按字节数截取，确保不超过2000字节
CASE
  WHEN OCTET_LENGTH(s.caption) <= 2000 THEN s.caption
  ELSE CONVERT(SUBSTRING(CONVERT(s.caption USING utf8mb4), 1, FLOOR(2000 / 4)), USING utf8mb4)
END as caption,
CASE
  WHEN OCTET_LENGTH(s.location) <= 2000 THEN s.location
  ELSE CONVERT(SUBSTRING(CONVERT(s.location USING utf8mb4), 1, FLOOR(2000 / 4)), USING utf8mb4)
END as location

方法2：Redshift加载时自动截断 #

如果不想在导出环节处理，可在Redshift的COPY命令中添加TRUNCATECOLUMNS参数，Redshift会自动将超过字段长度的字符串截断到允许的最大长度，避免报错：

COPY your_target_table
FROM 's3://your-bucket/csv-path'
IAM_ROLE 'arn:aws:iam::your-account-id:role/your-redshift-role'
CSV
TRUNCATECOLUMNS;

内容的提问来源于stack exchange，提问作者Jwan622