使用SerDeProperties创建UTF-8格式Hive表时执行报错，求排查

看起来你的问题出在CREATE TABLE AS SELECT（CTAS）语句的参数组合限制以及可能的编码/分隔符处理上，我来帮你拆解并给出解决方案：

核心问题分析 #

1. CTAS的自动规则冲突
   Hive的CTAS语句会自动根据查询结果的元数据生成表的序列化规则，当你手动指定ROW FORMAT、SERDEPROPERTIES甚至LOCATION时，很容易和自动生成的配置产生冲突。比如CTAS默认会复用源表的SERDE配置，你手动添加的serialization.encoding可能无法被正确应用，或者格式规则被覆盖，导致文件编码或解析错误。

2. 非ASCII分隔符的编码风险
   你使用泰文字符ธ作为字段分隔符，虽然指定了UTF-8编码，但如果Hive的运行环境（客户端/服务器）的系统编码不是UTF-8，这个分隔符可能会被错误解析，进而引发数据加载失败。

解决方案 #

方案一：拆分CTAS为“创建空表+插入数据”（最稳妥）

将表结构定义和数据加载分开执行，确保你的自定义格式和编码设置完全生效：

-- 先清理旧表（如果存在）
DROP TABLE IF EXISTS temp.output_2057565014;

-- 创建符合需求的空表，复用源表的结构
CREATE TABLE temp.output_2057565014
LIKE temp.abc
ROW FORMAT DELIMITED
FIELDS TERMINATED BY 'ธ'
COLLECTION ITEMS TERMINATED BY '|'
MAP KEYS TERMINATED BY '$'
WITH SERDEPROPERTIES ('serialization.encoding'='UTF-8')
LOCATION '/tmp/test-2057565014';

-- 插入数据到新表
INSERT OVERWRITE TABLE temp.output_2057565014
SELECT * FROM temp.abc;

这种方式先明确创建你需要的表结构，确保SERDE的UTF-8编码和分隔符设置被正确加载，再通过INSERT语句写入数据，避免CTAS自动规则的干扰。

方案二：排查环境编码与分隔符有效性

• 检查Hive运行环境的系统编码：确认客户端和服务器的LANG、LC_ALL环境变量是否设置为UTF-8（比如export LANG=en_US.UTF-8），避免编码不匹配导致分隔符解析错误。
• 先测试ASCII分隔符：暂时把FIELDS TERMINATED BY 'ธ'换成\t或,这类普通分隔符，确认表创建和数据加载正常后，再替换回泰文分隔符，排查是否是分隔符的编码问题。

补充说明 #

如果你的Hive版本较旧，CTAS语句本身并不支持直接指定SERDEPROPERTIES，这时候拆分操作是唯一可行的方案。建议优先尝试方案一，大部分情况下能解决编码和格式配置的问题。

内容的提问来源于stack exchange，提问作者Gaurang Shah