Hive使用OpenCSVSerde建表时无效SerDe属性未报错问题咨询

现象合理性说明 #

该表现完全符合Hive的默认设计逻辑。
Hive默认不会在建表执行阶段对SERDEPROPERTIES中传入的配置项做合法性校验，所有传入的SerDe属性会被直接持久化到表元数据中，不会提前加载对应的SerDe类做参数检查。
SerDe属性的校验逻辑默认只会在表被实际读写、需要初始化SerDe实例的阶段才会触发；甚至部分SerDe实现本身会直接忽略不识别的自定义属性，连运行阶段都不会抛出错误。

开启SerDe属性合法性校验的方法 #

从Hive 2.3.0版本开始，官方提供了服务端配置开关，支持在建表、修改表元数据阶段拦截非法SerDe属性：

• 配置参数：hive.metastore.disallow.invalid.serde.properties
• 默认值：false，即默认关闭校验，允许传入任意SerDe属性
• 生效方式：将该参数设置为true后重启Hive Metastore服务，即可开启校验。开启后Metastore在处理建表、改表请求时，会加载请求中指定的SerDe类，校验传入的属性是否为该SerDe声明支持的合法配置，遇到未知属性会直接抛出错误，拦截非法请求。

注意事项

• 该校验依赖SerDe类自身正确实现了支持属性列表的声明接口，若使用的第三方自定义SerDe未实现该接口，即使开启开关也无法完成参数校验
• 该参数是Metastore服务端配置，仅在会话中设置不会触发校验逻辑，必须修改Metastore侧配置并重启才能生效
• 校验开启前已经创建的、携带非法SerDe属性的表不会被回溯校验，只有后续对该表执行元数据修改操作时才会触发拦截

开启校验后，执行如下带非法属性some_junk的建表语句会直接失败，符合预期：

CREATE EXTERNAL TABLE test2 (
f1 string,
s2 string) 
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' 
WITH SERDEPROPERTIES ("some_junk" = ",", "escapeChar" = "\\") 
LOCATION 's3://DOC-EXAMPLE-BUCKET/dataset/test1/'

内容的提问来源于stack exchange，提问作者shantanuo