PyHive配置hive.serdes.using.metastore.for.schema不生效问题咨询

可能的原因 #

尽管你通过PyHive的connect()方法设置了hive.serdes.using.metastore.for.schema属性，且后续执行set命令确认该属性已存在于会话中，但HiveServer2在处理CREATE TABLE语句时可能并未正确应用该会话属性。这种差异可能源于：

• PyHive通过Thrift传递会话属性的方式，与Hive CLI直接设置属性的执行路径存在差异，导致该特定属性在DDL执行阶段未被生效。
• HiveServer2的某些版本存在bug，使得通过Thrift设置的会话级属性在处理SerDe相关的表创建逻辑时未被正确读取。

解决方法 #

方法1：在创建表前显式执行SET命令 #

直接在PyHive中先执行set命令设置属性，再创建表，完全复刻Hive CLI的成功流程：

conn = hive.connect(
    host=hive_host,
    port=hive_port,
    auth='LDAP',
    username=hive_username,
    password=hive_password
)

cursor = conn.cursor()

# 先显式设置属性
cursor.execute('set hive.serdes.using.metastore.for.schema=org.apache.hadoop.hive.serde2.OpenCSVSerde')

create_table = """
create table dwtmp.test_importer_data (
    `name` string COMMENT 'test',
    `age` int
) row format serde 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
    "separatorChar" = ',',
    "quoteChar"     = '\"'
)
tblproperties("skip.header.line.count"="1")
"""
cursor.execute(create_table)

方法2：全局设置属性（不推荐，影响所有会话） #

如果方法1无效，可以在HiveServer2的hive-site.xml中添加全局配置：

<property>
    <name>hive.serdes.using.metastore.for.schema</name>
    <value>org.apache.hadoop.hive.serde2.OpenCSVSerde</value>
</property>

添加后重启HiveServer2，该属性会对所有会话生效。

验证 #

执行完创建表的代码后，通过Hive CLI执行desc dwtmp.test_importer_data，应该能看到字段类型和注释与CREATE语句中定义的一致。

内容的提问来源于stack exchange，提问作者hao dong