如何使用Python获取Hive数据库所有表的schema？能否用SHOW TABLES查询？

是完全可以的，SHOW TABLES属于Hive原生支持的查询语句，直接传入pd.read_sql执行没有问题。
唯一需要修正的是你示例代码里的参数拼写错误：连接参数为DSN而非DNS，修正后的代码如下：

import pyodbc
import pandas as pd

with pyodbc.connect('DSN=Hive_Connection', autocommit=True) as conn:
    df = pd.read_sql('SHOW TABLES', conn)

如果你需要查询指定数据库下的表，可将查询语句替换为SHOW TABLES IN 目标数据库名即可。

这里提供两种常用的实现方案：

方案1：遍历表名执行DESCRIBE查询 #

逻辑为先拉取全量表名，再逐个查询每张表的结构，最终合并成统一的Schema结果：

import pyodbc
import pandas as pd

all_schema = []
target_db = "your_database_name" # 替换为实际目标库名

with pyodbc.connect('DSN=Hive_Connection', autocommit=True) as conn:
    # 先获取指定库下所有表名
    tables_df = pd.read_sql(f'SHOW TABLES IN {target_db}', conn)
    table_list = tables_df['tab_name'].tolist() # 字段名根据实际返回调整，部分环境返回为'tableName'
    
    # 遍历查询每张表的Schema
    for table in table_list:
        schema_df = pd.read_sql(f'DESCRIBE {target_db}.{table}', conn)
        schema_df['table_name'] = table # 新增字段标记所属表
        all_schema.append(schema_df)
    
    # 合并全量Schema结果
    final_schema_df = pd.concat(all_schema, ignore_index=True)

方案2：用ODBC原生元数据接口查询（效率更高） #

不需要写HiveQL，直接调用pyodbc游标自带的元数据方法拉取，表量大的时候性能更好：

import pyodbc
import pandas as pd

target_db = "your_database_name"

with pyodbc.connect('DSN=Hive_Connection', autocommit=True) as conn:
    cursor = conn.cursor()
    # 拉取指定库下所有表的元数据
    cursor.tables(schema=target_db)
    # 转成DataFrame
    tables_meta = pd.DataFrame(cursor.fetchall(), columns=[desc[0] for desc in cursor.description])
    
    # 拉取所有表的字段Schema
    cursor.columns(schema=target_db)
    all_schema_df = pd.DataFrame(cursor.fetchall(), columns=[desc[0] for desc in cursor.description])

注意事项 #

• 两种方案都需要确保连接账号拥有目标库表的元数据查询权限
• 若你的Hive环境没有配置ODBC，也可替换为pyhive、impala等其他Hive连接库，查询逻辑完全一致，仅连接创建代码有差异

内容的提问来源于stack exchange，提问作者Mark