如何通过SQLAlchemy连接Hive ODBC并将查询结果转为DataFrame？

错误原因分析 #

1. 连接字符串误用：你用了mssql+pyodbc://（SQL Server专属的连接方言），Hive需要对应方言支持，否则SQLAlchemy会向Hive发送不兼容的SQL语句（比如查询schema_name()），触发AnalysisException。
2. 版本兼容性冲突：SQLAlchemy 2.0+的API做了变更，而你的pandas 1.4.2版本未适配该新API，导致出现AttributeError: 'OptionEngine' object has no attribute 'execute'。

解决方案 #

步骤1：安装Hive的SQLAlchemy方言包

先安装支持Hive的SQLAlchemy扩展包，二选一即可：

# 方案A：使用sqlalchemy-hive
pip install sqlalchemy-hive pyodbc

# 方案B：使用pyhive（附带SQLAlchemy支持）
pip install pyhive[sqlalchemy] pyodbc

步骤2：纠正连接逻辑并解决版本兼容问题

根据你的环境选择以下两种方案之一：

方案一：降级SQLAlchemy适配pandas 1.4.2

先将SQLAlchemy降级到1.4.x版本（与pandas 1.4.2兼容）：

pip install sqlalchemy==1.4.49

然后使用正确的连接代码：

from sqlalchemy import create_engine
import pandas as pd

# 使用hive+pyodbc方言，替换为你的DSN
engine = create_engine(
    "hive+pyodbc://my_dsn",
    connect_args={"autocommit": True}
)

# 执行查询
with engine.connect() as conn:
    df = pd.read_sql("SELECT * FROM database.table LIMIT 10", conn)

print(df)

方案二：升级pandas适配SQLAlchemy 2.0

pandas 1.5.0及以上版本支持SQLAlchemy 2.0的API，先升级pandas：

pip install pandas>=1.5.0

然后使用正确的连接代码：

from sqlalchemy import create_engine
import pandas as pd

engine = create_engine(
    "hive+pyodbc://my_dsn",
    connect_args={"autocommit": True}
)

# pandas 1.5+可直接适配SQLAlchemy 2.0的engine
df = pd.read_sql("SELECT * FROM database.table LIMIT 10", engine)

print(df)

替代方案（无需SQLAlchemy） #

如果不想调整版本，可继续使用pyodbc并忽略警告：

import pyodbc
import pandas as pd
import warnings

# 屏蔽pandas的SQLAlchemy提示警告
warnings.filterwarnings("ignore", category=UserWarning, message="pandas only support SQLAlchemy connectable")

cnxn = pyodbc.connect("DSN=my_dsn", autocommit=True)
df = pd.read_sql("SELECT * FROM database.table LIMIT 10", cnxn)

内容的提问来源于stack exchange，提问作者der_grund