Zeppelin 0.9.0-preview1 python.sql报pysqldf未定义NameError问题
报错核心原因
NameError: name 'pysqldf' is not defined 本质是两个问题叠加导致的:
- Zeppelin 0.9.0-preview1 版本的
%python.sql功能底层依赖 pandasql 组件,该组件未安装在 Zeppelin Python 解释器绑定的运行环境中 - 依赖安装后未重启解释器会话,pysqldf 的导入逻辑未加载到全局命名空间
具体解决步骤
1. 确定pip安装命令的执行位置
Zeppelin 的 %python、%python.sql 段落调用的是 部署Zeppelin的运行节点上的指定Python环境,不是本地电脑的Python,绝对不能在自己本地终端执行pip安装命令,要按照以下步骤找对执行位置:
- 打开Zeppelin网页端的解释器管理页面,找到
python解释器的配置项,记录下zeppelin.python参数对应的Python可执行文件绝对路径(比如常见路径为/usr/bin/python3、/opt/zeppelin/venv/bin/python) - 登录运行Zeppelin进程的服务器节点(如果Zeppelin是Docker部署的,需要先进入Zeppelin对应的容器终端)
- 用刚才查到的Python绝对路径调用pip模块安装依赖,避免装错Python环境:
<zeppelin.python对应的绝对路径> -m pip install pandas -U pandasql
举个实际示例:如果查到的Python路径是/usr/bin/python3.8,对应的安装命令为:
/usr/bin/python3.8 -m pip install pandas pandasql
2. 重启解释器加载新依赖
安装完成后,Zeppelin的Python解释器会话不会自动感知新安装的库,必须手动重启:
- 回到Zeppelin的解释器管理页面,找到
python解释器,点击「重启」按钮,等待解释器状态变为正常运行
3. 验证依赖加载有效性
新建一个%python段落,执行测试代码确认pysqldf可以正常识别:
from pandasql import sqldf # 绑定全局命名空间,让后续sql段落可以读取pandas数据框 pysqldf = lambda query: sqldf(query, globals()) print("pysqldf加载完成")
如果这段代码可以正常运行没有报错,说明依赖安装位置正确。
常见踩坑提示
- 不要尝试在笔记本段落里用
!pip install的方式安装依赖,不同Zeppelin版本对段落内执行shell命令的权限适配不一致,很容易出现安装路径和Zeppelin解释器路径不匹配的问题 - 0.9.0-preview1是试验性预发布版本,
%python.sql功能本身存在自动导入逻辑的bug,如果重启解释器后还是报pysqldf未定义,可以把上面的pysqldf导入赋值代码追加到你第一个%python段落的最后,手动把pysqldf注册到全局命名空间,后续跑%python.sql段落就可以正常识别 - 如果你的pandas版本过旧,可能出现pandasql兼容问题,安装的时候一定要加上
-U参数把pandas、pandasql都升级到兼容版本
内容的提问来源于stack exchange,提问作者RadicalGratitude
相关产品推荐
相关产品推荐

