Azure ML Studio管道运行报错：No module named 'pyodbc'

两个问题直接导致报错：

1. pyodbc不是纯Python包，包含C语言编写的扩展层，Linux环境下源码编译需要提前预装系统级依赖unixodbc-dev。你安装的4.0.32版本没有适配对应Python版本的预编译wheel，pip只能拉源码包本地构建，缺系统依赖就会直接触发wheel构建失败。
2. 脚本内通过os.system调用pip安装依赖的写法本身存在路径不匹配风险：os.system会启动独立子shell执行命令，安装的包路径不一定在当前Python进程的模块搜索路径sys.path内，就算安装成功也可能出现导入失败；同时AML执行环境默认权限受限，子shell直接往全局Python路径写文件会触发权限问题。

按优先级从推荐到临时方案排序：

• 生产环境标准方案：不要在运行脚本中动态安装依赖，为AML管道配置预装好所有依赖的自定义运行环境
  1. 优先选择Azure ML官方提供的预构建curated环境作为基础镜像，这类镜像已经预装了pandas、scikit-learn等常用数据科学包，不需要重复安装。
  2. 在环境配置中先声明系统依赖，再声明Python包依赖，conda配置参考如下：

     name: aml-runtime
     channels:
       - conda-forge
     dependencies:
       - python=3.8
       - unixodbc
       - pip
       - pip:
         - pyodbc==4.0.39
         - SQLAlchemy
         - pandas
         - scikit-learn
     

  3. 将配置好的环境注册到AML工作区，管道组件直接绑定该环境运行，脚本中删除所有os.system调用pip的代码，直接导入需要的模块即可。
• 临时测试快速修复方案（不建议生产使用）
  1. 在脚本最开头先安装系统编译依赖，再安装Python包，同时将本地安装路径加入模块搜索路径，代码参考：

     import os
     import sys
     # 非交互安装系统编译依赖
     os.system("sudo apt-get update && sudo apt-get install -y --no-install-recommends unixodbc-dev")
     # 用当前Python解释器对应的pip安装包，避免版本错配，指定安装到本地libs目录
     pip_install_cmd = f'"{sys.executable}" -m pip install pyodbc==4.0.39 SQLAlchemy pandas scikit-learn -t ./libs'
     os.system(pip_install_cmd)
     # 将本地包路径加入模块搜索路径
     sys.path.append("./libs")
     
     # 之后再导入所有业务依赖
     import glob
     import json
     import pandas as pd
     from sklearn import preprocessing
     import logging
     import pyodbc
     import urllib
     from sqlalchemy.pool import NullPool
     import sqlalchemy
     

  2. 注意pyodbc版本选择4.0.35及以上，高版本已经提供了适配常见Python版本的Linux预编译wheel，多数场景下不需要本地编译，可以直接跳过构建wheel的步骤。

• 查看wheel构建失败的完整日志，如果出现fatal error: sql.h: No such file or directory字样，可以100%确认是缺少unixodbc系统依赖导致的问题，不需要排查其他方向。
• 脚本内调用pip时必须通过sys.executable获取当前运行的Python解释器路径，再用-m pip的方式调用，避免子shell中调用到其他Python版本的pip，导致包装到了错误的环境里。

内容的提问来源于stack exchange，提问作者Rahul