Python能否部分安装软件包，仅获取所需模块并减少依赖占用？

完全可以实现，针对你自研私有包、Docker部署的场景，有几种兼顾轻量化和可维护性的方案：

• 方案1：给私有包配置可选依赖组（extra dependencies）
  这是投入最低、维护成本最小的方案。你可以在包的构建配置文件（pyproject.toml/setup.py）中，给不同功能模块定义独立的依赖集合。举个例子，假设你的私有包名为my_private_lib，其中线性回归模块仅依赖numpy和scipy，其他模块的重型依赖（比如可视化相关的matplotlib、大数据处理相关的pyspark等）都可以拆分到其他依赖组：

  # pyproject.toml 配置示例
  [project.optional-dependencies]
  linear_reg = ["numpy>=1.21", "scipy>=1.7"]
  full = ["matplotlib>=3.5", "pyspark>=3.3", "numpy>=1.21", "scipy>=1.7"]
  

  后续安装时只需执行pip install my_private_lib[linear_reg]，就只会安装该模块对应的依赖，不会加载整个包的冗余依赖，你也不需要拆分代码仓库，完全不影响长期维护。
• 方案2：拆分为命名空间子包
  如果你的私有包各模块耦合度极低、功能差异极大，可以把不同模块拆分为独立的命名空间子包单独发布，比如my_private_lib_core、my_private_lib_linear_reg等，需要使用哪个功能就安装对应的子包即可，不过这种方案的维护成本比可选依赖组更高，适合包体积极度敏感、模块迭代完全独立的场景。
• Docker场景额外优化技巧
  可以配合多阶段构建进一步缩小镜像体积：第一阶段负责安装依赖、拉取私有包，第二阶段仅拷贝运行脚本所需的代码和依赖文件，删除安装缓存、构建依赖等冗余内容，最终镜像体积可以压缩到原本的1/3甚至更小。

针对你举的scikit-learn例子，这类开源库因为内部模块耦合度高，官方没有做可选依赖拆分，所以很难实现按需安装依赖，但你自研的私有包完全可以根据业务逻辑提前做依赖拆分，避免不必要的资源浪费。

内容的提问来源于stack exchange，提问作者Fran Arenas