如何在Python包A中引入私有GitLab仓库的自定义包X？

问题背景 #

我有一个存放在私有GitLab仓库的Python包X，需要在另一个Python包A中使用。目前包A的setup.py配置如下：

from setuptools import setup

setup(name='A',
      version='0.1.0',
      description='Package A',
      author='me',
      url='a.com',
      license='Apache2',
      install_requires=[<A deps>],
      packages=['main', 'packageX'],
      include_package_data=True)

我尝试把X作为A的Git子模块引入，目录结构如下：

.
├── package A
│   ├── main
│   │   └── ...
│   ├── packageX (git submodule)
│   │   ├── ...
│   │   └── pyproject.toml
│   └── setup.py

执行python3 -m build后能正常使用X，但X的依赖不会自动安装，必须手动添加到A的install_requires字段。我希望把X加入install_requires来自动安装其依赖，但本地文件引用（比如install_requires=[<A deps>, f'X @ file://localhost/{getcwd()}/packageX']）无法分发。理想方案是使用带认证的GitLab包仓库，或者实现从子模块自动导入所有依赖。

方案一：使用GitLab私有仓库（带认证）引用包X #

1. 前置准备 #

先在GitLab中将包X发布到私有PyPI仓库（GitLab Packages），确保X的pyproject.toml或setup.py已正确声明自身依赖。

2. 修改包A的setup.py #

根据认证方式选择对应的配置：

• SSH认证方式（推荐，无需暴露令牌）：

from setuptools import setup

setup(
    name='A',
    version='0.1.0',
    description='Package A',
    author='me',
    url='a.com',
    license='Apache2',
    install_requires=[
        <A deps>,
        # 替换为你的GitLab仓库地址、分支/标签
        'X @ git+ssh://git@gitlab.com/your-username/your-repo-X.git@main#egg=X'
    ],
    include_package_data=True
)

• HTTPS+个人访问令牌（PAT）方式：

from setuptools import setup
import os

# 从环境变量读取PAT，避免硬编码
gitlab_pat = os.getenv('GITLAB_PAT')

setup(
    name='A',
    version='0.1.0',
    description='Package A',
    author='me',
    url='a.com',
    license='Apache2',
    install_requires=[
        <A deps>,
        # 替换为你的PAT、仓库地址、分支/标签
        f'X @ git+https://{gitlab_pat}@gitlab.com/your-username/your-repo-X.git@main#egg=X'
    ],
    include_package_data=True
)

3. 安装时的认证处理 #

• SSH方式：确保本地已配置GitLab SSH密钥，安装时无需额外验证。
• HTTPS方式：安装前先设置环境变量export GITLAB_PAT=你的个人访问令牌。

这种方式支持正常分发包A，安装时会自动拉取X并安装其所有依赖。

方案二：从Git子模块自动提取X的依赖到A的install_requires #

如果暂时不想使用GitLab包仓库，可以通过解析X的依赖配置文件，自动将其依赖合并到A的依赖列表中。

1. 解析X的pyproject.toml（推荐） #

如果X使用pyproject.toml管理依赖，用tomli（Python 3.11+自带，低版本需手动安装tomli包）解析：

from setuptools import setup
import tomli
import os

def get_x_dependencies():
    # 定位子模块X的pyproject.toml路径
    x_config_path = os.path.join(os.path.dirname(__file__), 'packageX', 'pyproject.toml')
    with open(x_config_path, 'rb') as f:
        x_project_data = tomli.load(f)
    # 提取X的运行依赖
    return x_project_data.get('project', {}).get('dependencies', [])

setup(
    name='A',
    version='0.1.0',
    description='Package A',
    author='me',
    url='a.com',
    license='Apache2',
    install_requires=[
        <A deps>,
        *get_x_dependencies()
    ],
    packages=['main', 'packageX'],
    include_package_data=True
)

2. 解析X的setup.py #

如果X使用传统setup.py管理依赖，可以通过临时导入其配置来获取依赖：

from setuptools import setup
import os
import sys

def get_x_dependencies():
    # 将X的目录加入临时路径
    x_dir = os.path.join(os.path.dirname(__file__), 'packageX')
    sys.path.insert(0, x_dir)
    # 导入X的setup配置
    from setup import setup_args
    sys.path.pop(0)
    return setup_args.get('install_requires', [])

setup(
    name='A',
    version='0.1.0',
    description='Package A',
    author='me',
    url='a.com',
    license='Apache2',
    install_requires=[
        <A deps>,
        *get_x_dependencies()
    ],
    packages=['main', 'packageX'],
    include_package_data=True
)

注意事项 #

• 这种方式只是合并依赖，并非将X作为独立包管理，分发A时会包含X的代码，可能存在版本冲突风险。
• 需确保子模块X的依赖配置文件格式正确且存在，否则会解析失败。

内容的提问来源于stack exchange，提问作者nfnvsc