如何使pip安装至.local目录时保留多平台已编译的Python模块二进制文件?
跨架构共享主目录下避免pip覆盖原有已编译模块的可行方案
你现在存放的两个带平台标签的.so文件本身文件名完全不重叠,pip安装新架构版本时生成的新编译文件天生会带当前架构的标签,正常不会因为重名直接覆盖旧文件;真正会导致旧文件丢失的场景,是pip在执行包升级、重装流程时,会根据包元数据下RECORD文件记录的路径列表做批量清理,一旦清理逻辑没识别到同目录下的多架构专属文件,就可能连带删除原有文件。
对应的可落地操作有这几种:
- 按架构拆分独立的用户级site-packages路径
登录到对应架构的节点时,临时把用户级Python安装根目录PYTHONUSERBASE设置为带架构标识的路径(比如~/.local/x86_64、~/.local/ppc64le),后续执行pip安装时,所有生成的文件都会落到对应架构的独立目录下,完全不会触碰共享目录里已有的旧编译文件。如果要保留现有两个已存在的so文件位置,只需要给各架构目录下的ImageD11模块做软链接指向现有路径即可,从根源上避免多架构文件混放被误清理的风险。 - 安装时跳过pip的自动卸载检测流程
执行pip安装命令时带上--ignore-installed参数,这个参数会让pip完全跳过对已安装同包的检测环节、跳过整个旧文件清理步骤,直接把当前架构对应的编译文件写入目标目录。因为写入的新文件本身带专属架构标签,和已有的旧文件没有重名冲突,自然不会出现覆盖问题。注意不要同时加--force-reinstall、--upgrade这类会触发主动清理旧文件的参数,只要跳过了卸载环节,就不会有删除旧文件的动作。 - 给原有旧编译文件设置只读兜底权限
给已经存在的两个架构的so文件执行chmod 444设置只读属性,就算pip安装时出现异常的覆盖、删除逻辑,因为文件缺少写权限,相关操作会直接报错中断,根本没法改动原有文件。等新架构的so文件安装完成后,再按需把权限改回正常可写状态即可,只读属性只针对已存在的旧文件生效,不会影响新文件的正常写入。 - 隔离共享的包元数据目录
现在同目录下的ImageD11-<版本号>.dist-info元数据目录是跨架构共享的,pip在其他节点检测到这个元数据后,就会触发已安装包的重装/升级清理逻辑。可以把这个元数据目录挪到对应架构的独立路径下,这样其他架构节点执行pip安装时,根本检测不到已安装的同版本包,自然不会触发清理、覆盖逻辑,原有散落在同目录下的多架构so文件不在pip的检测扫描范围内,也就不会被改动。
注意:操作时尽量不要用
--target参数直接指向存放多架构编译文件的目录做强制重装,否则pip的文件清理逻辑可能触发同目录下关联文件的批量删除。
内容的提问来源于stack exchange,提问作者Jon
相关产品推荐
相关产品推荐

