GCP DataFlow配置pyorc依赖后任务无响应无报错问题

在GCP项目开发中，需借助pyorc库实现ORC格式数据持久化存储。经测试验证：

• 对应Dataflow Pipeline采用DirectRunner本地运行模式时可正常执行
• 切换为Dataflow Runner后无任何报错输出，但任务始终无法执行完成
• 经排查定位，只要在requirements.txt依赖配置中写入pyorc==0.3.0版本依赖，就会触发上述异常，初步判断为运行环境无法正常完成该依赖的安装流程

当前项目使用的requirements.txt配置内容如下：

google-cloud-dlp==0.13.0
google-cloud-language==1.3.0
google-cloud-translate==2.0.1
ratelimiter==1.2.0
xmltodict==0.12.0
pyyaml==5.3.1
google-api-python-client==1.12.5
google-cloud-logging==1.15.1
pyorc==0.3.0

• 核实Dataflow Worker的Python版本匹配性：pyorc==0.3.0的官方预编译wheel包仅覆盖部分Python版本，若当前项目配置的Worker Python版本不在该版本的预编译支持范围内，pip安装时会自动拉取源码包尝试本地编译；而Worker节点默认缺少ORC C++依赖库的编译环境，会导致安装流程静默卡住，无明确报错就阻塞整个任务启动流程
• 拉取Dataflow启动阶段的依赖安装日志：定位Worker节点的setup_log日志，跳过默认的警告级过滤，拉取DEBUG级日志确认pip安装阶段的实际进度，区分是安装超时、编译失败静默退出，还是版本不兼容导致的流程死锁
• 复现安装过程：在和Dataflow Worker完全同环境的官方基础镜像中，手动执行pip install pyorc==0.3.0，验证安装流程的实际表现
• 校验隐性依赖冲突：检查当前requirements中其他组件的版本，确认和pyorc 0.3.0声明的依赖是否存在版本不匹配，比如同生态的thrift、protobuf版本冲突导致的安装分支异常

• 替换适配预编译包的pyorc版本：将pyorc==0.3.0替换为对应Dataflow Worker Python版本有官方预编译wheel的pyorc版本，从根源上避免源码编译带来的安装卡住问题
• 采用自定义容器镜像携带依赖：基于Dataflow官方Worker基础镜像，提前在镜像内完成pyorc及对应系统依赖（如liborc-dev）的安装，Pipeline启动时直接指定自定义镜像地址，跳过Worker节点的动态pip安装流程，完全规避动态安装的不稳定性
• 优化依赖安装参数：启动Dataflow作业时添加--requirements_cache_timeout=0参数，同时开启pip详细输出日志，便于定位安装阶段的卡点；若必须使用源码编译场景，可在requirements同级目录添加配置文件，声明pyorc安装需要的系统级依赖，在Pipeline启动准备阶段提前完成系统依赖部署
• 临时适配方案：若短期无法调整pyorc版本，可在启动作业时提高依赖安装的超时时间（如设置--setup_file_cache_timeout=600），给pip安装预留足够的源码编译时间，同时确认Worker节点的磁盘空间、网络带宽足以完成依赖拉取和编译流程

内容的提问来源于stack exchange，提问作者Manoochehr Akhlaghinia