是否存在变通方案解决opencensus与MLFlow集成时导入卡死问题
可落地的opencensus与MLFlow协同运行变通方案
该场景下的无限挂起本质是:opencensus-ext-azure 1.0.7版本的AzureLogHandler默认启动独立后台异步线程做日志批量上传,线程运行时会持有Python模块全局导入阶段的共享锁,和mlflow 1.15.0导入时触发的全局配置初始化流程形成死锁,最终导致导入流程无响应。
可直接落地的解决方法如下:
调整模块导入顺序
- 提前完成mlflow的全量导入和全局上下文初始化,把mlflow的导入语句放到所有opencensus模块加载、日志Handler实例化、日志发送的流程之前,避开锁冲突场景。
调整后无死锁的代码示例:# 优先完成mlflow导入,避免被opencensus的后台线程锁阻塞 import mlflow import logging from opencensus.ext.azure.log_exporter import AzureLogHandler logger = logging.getLogger(__name__) logger.addHandler(AzureLogHandler(connection_string='InstrumentationKey=<your-key>')) logger.warning('Hello, World!')
关闭AzureLogHandler的异步后台导出逻辑
- 实例化AzureLogHandler时传入参数,关闭依赖独立后台线程的批量异步上传能力,切换为同步日志导出模式,从根源上消除后台线程持有的全局锁,不需要调整原有代码的导入顺序:
该模式的取舍为:日志上传性能会略有下降,高频日志写入场景下可能会出现轻微的主线程阻塞。import logging from opencensus.ext.azure.log_exporter import AzureLogHandler logger = logging.getLogger(__name__) # 关闭后台定时批量导出、独立线程运行逻辑 handler = AzureLogHandler( connection_string='InstrumentationKey=<your-key>', export_interval=0, grace_period=0 ) logger.addHandler(handler) logger.warning('Hello, World!') import mlflow
导入mlflow前手动释放opencensus持有的线程锁
- 在首次触发opencensus日志发送后、导入mlflow之前,手动调用日志Handler的
flush接口,强制同步完成缓存日志的发送流程,等后台异步线程释放锁之后再执行mlflow导入:
该方案下如果遇到Azure上传接口网络不通的情况,import logging from opencensus.ext.azure.log_exporter import AzureLogHandler logger = logging.getLogger(__name__) handler = AzureLogHandler(connection_string='InstrumentationKey=<your-key>') logger.addHandler(handler) logger.warning('Hello, World!') # 强制同步完成日志导出,释放后台线程的全局锁 handler.flush() import mlflowflush操作会在固定超时时间后退出,不会出现无限制挂起的情况。
内容的提问来源于stack exchange,提问作者Nastasia
相关产品推荐
相关产品推荐

