如何在Streamlit应用中调用SCOOP实现Python代码并行运行

能否直接在启动Streamlit时传入SCOOP的-m启动标志 #

不行。python -m scoop是SCOOP专属的启动器，会完整接管进程的调度、worker节点通信、任务分发逻辑，和Streamlit本身的Web服务启动、请求响应进程模型完全冲突，无法兼容使用。

subprocess调用SCOOP报错的解决方法 #

你当前的报错是参数拆分错误导致的：subprocess.run的列表参数要求每个命令参数单独作为列表元素，你把"-m scoop"合并成了一个字符串，相当于让Python查找名称为 scoop（前缀带空格）的不存在的模块，才会抛出找不到模块的错误。
正确的调用写法如下：

import sys
import subprocess
import streamlit as st

with st.spinner('Running batch'):
    # 用sys.executable保证调用的是当前Streamlit运行环境的Python解释器
    p = subprocess.run([sys.executable, "-m", "scoop", "run.py"], cwd="run.py所在目录的绝对路径")

补充两个注意点：

• 加cwd参数指定run.py的所在目录，避免相对路径导致的文件找不到问题
• 如果需要把Streamlit前端配置的参数传给run.py，可以将参数序列化后通过命令行参数、临时JSON文件的方式传递，运行结束后再读取结果回显到Streamlit即可。

要不要重构改用multiprocessing #

不需要。只要上述subprocess调用调整后可以正常运行，完全可以保留现有SCOOP的逻辑。只有当你不需要SCOOP的分布式多节点调度能力、想要减少第三方依赖的时候，再考虑替换为Python内置的multiprocessing或concurrent.futures模块即可。

内容的提问来源于stack exchange，提问作者Jared Stock