如何将使用threading、web scraping的Python程序转为网页供他人使用

1. 用轻量框架封装现有Python逻辑 #

不用学习复杂的全栈开发知识，直接选Flask这个最轻量的Python web框架即可，几行代码就能把你现有的多线程爬虫逻辑包成可通过网页访问的服务：

• 先把你现有程序的核心逻辑封装成独立函数，明确输入（用户需要提交的参数，比如爬取目标地址、筛选条件等）和输出（要展示给用户的爬取结果）
• 参考以下结构写启动入口，替换成你自己的逻辑即可：

from flask import Flask, request, render_template
# 导入你自己写的现有程序的核心函数
from your_exist_script import your_scrape_func

app = Flask(__name__)

# 定义首页路由，同时支持GET（打开页面）和POST（提交参数运行）请求
@app.route('/', methods=['GET', 'POST'])
def home():
    if request.method == 'POST':
        # 拿到用户在网页上提交的参数
        user_input = request.form.get('input_content')
        # 调用你自己的程序逻辑
        run_result = your_scrape_func(user_input)
        # 把结果返回给页面展示
        return render_template('index.html', result=run_result)
    # 首次打开页面直接返回空表单
    return render_template('index.html')

if __name__ == '__main__':
    # 本地测试用，部署到服务器时要删掉这行换生产启动方式
    app.run(debug=True)

2. 写最简前端页面 #

完全不用学CSS、JS等前端技术，写一个最基础的HTML页面即可，放在项目根目录的templates文件夹下，命名为index.html，只要包含两个核心元素：

• 供用户输入参数的提交表单
• 结果展示的区域
  如果你的爬虫运行时间比较长，一定要加个运行中请稍候的提示，避免用户重复提交请求。

3. 本地验证功能 #

• 先安装Flask依赖：pip install flask
• 运行你写的启动脚本，打开浏览器访问http://127.0.0.1:5000测试功能，确认提交参数后能正常调用你的多线程爬虫逻辑、返回正确结果
• 注意你的多线程逻辑要做好并发限制，不要开过多线程占满资源，还要避免多个请求的结果互相串数据

4. 部署到公网服务器 #

• 买一台云服务器，操作系统选默认的Ubuntu即可，初期1核2G配置足够
• 把整个项目代码传到服务器，安装所有依赖（包括你原有程序用到的爬虫相关库，threading是Python内置模块无需额外安装）
• 生产环境不要直接用Flask自带的run启动，用Gunicorn做WSGI服务器，安装后执行启动命令即可：gunicorn -w 3 --timeout 120 -b 0.0.0.0:80 app:app，命令里的120是超时时间，可根据你的爬虫平均运行时间调整
• 开放服务器的80端口后，用户直接访问你的服务器公网IP就能使用服务了

5. 基础优化和合规注意事项 #

• 爬虫类服务要做好合规提示，禁止用户爬取受版权保护、有反爬限制的站点
• 加简单的请求频率限制，避免被恶意调用打挂服务器
• 多用户使用场景下要做好进程隔离，避免数据错乱

内容的提问来源于stack exchange，提问作者chapa07