Excel宏异步执行后端队列架构优化方案咨询

需求概述 #

• 现有VBA宏，可读取工作表参数、执行耗时算法并将结果输出至另一工作表
• 需搭建基于Flask或Node.js的后端，对接Redis/RabbitMQ队列，接收前端/HTTP客户端POST请求参数并入队，由Worker异步执行Excel宏并返回结果
• 优先采用Docker部署方案

已尝试方案的问题 #

我曾尝试基于xlwings、Redis、Flask结合Docker的方案，但遇到以下障碍：

• Windows容器无法正常运行Redis
• Linux容器无法使用pywin32，仅能依赖xlwings，但该工具存在参数保存限制
• 尝试让Excel宏调用RabbitMQ的REST API，但无法在Docker容器中持续运行该宏

已实现代码片段 #

Flask 主服务（main.py） #

import os
from flask import Flask, make_response, request, jsonify
from redis import Redis
from rq import Queue
from server.excel_worker import run_excel_macro

app = Flask(__name__)
redis = Redis('redis', 6379)
q = Queue('excel_tasks', connection=redis)

@app.route('/add-task', methods=['POST'])
def create_task():
    json = request.json
    absolute_path = os.path.dirname(__file__)
    filename = os.path.join('excel-file', 'excel-file.xlsm')
    full_path = os.path.join(absolute_path, filename)
    task = q.enqueue(run_excel_macro, full_path, 'Macro1', json)
    data = {'message': 'Task Created', 'task_id': task.get_id()}
    return make_response(jsonify(data), 201)

@app.route("/tasks/<task_id>", methods=["GET"])
def get_status(task_id):
    task = q.fetch_job(task_id)
    if task.is_queued:
        response_object = {
            "data": {
                "task_id": task.get_id(),
                "task_status": task.get_status(),
                "task_result": task.return_value(),
            },
        }
        return jsonify(response_object)
    if task.is_started:
        response_object = {
            "data": {
                "task_id": task.get_id(),
                "task_status": task.get_status(),
                "task_result": task.return_value(),
            },
        }
        return jsonify(response_object)
    elif task.is_finished:
        return jsonify({'result': task.return_value()})
    else:
        return jsonify({"status": "error"})

if __name__ == '__main__':
    app.run(host='0.0.0.0')

Excel Worker 代码 #

def run_excel_macro(filename, macro_name, variable_dict):
   # 从参数中提取变量
    name = variable_dict['name']
    surname = variable_dict['surname']
    # 更多参数设置...
    # 使用xlwings运行Excel宏
    xw.App().visible = False
    wb = xw.Book(filename)
    sheet1 = wb.sheets[0]
    # 向Excel工作表写入参数
    sheet1.range('A1').value = name
    sheet1.range('A2').value = surname
    macro = wb.macro(macro_name)
    # 执行宏
    macro()
    # 获取宏计算结果
    result = {
      # 填充计算结果...
    }
    wb.save()
    wb.close()
    return result

Dockerfile #

FROM python:3.9
COPY . /app
WORKDIR /app
RUN pip install -r requirements.txt
EXPOSE 5000
CMD ["python", "main.py"]

Docker Compose 配置 #

version: '3.8'

services:
  redis:
    image: redis:latest
    ports:
      - '6379:6379'
    volumes:
      - ./redis:/redis

  flask-app:
    image: app-image
    container_name: flask-app
    restart: always
    build: app
    ports:
      - '5000:5000'
    depends_on:
      - redis

  worker:
    image: app-image:latest
    depends_on:
      - redis
    command: rq worker excel_tasks --url redis://redis:6379
    links:
      - redis

可行解决方案 #

方案1：分离跨平台服务与Windows Worker #

核心思路：将Flask API和Redis队列部署在Linux容器，单独使用Windows容器（或Windows宿主机）运行Excel Worker，通过Redis实现跨平台通信。

• 解决优势：
  • Windows环境原生支持Excel和VBA，不存在xlwings的参数限制问题
  • Redis在Linux容器中正常运行，队列服务稳定
• 实施步骤：
  1. 保留现有Docker Compose中的Flask和Redis服务，移除原Worker服务
  2. 在Windows环境（容器或宿主机）中安装Python、pywin32、xlwings和rq依赖
  3. 配置Windows Worker连接到Linux容器的Redis实例（确保网络互通，如使用Docker网络或端口映射）
  4. 启动Windows Worker：rq worker excel_tasks --url redis://<linux-host-ip>:6379

方案2：迁移VBA逻辑至Python（彻底脱离Excel） #

如果VBA宏的算法逻辑可迁移，直接将其重写为Python代码，完全摆脱Excel依赖：

• 解决优势：
  • 纯Linux容器部署，无跨平台兼容性问题
  • 执行效率更高，无需启动Excel进程
• 实施步骤：
  1. 分析VBA宏的计算逻辑，用Python（结合pandas、numpy等库）实现相同功能
  2. 修改Worker代码，直接调用Python实现的算法，无需xlwings和Excel
  3. 原Flask+Redis+Worker架构可直接复用，无需调整Docker配置

方案3：使用微软官方Excel服务（非Docker优先） #

若必须保留VBA宏且无法迁移，可采用微软官方的Excel服务：

• 部署Office Online Server，通过其API调用执行Excel宏
• 后端通过HTTP请求调用该服务，无需本地安装Excel环境

内容的提问来源于stack exchange，提问作者Falzao