能否在Spark集群上层搭建REST API接口以获取ML模型元数据？

该方案完全具备可落地性，不需要对现有EMR批处理流程做大规模改造，可根据团队规模和运维需求选择对应实现路径：

轻量快速实现（适合中小团队、高频迭代场景） #

• 直接在EMR主节点部署Flask/FastAPI这类轻量HTTP服务，核心逻辑只需要读取你预设路径（HDFS/主节点本地存储/S3均可）下的元数据文件即可
• 每次模型迭代训练完成后，自动将ML系统版本、模型训练参数、精度指标、数据集版本等信息写入model_metadata.json文件，HTTP接口直接返回该文件内容
• 配置EMR安全组规则，仅允许内部指定服务的IP段访问对应端口，无需暴露公网
• 如果是瞬态EMR集群（跑完批处理即销毁），可以将HTTP服务的部署逻辑写入EMR bootstrap启动脚本，集群启动时自动部署启动
• 需要高可用的话，给主节点绑定弹性IP，或者前面加一层内部ALB负载即可

生产级规范实现（适合大规模团队、有统一元数据管控需求场景） #

• 不需要将端点绑定在EMR集群上，改用托管服务解耦：每次EMR训练完成新模型后，自动将元数据写入DynamoDB表，再单独部署一层统一的内部元数据查询服务对接DynamoDB即可
• 这种方式不依赖EMR集群的运行状态，哪怕集群销毁，其他服务依然可以正常拉取最新的元数据
• 也可以直接复用MLflow的元数据管理能力，EMR训练时直接将元数据上报到内部部署的MLflow服务，其他服务直接调用MLflow原生REST接口即可获取版本信息，不需要额外开发接口逻辑

核心注意点 #

• 如果使用瞬态EMR集群，不要选择直接在集群上部署端点的方案，会出现服务随集群销毁不可访问的问题
• 元数据更新逻辑必须和模型迭代流程强绑定，每次新模型接入EMR跑批处理时必须同步更新元数据，避免出现版本不一致的问题

内容的提问来源于stack exchange，提问作者Riley Hun