如何通过Mesos端点获取各框架资源使用快照以支持SparkJob自动扩缩容？

好问题！结合你使用的Mesos 1.20 + Marathon 1.4.3环境，完全可以通过Mesos官方REST API获取各框架的资源使用快照，下面是具体可行的方案：

1. 利用/master/state端点获取完整框架资源快照 #

这个是Mesos Master最核心的状态接口，返回的JSON数据包含了所有注册框架的实时资源使用快照，包括已使用资源、已分配资源等关键数据，完全匹配你需要的场景。

• 基础调用方式：

  curl http://<你的Mesos Master IP>:5050/master/state
  

• 快速提取框架资源数据：
  可以用jq工具过滤出核心信息，比如只获取框架名称和已使用的CPU、内存：

  curl http://<你的Mesos Master IP>:5050/master/state | jq '.frameworks[] | {name: .name, used_cpus: .used_resources.cpus, used_mem: .used_resources.mem}'
  

  返回结果里会清晰列出Marathon、Spark等各框架的资源使用情况，直接可以作为你资源用量预测算法的数据源。

2. 用/master/frameworks端点获取精简框架资源列表 #

如果不需要Master的完整状态，只想聚焦框架资源数据，这个轻量化端点更合适：

• 调用方式：

  curl http://<你的Mesos Master IP>:5050/master/frameworks
  

  它会直接返回所有活跃框架的列表，每个条目里同样包含used_resources、offered_resources等字段，数据结构更简洁，适合批量定时查询。

3. （可选）通过/master/tasks聚合框架级精准资源 #

如果需要更细粒度的任务级数据再聚合到框架层面，可以调用这个端点：

• 调用方式：

  curl http://<你的Mesos Master IP>:5050/master/tasks
  

  你可以按框架ID分组，把同一个框架下所有任务的资源用量相加，得到框架的总资源使用快照，这种方式适合需要极致精准数据的场景。

额外提示 #

• 这些端点在Mesos 1.20版本中都是稳定可用的，和你的环境完全兼容；
• 返回的都是实时快照数据，建议定期调用（比如每30秒/1分钟）来构建时间序列数据，用于你的资源用量预测模型；
• 如果Mesos是集群部署，建议调用Master的负载均衡地址，避免单点故障影响数据获取。

内容的提问来源于stack exchange，提问作者Martin Peng