Elixir中按指定频率循环执行HTTP任务的进程选型与实现
组件选型匹配度判定
- GenServer是当前场景的最优基础选型,完全不需要引入更复杂的组件。每个摄像头的采集逻辑是单进程内的串行闭环,没有跨流程的大规模流量分发需求,每个进程独立持有自身配置状态,100个独立GenServer的资源占用在BEAM上几乎可以忽略(单进程空载内存仅数百KB),远低于单节点承载上限。
- GenStage、Flow、Broadway这类流式组件不适合当前阶段的需求:这类组件的核心价值是解决大规模流量下的削峰填谷、多阶段流水线分发、全链路背压传递、批处理性能优化问题。当前场景下每个工作单元的执行链路完全独立,没有跨单元的流量交叉,硬上这类组件只会增加不必要的架构复杂度。
- GenStateMachine仅在流程存在多分支流转时才需要引入:如果你的流程是固定线性路径(两次请求后固定休眠),甚至不需要用到状态机的分支逻辑能力;只有当流程需要覆盖请求失败重试、断连降级、告警触发等多路径流转时,才适合替换为GenStateMachine简化流转逻辑。
- RabbitMQ的建议在当前阶段完全没有必要:MQ的核心作用是跨服务解耦、跨节点流量削峰、任务持久化兜底。当前所有采集任务都在单节点内闭环执行,引入MQ只会增加网络开销和运维成本,只有当后续需要把任务拆分到多节点分布式运行、需要跨节点的任务调度可靠性保障时,再考虑引入MQ类组件。
请求堆积问题的本质与GenServer的处理能力
你提到的“第一次请求未返回就触发下一次请求”的场景,本质上属于局部背压问题,但GenServer的模型天生从根源上规避了这类问题的发生。
- GenServer的消息处理是严格串行单线程消费的,只要你把循环流程的触发逻辑写在全流程末尾(即两次HTTP请求全部完成后,再设置下一轮的休眠计时器),就永远不会出现请求未返回时就插入新执行任务的堆积情况。这种流程内嵌触发的模式,本身就是最优雅的背压控制:上一轮没跑完,就永远不会触发下一轮的请求,从根源上避免了请求过快打垮目标服务或者本地网络栈。
- 容易出现堆积的错误写法是:独立开一个固定频率的定时器,每隔N秒往GenServer发消息触发请求,GenServer收到消息才开始执行请求。如果请求耗时超过定时器间隔,就会在进程的消息队列里堆积大量待处理的触发消息,这种场景下确实需要处理背压。但只要采用流程内嵌触发的写法,消息队列里永远不会有多余的待处理消息,自然不存在堆积问题。
- GenServer本身的处理能力完全可以覆盖100个进程的HTTP请求负载:单GenServer在途的请求数最多只有2个(两次连续的HTTP调用),100个进程总共也就200个在途HTTP连接,不管是对本地连接池还是目标摄像头服务端,压力都完全可控,不存在处理能力不足的问题。
最小可运行实现示例
基于GenServer+DynamicSupervisor的实现完全不需要依赖复杂组件:
defmodule CameraPoller do use GenServer require Logger # 可替换为任意HTTP客户端,比如Finch、Req、HTTPoison @http_client Req @doc "启动单个摄像头采集进程" def start_link(config) do GenServer.start_link(__MODULE__, config, name: config.id) end @impl true def init(config) do # 初始化完成后立刻触发第一轮采集 {:ok, config, {:continue, :poll_cycle}} end @impl true def handle_continue(:poll_cycle, state) do # 执行第一次HTTP请求 case @http_client.get(state.url) do {:ok, first_resp} -> # 携带第一次请求结果执行第二次HTTP请求 final_result = execute_second_request(first_resp.body, state) # 追加结果处理逻辑:比如存库、推下游告警等 handle_collected_result(final_result, state) {:error, err} -> Logger.error("采集失败 [#{state.name}]: #{inspect(err)}") end # 按配置频率设置下一轮触发时间 Process.send_after(self(), :run_next_cycle, state.frequency * 1000) {:noreply, state} end @impl true def handle_info(:run_next_cycle, state) do # 触发下一轮采集 {:noreply, state, {:continue, :poll_cycle}} end defp execute_second_request(payload, state), do: :your_second_request_logic defp handle_collected_result(result, state), do: :your_result_processing_logic end
托管所有进程的启动逻辑,直接用DynamicSupervisor做进程容错:
# 应用启动树配置 children = [ {DynamicSupervisor, name: CameraPollerSupervisor, strategy: :one_for_one} ] # 加载全部摄像头配置并批量启动进程 all_camera_configs = [ %{url: "abc.com/jpeg", name: "Camera1", id: :camera_one, frequency: 10}, # ... 其余99条摄像头配置 ] for config <- all_camera_configs do DynamicSupervisor.start_child(CameraPollerSupervisor, {CameraPoller, config}) end
注意:可以在HTTP请求调用环节增加超时阈值,避免因为网络挂死导致进程长期阻塞,超过超时时间的请求直接判定失败、跳过本轮进入休眠即可。
后续架构升级的触发条件
不要一开始就过度设计,只有满足以下场景时才需要替换组件:
- 单节点采集任务规模从百级涨到万级,单节点BEAM调度开销接近阈值时,可以引入GenStage拆分采集、结果处理为独立流水线阶段,实现跨阶段的背压传递。
- 采集结果需要经过多阶段的复杂处理(比如图像识别、特征提取、批量落库),各阶段处理耗时差异较大时,可以用Broadway优化批处理效率。
- 需要将采集任务拆分到多台服务器分布式运行,需要节点故障自动迁移、任务持久化兜底时,再考虑引入RabbitMQ等MQ组件做跨节点任务调度。
内容的提问来源于stack exchange,提问作者Junaid Farooq
相关产品推荐
相关产品推荐

