如何将Apache Spark注册为Windows服务实现spark-master常驻运行

RDP远程断开后手动启动的spark-master进程自动退出，核心原因是Windows的会话回收机制：RDP连接建立时会生成独立的用户登录会话，手动在该会话终端中启动的所有进程都会与会话绑定，断开连接触发会话注销时，系统会强制回收该会话下的所有用户态进程，和Linux下SIGHUP信号导致进程退出的逻辑类似。Windows没有原生的nohup等价命令，可按以下稳定性从高到低的方案实现进程常驻：

方案1：注册为Windows系统服务（生产环境首选） #

系统服务运行在独立的系统会话中，不绑定任何用户登录态，断开远程、用户注销都不会影响进程运行，同时支持开机自启、异常自动重启配置。

• 优先使用Spark官方sbin目录下封装好的spark-master.cmd启动脚本，不要直接调用底层spark-class命令，避免漏加载环境变量导致启动失败，提前确认脚本路径，例如D:\spark\sbin\spark-master.cmd
• 管理员身份打开PowerShell或命令提示符，执行服务创建命令：

sc create SparkMaster binPath= "D:\spark\sbin\spark-master.cmd" start= auto DisplayName= "Apache Spark Master"

注意binPath=、start=后必须保留一个空格，是sc命令的固定语法要求，少了空格会执行报错。

• 按下Win+R输入services.msc打开服务管理器，找到刚创建的Apache Spark Master服务，切换到「恢复」选项卡，将第一次失败、第二次失败、后续失败的响应规则全部设置为「重新启动服务」，重启间隔设为1分钟，实现进程异常退出后自动拉起。
• 如果直接注册脚本启动出现路径识别、环境变量找不到的问题，可以先写一个简单的bat包装脚本，开头先执行cd /d D:\spark切换到Spark根目录，再调用spark-master启动命令，将这个包装脚本作为服务的启动路径即可。

方案2：通过任务计划程序配置后台启动（零额外工具，快速验证适用） #

Windows任务计划支持以系统账号后台运行任务，启动的进程不会绑定当前远程会话，配置成本比系统服务低。

• 打开任务计划程序，选择「创建任务」：
  • 常规选项卡：勾选「不管用户是否登录都要运行」、「使用最高权限运行」
  • 触发器选项卡：新建触发器，触发规则选择「启动时」，实现开机自动运行
  • 操作选项卡：新建操作，操作类型选「启动程序」，程序路径选择spark-master.cmd脚本，「起始于」字段填写Spark的sbin目录完整路径
  • 设置选项卡：勾选「如果任务失败，按以下频率重新启动」，设置重启间隔1分钟，尝试重启次数按需配置
• 手动触发一次任务，spark-master就会在后台独立会话运行，此时断开远程连接进程不会退出，可通过访问http://<服务器IP>:8080的Master Web UI验证运行状态。

方案3：临时调试用轻量方案 #

如果只是短时间测试、不想做复杂配置，可以用系统自带的wscript实现进程脱离当前会话：
新建后缀为.vbs的脚本，写入以下内容：

Set ws = CreateObject("Wscript.Shell")
ws.run "cmd /c D:\spark\sbin\spark-master.cmd",0,False

双击执行该脚本即可后台启动spark-master，启动的进程不会随远程断开退出，但该方案没有异常自动重启能力，仅适合临时调试场景，不建议生产环境使用。

• 所有环境变量（JAVA_HOME、SPARK_HOME）必须配置在系统环境变量中，不要配置在当前用户的用户环境变量下，否则服务、计划任务以系统账号运行时会找不到依赖路径报错
• 启动后可打开任务管理器的「详细信息」面板，查看对应java进程的所属用户，如果显示为SYSTEM或NETWORK SERVICE类系统账号，说明进程已经脱离个人远程会话，断开连接不会被回收
• 不要直接在RDP打开的终端窗口里执行启动命令后直接关窗口/断连接，这种方式启动的进程必然会随会话注销被系统回收。

内容的提问来源于stack exchange，提问作者Luca Del Giudice