JVM无法从操作系统分配内存时如何向用户展示提示？

我用jpackage开发Windows桌面Java应用时遇到一个问题：当系统可用内存达不到-Xmx参数设定的分配要求时，JVM会直接崩溃且无任何提示（无控制台窗口）。我希望给用户展示友好提示提升体验，系统会生成包含错误信息的临时转储文件（部分内容如下）。我尝试设置-XX:OnOutOfMemoryError=msg %username% OOM触发提示但未生效，怀疑该选项不适用于这类原生内存分配失败场景，请问能否修改此行为？

我的配置：

java-options=-XX:OnOutOfMemoryError=msg %username% OOM

转储文件部分内容：

#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map xxx bytes for G1 virtual space
# Possible reasons:
#   The system is out of physical RAM or swap space
#   The process is running with CompressedOops enabled, and the Java Heap may be blocking the growth of the native heap
# Possible solutions:
#   Reduce memory load on the system
#   Increase physical memory or swap space
#   Check if swap backing store is full
#   Decrease Java heap size (-Xmx/-Xms)
#   Decrease number of Java threads
#   Decrease Java thread stack sizes (-Xss)
#   Set larger code cache with -XX:ReservedCodeCacheSize=
#   JVM is running with Zero Based Compressed Oops mode in which the Java heap is
#     placed in the first 32GB address space. The Java Heap base address is the
#     maximum limit for the native heap growth. Please use -XX:HeapBaseMinAddress
#     to set the Java Heap base and to place the Java Heap above 32GB virtual address.
# This output file may be truncated or incomplete.
#
#  Out of Memory Error (os_windows.cpp:3469), pid=5220, tid=2156
#
# JRE version:  (17.0.1+12) (build )
# Java VM: OpenJDK 64-Bit Server VM (17.0.1+12, mixed mode, sharing, tiered, compressed oops, compressed class ptrs, g1 gc, windows-amd64)
# No core dump will be written. Failed to create minidump file (0x5).
#

---------------  S U M M A R Y ------------

Command Line: -Djpackage.app-version=0.7.2S -Dfile.encoding=UTF-8 -Xmx8g -Xms1g -XX:OnOutOfMemoryError=msg %username% OOM -Djpackage.app-path=C:\Program Files\xxx\xxx.exe org.springframework.boot.loader.JarLauncher

Host: Intel(R) Xeon(R) CPU @ 2.20GHz, 4 cores, 15G,  Windows Server 2019 , 64 bit Build 17763 (10.0.17763.3887)
Time: Wed Mar 22 12:14:51 2023 Central Daylight Time elapsed time: 0.030567 seconds (0d 0h 0m 0s)

你的判断是对的：-XX:OnOutOfMemoryError仅触发Java堆内存溢出场景（比如java.lang.OutOfMemoryError: Java heap space），而你遇到的是JVM启动阶段的原生内存分配失败——此时JVM还未完成初始化，根本无法触发这个钩子函数。

可以通过以下几种方式解决：

1. 启动前检查系统可用内存 #

编写Windows批处理/ PowerShell脚本作为应用入口，先检测系统可用内存，若低于-Xmx设定的阈值（比如你设置的8G），直接弹出友好提示，否则再启动Java应用。

示例批处理脚本：

@echo off
:: 获取可用物理内存（单位：MB）
for /f "tokens=2" %%a in ('wmic OS get FreePhysicalMemory /value') do set freeMem=%%a
:: 转换为GB
set /a freeMemGB=%freeMem% / 1024

:: 检查内存是否达标
if %freeMemGB% lss 8 (
    msg * "系统可用内存不足，无法启动应用，请释放至少8GB内存后重试。"
    exit /b 1
)

:: 启动应用
start "" "C:\Program Files\xxx\xxx.exe"

2. 监控JVM崩溃日志 #

JVM崩溃时会生成hs_err_pidXXX.log文件（默认在临时目录或应用启动目录）。可以在应用启动时启动一个后台监控进程，一旦检测到该日志生成，就弹出提示告知用户内存不足。

3. 调整JVM参数降低启动压力 #

• 降低-Xms值（比如从1G改为512M），减少启动时的内存占用
• 添加-XX:-UseCompressedOops关闭压缩指针，避免Java堆占用低位地址空间导致原生内存分配失败（代价是内存使用效率略有下降）
• 若系统为64位且内存超过32G，尝试设置-XX:HeapBaseMinAddress=0x1000000000，将Java堆放到32GB以上的高位地址空间，给原生内存预留更多低位空间

4. 替换jpackage默认启动器 #

jpackage支持自定义启动器，你可以用C/C++编写一个简易启动器：先检查系统内存，再启动JVM；或者捕获JVM启动失败的错误码，弹出友好提示。

内容的提问来源于stack exchange，提问作者Mike Cantrell