Java中从InputStream转List<String>时JVM双倍内存分配的原因及优化

首先明确内存翻倍的核心原因：Java 8及以前的String内部使用char[]存储数据，每个字符占2字节；而文本文件通常用UTF-8编码，多数字符仅占1字节，解码后内存占用直接翻倍。Java 9+虽默认开启Compact Strings（自动用byte[]存储单字节字符），但仍可能因临时缓冲区、List结构开销等导致内存偏高。以下是针对性优化方案：

• 流式处理，避免全量加载
  如果业务逻辑允许，不要将所有行存入List，而是边读边处理，彻底规避全量内存占用：

  try(BufferedReader reader = new BufferedReader(new InputStreamReader(zipInputStream))) {
      reader.lines().forEach(line -> {
          // 在这里处理单行数据，比如写入存储、计算分析，处理后自动释放内存
      });
  }
  

• 利用Java 9+的Compact Strings
  确保使用Java 9或更高版本，默认启用的Compact Strings会根据字符串内容自动选择存储方式：单字节字符用byte[]存储，内存占用与原始文件接近；多字节字符才用char[]，从根源减少内存开销。

• 优化List初始化
  如果必须全量存储，提前预估文件行数，初始化ArrayList时指定初始容量，避免扩容过程中产生临时数组占用额外内存：

  // 假设预估有1000万行，根据实际情况调整
  List<String> data = new ArrayList<>(10000000);
  try(BufferedReader reader = new BufferedReader(new InputStreamReader(zipInputStream))) {
      reader.lines().forEach(data::add);
  }
  

• 极端场景：自定义字节存储
  若对内存要求极高，可直接存储每行的原始字节数组，需要使用时再解码为字符串，避免String的额外开销：

  List<byte[]> data = new ArrayList<>();
  try(BufferedReader reader = new BufferedReader(new InputStreamReader(zipInputStream))) {
      String line;
      while ((line = reader.readLine()) != null) {
          data.add(line.getBytes(StandardCharsets.UTF_8));
      }
  }
  // 使用时解码：new String(data.get(i), StandardCharsets.UTF_8)
  

内容的提问来源于stack exchange，提问作者FrankelStein