使用sbt assembly构建时如何保留Manifest.mf并解决重复项问题

这个问题确实棘手——既要解决打包时的重复文件冲突，又不能丢掉Dropwizard依赖的Manifest元数据。普通的MergeStrategy（比如concat、filterDistinctLines）之所以失效，是因为MANIFEST.MF是键值对格式，重复的键（比如Created-By、Built-By）会直接触发冲突，而简单的去重或拼接无法处理这种结构化的内容。

核心思路：自定义Manifest合并策略 #

我们需要针对META-INF/MANIFEST.MF单独写一个合并逻辑，保留所有必要的元数据字段，同时自动去重重复的键，过滤掉那些自动生成的无关字段（比如构建工具自动加的Build-Jdk）。

具体实现（build.sbt中添加） #

首先导入必要的类，然后定义一个自定义合并函数，再应用到assembly的策略中：

import sbt._
import sbtassembly.MergeStrategy

// 自定义Manifest合并逻辑：保留唯一键值对，过滤无关自动生成字段
def mergeManifests(baseStrategy: MergeStrategy): MergeStrategy = MergeStrategy { case (path, files) =>
  if (path != "META-INF/MANIFEST.MF") {
    // 非Manifest文件用原策略处理
    baseStrategy(path, files)
  } else {
    // 处理Manifest文件：提取有效字段，去重键
    val manifestLines = files.flatMap { file =>
      IO.readLines(file).filterNot { line =>
        // 过滤掉不需要的重复字段，可根据实际情况调整
        line.startsWith("Built-By:") || 
        line.startsWith("Created-By:") || 
        line.startsWith("Build-Jdk:") || 
        line.startsWith("Implementation-Vendor-Id:")
      }
    }

    // 处理键值对，保留唯一键（后面的覆盖前面的，或者反过来，可调整）
    val uniqueEntries = manifestLines.foldLeft(Map.empty[String, String]) { (acc, line) =>
      if (line.isEmpty || line.startsWith(" ")) {
        // 处理多行值（比如Class-Path的换行），这里简单保留最后一个，可按需优化
        acc
      } else {
        val Array(key, value) = line.split(":", 2)
        acc + (key.trim -> value.trim)
      }
    }

    // 重新生成符合格式的Manifest内容
    val mergedContent = uniqueEntries
      .map { case (k, v) => s"$k: $v" }
      .toList
      ++ List("") // Manifest末尾需要空行

    IO.write(file(path), mergedContent.mkString("\n"))
    Right(())
  }
}

// 应用自定义策略到assembly
assemblyMergeStrategy in assembly := mergeManifests(MergeStrategy.first)

为什么这个方案可行？ #

1. 精准过滤：自动去掉那些构建工具生成的重复字段（比如Created-By），这些字段对运行没有影响，但会导致冲突。
2. 结构化去重：以键为单位保留唯一值，避免重复键的冲突，同时保留Dropwizard需要的Implementation-Title、Implementation-Version、Main-Class等核心字段。
3. 兼容原有策略：非Manifest文件依然用你原来的合并策略处理，不会影响其他文件的打包逻辑。

验证步骤 #

1. 运行sbt assembly构建项目，确认不再出现ZipException。
2. 解压生成的JAR包，查看META-INF/MANIFEST.MF，确认包含Dropwizard需要的元数据字段。
3. 启动项目，验证Dropwizard能正常加载配置和启动服务。

备选方案：指定保留核心依赖的Manifest #

如果自定义合并太复杂，也可以直接指定只保留Dropwizard相关JAR的Manifest，其他依赖的Manifest丢弃：

assemblyMergeStrategy in assembly := {
  case PathList("META-INF", "MANIFEST.MF") => 
    // 只保留dropwizard-core相关JAR的Manifest，替换成你的核心依赖组名
    MergeStrategy.filter { file =>
      file.getName.contains("dropwizard-core")
    }
  case x =>
    val oldStrategy = (assemblyMergeStrategy in assembly).value
    oldStrategy(x)
}

不过这个方案风险较高，可能会丢失其他依赖的必要元数据，所以优先推荐自定义合并策略。

内容的提问来源于stack exchange，提问作者Ali