Bazel中能否基于输入文件动态生成独立genrule规则？

核心结论 #

完全可以在Bazel内部通过Starlark函数动态生成独立规则，无需预处理生成BUILD文件，还能实现变更行的增量构建和远程缓存最大化利用。

实现步骤 #

• 编写Starlark函数解析requirements.txt
  在WORKSPACE或单独的.bzl文件（比如requirements.bzl）中定义函数，读取文件内容并拆分每行：

  def _parse_requirements(ctx):
      reqs = []
      # 读取requirements.txt内容
      content = ctx.read(ctx.attr.requirements_file)
      for line in content.splitlines():
          line = line.strip()
          if line and not line.startswith("#"):
              # 拆分包名、版本、哈希（根据实际格式调整）
              parts = line.split()
              pkg_name = parts[0].split("==")[0]
              pkg_version = parts[0].split("==")[1]
              pkg_hash = parts[1].split("sha256=")[1] if len(parts) > 1 else ""
              reqs.append({
                  "name": pkg_name,
                  "version": pkg_version,
                  "hash": pkg_hash,
              })
      return reqs
  

• 动态生成独立genrule（或自定义规则）
  在同一个.bzl文件中定义宏，遍历解析后的依赖项，为每个包生成独立的genrule：

  def generate_requirement_rules(requirements_file):
      reqs = _parse_requirements(Label(requirements_file))
      for req in reqs:
          rule_name = "process_{}_{}".format(req["name"], req["version"])
          genrule(
              name = rule_name,
              srcs = [requirements_file],
              outs = ["{}_{}_output.txt".format(req["name"], req["version"])],
              cmd = """
                  # 这里替换为你的单包处理逻辑，比如下载、校验哈希等
                  echo "Processing {name} {version} with hash {hash}" > $@
              """.format(name=req["name"], version=req["version"], hash=req["hash"]),
              tags = ["remote-cacheable"],
          )
  

• 在BUILD文件中调用宏
  在目标BUILD文件中导入并调用该宏：

  load("//path/to:requirements.bzl", "generate_requirement_rules")
  
  generate_requirement_rules(requirements_file = "//:requirements.txt")
  

关键优势 #

• 增量构建：当requirements.txt仅修改某几行时，Bazel会仅重新构建对应包的规则，其他已缓存的规则直接复用。
• 远程缓存优化：每个规则的name由包名+版本唯一标识，只要包的内容（版本、哈希）不变，远程缓存就能命中，避免重复的分钟级处理。
• 无需预处理：全程在Bazel内部完成规则生成，无需额外脚本生成BUILD文件，提升可维护性。

进阶优化建议 #

• 使用自定义规则替代genrule：如果处理逻辑复杂，可编写自定义规则（rule()），更灵活地控制输入输出和缓存策略。
• 拆分依赖文件：如果requirements.txt过大，可拆分为多个小文件，进一步缩小变更影响范围。
• 显式声明依赖：确保每个规则仅依赖自身需要的行内容（通过ctx.read精准提取），减少不必要的依赖关联。

内容的提问来源于stack exchange，提问作者frans