absl-py如何忽略未识别Flag并将所有Flag保存为JSON字典？

核心方案 #

absl-py默认会拦截未定义的Flag并抛出错误，要实现需求需要：

1. 自定义Flag解析逻辑，跳过未定义的Flag
2. 分别收集已定义和未定义的Flag参数
3. 合并后写入JSON文件

完整代码实现 #

import json
import sys
from absl import flags

# 自定义FlagValues类，允许忽略未定义Flag
class IgnoreUndefinedFlags(flags.FlagValues):
    def _parse_flags(self, argv, known_only=False):
        # 开启known_only模式，只解析已定义的Flag，忽略未定义的
        return super()._parse_flags(argv, known_only=True)

# 初始化自定义Flag容器
FLAGS = IgnoreUndefinedFlags()

# 定义预先指定的Flag
flags.DEFINE_string("model_path", "./model", "预训练模型路径", flag_values=FLAGS)
flags.DEFINE_integer("batch_size", 32, "批量大小", flag_values=FLAGS)
flags.DEFINE_bool("use_gpu", True, "是否使用GPU", flag_values=FLAGS)

def main():
    # 解析已定义的Flag（自动忽略未定义的）
    FLAGS(sys.argv)
    
    # 收集已定义Flag的键值对
    defined_flags = {flag.name: flag.value for flag in FLAGS}
    
    # 收集未定义的Flag
    undefined_flags = {}
    idx = 1
    while idx < len(sys.argv):
        arg = sys.argv[idx]
        if arg.startswith("--"):
            flag_name = arg[2:]
            # 跳过已定义的Flag
            if flag_name not in FLAGS:
                # 判断Flag是否带值（非布尔类型）
                if idx + 1 < len(sys.argv) and not sys.argv[idx+1].startswith("--"):
                    undefined_flags[flag_name] = sys.argv[idx+1]
                    idx += 1
                else:
                    # 布尔类型Flag默认值为True
                    undefined_flags[flag_name] = True
        idx += 1
    
    # 合并所有Flag
    all_flags = {**defined_flags, **undefined_flags}
    
    # 写入JSON文件
    with open("flags_config.json", "w", encoding="utf-8") as f:
        json.dump(all_flags, f, indent=4, ensure_ascii=False)
    
    print(f"所有Flag已保存到flags_config.json，共{len(all_flags)}项")

if __name__ == "__main__":
    main()

使用说明 #

1. 运行脚本时可以传入任意未定义的Flag，比如：

   python your_script.py --local_rank=0 --model_path=./bert --debug
   

2. 执行后会生成flags_config.json文件，内容包含所有已定义和未定义的Flag：

   {
       "model_path": "./bert",
       "batch_size": 32,
       "use_gpu": true,
       "local_rank": "0",
       "debug": true
   }
   

关键点说明 #

• 自定义IgnoreUndefinedFlags类重写了_parse_flags方法，开启known_only=True模式，避免未定义Flag触发报错
• 遍历原始命令行参数收集未定义的Flag，区分布尔类型（无值）和带值的Flag
• 合并已定义和未定义的Flag后，使用json.dump写入文件，保证格式清晰

内容的提问来源于stack exchange，提问作者Simon