GCP Dataflow Flex模板file_delimiter参数传值失效排查

• Dataflow Flex模板的启动器层默认将,作为多值参数的分隔符，当传入file_delimiter=","时，启动器会自动把逗号当成分隔符做切分处理，最终得到空字符串，不会把逗号本身作为参数值传递给底层的Python作业进程。
• 只要在gcloud提交的--parameters中指定了某个参数名，无论解析后的值是否为空，启动器都会显式在最终执行的Python命令中拼接该参数，也就是会生成--file_delimiter （值为空）的传参形式。这种场景下Pythonargparse模块配置的default默认值不会生效——default仅在参数完全没有被传入时才会被使用，显式传入空值会直接覆盖默认配置。
• 直接用Python命令提交普通Dataflow作业时，不存在这层启动器的参数转义、切分逻辑，逗号会被直接作为参数值接收，省略参数时代码层默认值也能正常加载，所以普通作业运行无异常。
• 控制台抛出的ValueError: only single character unicode strings can be converted to Py_UCS4, got length 0，本质是分隔符参数为空时，pandas的C引擎解析CSV触发的底层类型错误。

按以下三步修改即可彻底解决问题：

1. 完善metadata.json中的参数配置
   不要只把file_delimiter设为可选参数，必须显式声明参数类型、配置元数据层的默认值，关闭启动器的多值切分逻辑，参考配置如下：

   {
     "name": "file_delimiter",
     "isOptional": true,
     "paramType": "TEXT",
     "defaultValue": ",",
     "helpText": "CSV文件字段分隔符，支持传入,或|"
   }
   

   注意：必须在metadata.json中同步配置defaultValue，不能仅依赖Python代码中argparse的默认值。部分版本的Flex模板启动器对于未传值的可选参数，如果metadata中没有配置默认值，依然会拼接空值参数传入作业，覆盖代码层默认配置。

2. 代码层增加空值兜底逻辑
   即使元数据配置完成，也需要在代码层增加空值判断，避免极端场景下空值传入CSV解析逻辑，修改后的参数处理和调用代码如下：

   parser.add_argument(
           "--file_delimiter",
           default=",",
           type=str
       )
   known_args, pipeline_args = parser.parse_known_args()
   # 空值兜底，兼容启动器传空的极端场景
   file_sep = known_args.file_delimiter.strip() if known_args.file_delimiter and known_args.file_delimiter.strip() else ","
   df = p | read_csv(input_file, sep=file_sep)
   

3. 重新构建Flex模板后再提交作业
   配置修改完成后重新打包、上传Flex模板，后续提交作业时：

   • 不传file_delimiter参数时，会自动加载默认值,
   • 显式传入file_delimiter=","或file_delimiter="|"时，参数值会被正确传递，不会被切分为空字符串
     查看启动器日志可以看到最终拼接的Python命令中--file_delimiter后会携带正确的参数值，之前的空值报错会完全消失。

内容的提问来源于stack exchange，提问作者Akhil Kv