Dataflow加载CSV到BigQuery报错：“NAME”非有效值求助

1. BigQuery表结构字段类型不匹配 #

这是最常见的触发原因。比如你在BigQuery中定义的某字段类型为INT64/FLOAT64等数值类型，但CSV对应列的值是字符串"NAME"；或者字段定义为STRING，但Dataflow脚本里强制指定了错误的类型映射规则。

• 核对BigQuery目标表的字段类型，确保与CSV对应列的数据类型完全匹配。文本类内容对应STRING，数字类对应数值类型。
• 检查Dataflow脚本中的字段类型映射配置，比如BigQueryIO.write()相关设置里是否有错误的类型转换规则。

2. CSV表头与BigQuery表字段名不匹配 #

CSV表头名称和BigQuery表字段名存在不一致（大小写敏感）时，Dataflow可能误将表头值当作数据行处理，触发类型校验失败。

• 确认CSV表头与BigQuery表字段名完全一致，包括大小写。比如BigQuery字段是name，CSV表头是NAME，部分场景下会被识别为数据而非表头，引发类型错误。
• 检查Dataflow脚本是否开启了表头识别配置，比如是否设置了skipHeaderLines(1)，如果未开启，第一行表头会被当作数据行处理，自然与字段类型不匹配。

3. CSV数据格式存在隐藏问题 #

即使修改过CSV内容，也可能存在隐藏格式问题：

• CSV中存在不可见字符（如空格、换行符、制表符），导致"NAME"实际是带空格的" NAME"，与字段类型要求冲突。可通过文本编辑器开启显示不可见字符功能检查。
• CSV分隔符设置错误，比如脚本指定分隔符为逗号，但实际CSV用制表符，导致列解析错位，把其他列内容映射到错误字段上。

4. Dataflow脚本的BigQuery写入配置错误 #

• 检查脚本中BigQueryIO.writeTableRows()或类似方法的配置，是否正确指定了目标表schema，是否开启了自动schema推断（若开启，推断的类型可能与实际表类型冲突）。
• 确认是否设置了createDisposition(CREATE_IF_NEEDED)，如果目标表不存在，Dataflow自动创建的schema可能与预期不一致，导致数据写入时类型不匹配。

内容的提问来源于stack exchange，提问作者Garima Singh