为何Data Factory无法将本地SQL Server数据复制到云端Avro？

核心原因 #

报错Name 'GENERIC_COLUMN' contains invalid characters的本质是Avro对Schema字段名有严格的命名约束，你的SQL Server中存在不符合该约束的列名，导致数据序列化环节失败。

Avro字段名规范 #

Avro要求字段名必须匹配正则表达式 [A-Za-z_][A-Za-z0-9_]*，具体规则：

• 必须以字母（大小写均可）或下划线开头
• 后续字符只能是字母、数字或下划线
• 禁止包含空格、特殊符号（如-、.、(、)等），也不允许存在制表符、换行符这类不可见控制字符

为什么之前成功现在失败 #

你之前迁移成功是因为当时涉及的所有列名都符合Avro的命名规范，而这次出现问题的列（比如报错中提到的GENERIC_COLUMN）大概率存在以下情况：

• 列名包含隐藏的不可见字符（比如创建列时误输入全角空格、制表符）
• 列名实际带有特殊符号（比如GENERIC COLUMN或GENERIC-COLUMN，报错信息显示时做了转义处理）
• SQL Server中该列使用了方括号包裹的特殊命名，Data Factory读取时保留了不符合规范的字符

验证方法 #

可以在SQL Server中执行以下查询，查看对应表的所有列名，确认是否存在不符合规则的字段：

SELECT COLUMN_NAME 
FROM INFORMATION_SCHEMA.COLUMNS 
WHERE TABLE_NAME = '你的目标表名' AND TABLE_SCHEMA = '你的表架构名'

内容的提问来源于stack exchange，提问作者marcos espinola