如何在Azure Data Factory中移除日志开头自由文本保留JSON数据？

针对你遇到的日志文件开头带#元数据行、需保留后续JSON行并批量迁移的问题，提供3种可行方案：

方案一：Data Flow 过滤+直接输出JSON #

适合批量处理，无需依赖外部服务：

1. 源数据集配置：选择文本格式（不要选JSON），行分隔符设为\n，源路径选日志文件夹，勾选「递归」并设置文件名通配符（如*.log）。
2. 添加过滤转换：在Data Flow中拖入「过滤」组件，过滤表达式写!startsWith($$,'#')，$$代表当前整行内容，直接剔除所有#开头的元数据行。
3. 接收器配置：目标选Blob存储，格式设为JSON，「文件模式」选「每行一个对象」，行分隔符保留\n，直接将过滤后的JSON行写入目标容器。

方案二：Copy Activity 直接过滤行 #

如果日志元数据行数固定或可通过正则匹配，用Copy Activity更高效：

• 固定行数跳过：在Copy Activity的源（Blob存储）「附加属性」中添加skipLineCount，值为元数据行的数量（比如你示例中是15行），目标设为JSON格式，行分隔符\n，批量处理时源选文件夹+通配符即可。
• 动态过滤JSON行：若元数据行数不固定，在源附加属性中添加filterLines，值为^{.*}$（匹配以{开头的JSON行），自动跳过所有非JSON行，无需关心元数据行数。

方案三：Azure Function 自定义处理 #

适合日志格式多变的复杂场景：

1. 创建Blob触发的Azure Function，触发路径设为源日志容器的文件路径。
2. 函数代码逻辑：读取源文件内容→按行分割→过滤掉以#开头的行→将剩余内容写入目标Blob容器。
3. 可通过ADF的「Azure Function活动」触发批量处理，或依赖函数自动触发完成迁移。

你之前方案失效的原因 #

• Data Flow派生列报错：是因为你直接将源设为JSON格式，ADF会尝试解析整个文件为JSON，但开头的元数据行破坏了格式，导致解析失败。
• ForEach中Copy Activity批量失效：大概率是源没有正确配置为批量遍历文件夹（需选文件夹+通配符，而非单个文件），或enableSkipIncompatibleRow仅跳过解析错误的行，但未明确过滤规则，批量时部分文件的元数据行未被正确识别跳过。

内容的提问来源于stack exchange，提问作者Fasan K