能否使用Azure Data Factory将Blob存储中CSV全量数据传入本地SQL数据库

你之前使用Lookup+Copy活动逐条传输的方式仅适合极小批量的特殊场景，全量同步CSV数据直接使用单Copy活动即可实现，具体操作如下：

前置准备 #

• 提前在ADF中配置好两个链接服务：Blob存储链接服务、本地SQL数据库链接服务，本地SQL需通过自托管集成运行时（IR）访问，确保自托管IR已在本地服务器部署且运行状态正常
• 在本地SQL数据库中提前创建好和CSV字段结构匹配的目标表，字段类型、长度需和CSV对应内容对齐，避免后续类型转换报错

管道配置步骤 #

1. 新建空白管道，直接添加复制活动，无需搭配Lookup活动
2. 配置复制活动源：

• 源数据集选择Blob存储对应的CSV格式数据集，指定CSV文件所在的容器、路径，配置正确的列分隔符、文件编码、是否包含表头参数
• 源设置中的使用查询项选择无，默认会读取指定CSV的全量记录，无需额外配置过滤规则

3. 配置复制活动接收器：

• 接收器数据集选择本地SQL对应的数据集，指定提前创建好的目标表
• 写入行为选择插入，如果需要每次同步前清空目标表实现全量覆盖，可勾选复制前执行脚本，填入语句TRUNCATE TABLE 你的目标表名即可

4. 配置字段映射：

• 进入「映射」标签页点击导入架构，系统会自动匹配CSV字段和SQL表字段，若存在字段命名不一致的情况，手动调整映射关系即可

5. 点击「调试」运行管道，验证全量数据同步正常后可配置定时触发器实现自动同步

常见问题排查 #

• 同步报权限错误时，先检查自托管IR的运行账号是否有本地SQL表的写入权限，以及Blob存储的访问密钥/SAS令牌是否在有效期内
• 出现字段长度溢出报错时，检查SQL表对应字段的长度是否大于CSV中对应字段的最大长度
• CSV存在特殊字符导致解析失败时，可在源数据集的格式配置中调整引号字符、转义字符的设置

内容的提问来源于stack exchange，提问作者Jainav Surana