如何通过ADF映射数据流将CSV行以JSON形式载入Azure SQL单列表

1. 是否可通过ADF映射数据流实现该转换？ #

完全可以。ADF映射数据流的内置函数和转换组件能轻松完成CSV行转JSON并写入Azure SQL的需求，无需依赖外部工具或自定义代码。

2. 将CSV行转为JSON的推荐方法（附表达式示例） #

最直接高效的方式是使用派生列转换结合toJSON()函数，无需先构建Struct（若需自定义JSON结构，Struct也适用）：

具体步骤： #

1. 在映射数据流中添加CSV源数据集，确保已正确解析所有列。
2. 添加派生列转换，创建一个新列（比如命名为RowJson）。
3. 在派生列的表达式中使用：

   toJSON(byName('*'))
   

   • byName('*')表示引用当前行的所有字段；
   • toJSON()会自动将这些字段打包成标准的JSON对象字符串。

示例效果： #

如果CSV行数据为id:1, name:Alice, age:30，生成的RowJson值为：

{"id":1,"name":"Alice","age":30}

如果需要自定义JSON结构（比如只包含特定字段），可以用struct()函数先定义结构再转JSON：

toJSON(struct(id as "用户ID", name as "用户名"))

生成的JSON会是{"用户ID":1,"用户名":"Alice"}。

最后在目标Azure SQL表的映射中，只保留这个派生的JSON列，映射到SQL表的nvarchar(max)类型字段即可。

3. Azure SQL中存储JSON格式CSV行的限制与性能考量 #

限制： #

• 存储类型限制：JSON需存储在nvarchar(max)、varchar(max)或ntext中，推荐用nvarchar(max)（ntext已被微软标记为过时），单个JSON对象最大支持2GB。
• 格式合法性：存储的JSON必须是合法格式，否则后续用JSON_VALUE、OPENJSON等函数查询时会报错，ADF的toJSON()生成的是合法JSON，只要源数据没有特殊字符转义问题就不会出错。
• 字符编码：如果用varchar存储，需确保JSON字符串的编码与数据库 collation 兼容，避免乱码。

性能考量： #

• 查询性能：如果需要频繁查询JSON内的字段，建议创建计算列提取常用字段，或创建JSON索引（针对SQL Server 2016+），避免全表扫描时重复解析JSON。
• 载入性能：批量载入大量JSON数据时，JSON字符串的大小会影响写入速度，尽量确保源CSV数据格式规范，减少ADF转换时的转义开销；可以采用批量插入模式提升写入效率。
• 存储开销：JSON是文本格式，相比结构化存储会占用更多空间，若数据量极大，需要评估存储成本。
• 事务日志：批量插入大量JSON数据会生成较大的事务日志，若数据库是完整恢复模式，建议先切换到简单恢复模式完成载入，再切回完整模式。

内容的提问来源于stack exchange，提问作者Ben