如何用ADF将返回octet-stream的API响应保存为ADLS的CSV/JSON文件

基础说明 #

Octet-Stream是HTTP响应的二进制流类型，本质就是无格式的二进制数据——API返回的这种流大概率是压缩后的CSV/JSON文件，或是纯文本（CSV/JSON）的二进制编码形式，我们可以通过ADF的组合活动完成处理与存储。

步骤1：用Web活动调用API获取响应 #

在ADF中创建Web活动，配置好API的请求方法（GET/POST）、URL、请求头、参数等核心信息。关键要在Web活动的设置中开启“输出响应”，确保后续活动能获取到返回的二进制流数据。

步骤2：处理二进制流并转换为目标格式 #

根据API返回内容的实际情况，分两种场景处理：

场景A：流本身是纯文本（CSV/JSON的二进制编码） #

直接用Copy活动承接Web活动的输出，配置细节如下：

• 源数据集选择二进制数据集，源类型设置为“Web活动输出”，引用Web活动的输出内容：@activity('你的Web活动名称').output
• 目标数据集选择ADLS的CSV/JSON数据集，按需配置列分隔符、编码格式（如UTF-8）等参数
• 运行Copy活动后，ADF会自动将二进制流解码为文本，并保存为指定格式到ADLS

场景B：流是压缩文件（如ZIP/GZIP包内含CSV/JSON） #

需要先解压再存储，步骤如下：

1. 用Copy活动将Web活动返回的二进制流保存为ADLS上的压缩文件（例如temp_output.zip），源选Web活动输出，目标选ADLS的二进制数据集
2. 添加解压活动（Decompress），源数据集选择刚才保存的压缩文件，目标指定ADLS的空文件夹路径，配置对应解压格式（ZIP/GZIP）
3. 若需整理路径，可再用Copy活动将解压后的CSV/JSON文件移动到最终存储目录

步骤3：验证结果 #

运行流水线后，登录ADLS查看目标路径下的文件，确认格式正确、内容完整。如果出现乱码，检查API响应的编码格式（如GBK），在Copy活动的源设置中指定对应编码即可。

内容的提问来源于stack exchange，提问作者Bikash