Azure Data Factory复制活动无法将Sephora指定URL图片下载到数据湖
Azure Data Factory下载Sephora站点图片异常原因
- 站点反爬策略拦截:Sephora针对非浏览器的请求配置了防盗链、User-Agent校验、请求来源校验等反爬规则。ADF复制活动发起的默认HTTP请求未携带符合要求的请求头,站点返回的并非图片二进制流,而是拒绝访问的提示页、跳转页或验证码页内容,写入数据湖后的文件实际是网页文本,自然无法被识别为图片。
- 请求认证信息缺失:Sephora的静态资源访问可能要求用户携带站点下发的有效Cookie、访问令牌等认证参数,当前配置的ADF HTTP链接服务未附加对应认证信息,导致站点拒绝返回正确的图片资源。
- 传输编码适配错误:Sephora返回图片时可能启用了gzip/br压缩、分块传输等编码规则,若ADF复制活动的二进制传输配置未开启对应编码自动解码能力,会直接将压缩后的编码内容写入文件,导致图片损坏无法打开。
- 资源重定向未处理:使用的图片URL可能是临时跳转地址,若ADF复制活动未配置自动跟随3xx重定向的规则,会将重定向响应报文直接作为文件内容存储,导致图片异常。
内容的提问来源于stack exchange,提问作者Java user
相关产品推荐
相关产品推荐

