数据处理常见问题排查指南 #

数据同步失败 #

基于错误码信息排查

数据处理慢 #

当前对于图文数据，耗时主要在图片的处理。平台会根据url从客户侧把图片下载下来，转存到火山的tos环境，然后做图片校验、resize、vlm 增强处理。有下面因素影响处理速度：

• 客户侧cdn能力，限频导致耗时长
• 一条数据中图片的数量和大小，数量越多，大小越大，处理耗时越长

建议：

• 客户耐心等待。
• 如果客户侧有大量数据上传需求，且能保证自身cdn能力，可以联系火山侧调大并发，加快速度。

数据详情 显示 数据异常，显示【图片链接无法访问】 #

数据详情里的【图片链接无法访问】是指火山没有成功拉取到图片，不一定是图片url打不开。客户可依次check：

1. 把图片url复制到浏览器，看是否可以打开。如果打不开，客户需要传成可以打开的url。

注意图片链接一定是图片，不能是网页链接地址，否则会数据校验异常，索引失败，无法使用的。

2. 请在您的CDN服务商控制台检查IP访问控制（黑白名单）配置，确认没有封禁火山IP：115.190.93.157。该IP是火山引擎服务用于拉取您图片资源的服务器地址，如果您的CDN策略封禁了此IP，将导致图片拉取失败。（备注：如果图片源不归客户所有，无法加白IP，建议使用Base64格式）
3. 请在您的CDN服务商控制台检查流量限制（QPS限制）相关配置，确认没有因限流导致拉取超时。
4. 如果您的五福或数据源部署在海外，目前建议最好使用柔佛平台，以免因为跨域公网不稳定导致的超时
5. 检查图片格式是否符合要求
   • 文件大小：建议300KB以内（过大会导致响应延迟）
   • Base64格式：必须包含数据头，格式示例：data:<MIME类型>;base64,<Base64编码字符串>

数据集的数据量 和导入的数据量不一致 #

可能的原因：

• 数据集的数据量是根据物品主键去重过的，如果客户重复上传数据，就会出现导入的数据量大于数据集数据量

建议：

• 调用listitem接口 查询数据集已有的物品，可以选择把没有的物品重新导入。详见：https://www.volcengine.com/docs/85296/1783743?lang=zh

行为数据量突然暴涨的可能原因 #

火山引擎不会对客户行为数据做增加，所以 一般就是客户上传了这么多行为数据，有几种可能原因：

• 大促活动
• 爬虫
• 客户接口重复上传

数据集-操作记录-找不到对应的上传记录？ #

操作记录只记录最近7天的上传记录，所以7天外的不展示是符合预期的，如果7天内的不展示可以联系火山引擎技术支持进行排查。

在体验界面，显示“图片不存在”或“403” #

直接复制图片链接到浏览器地址栏，若能正常显示，在体验界面 图片无法显示的原因是防盗链限制。客户的图片服务器没有对火山引擎域名开放访问权限。
建议：
客户在CDN上配置允许火山引擎域名访问，域名地址：https://console.volcengine.com/

可以支持爬取检索HTML网页信息么？ #

暂不支持。需要客户把包含的信息提取成结构化的数据。