You need to enable JavaScript to run this app.
导航
数据抓取
最近更新时间:2024.05.06 15:18:32首次发布时间:2024.05.06 15:18:32

本接口通过指定一个公网可访问的待迁移资源 URL 以及上传目标服务 ID 等信息,来对资源进行抓取和上传,并得到迁移后的资源存储 URI 等信息。

说明

  • 如果您的数据在本地 IDC 或者在本地磁盘中,同时通过本地服务器挂载云存储的资源迁移 veImageX 存储,推荐您使用本地迁移与上传工具进行数据迁移。
  • 如果您的数据位于第三方云厂商或有可公网访问的 URL 本地数据,您可以登录 veImageX 使用数据迁移功能迁移您的数据至 veImageX 存储。

注意事项

  • 请求频率限制:同步处理情况下,请求频率限制为 100 次/秒

  • 超时时间:约为 20 秒

  • 同步处理:

    • 若迁移资源 URL 支持分片下载,最大超时时间为 20 s,最大迁移资源不超过 5 G;
    • 若迁移资源 URL 不支持分片下载,最大超时时间为 20 s,最大迁移资源不超过 1 G。
  • 异步处理:

    若迁移资源 URL 不支持分片下载,最大超时时间为 90 s,最大迁移资源不超过 5 G。

    说明

    • 以上数据为我们内部实验环境得出,仅供参考,具体情况请以您实际网络环境为准。
    • 请您自行配置待迁移资源 Url 是否需要支持分片下载。
  • 服务地址:veImageX 在全球多个区域部署,每个区域有自己对应的 OpenAPI 域名,不支持跨区域调用。具体详情请查看服务地址

请求说明

  • 请求方式:POST
  • 请求地址:https://imagex.volcengineapi.com/?Action=FetchImageUrl&Version=2023-05-01

请求参数

下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共请求参数

Query

参数类型是否必选示例值描述
ActionStringFetchImageUrl接口名称。当前 API 的名称为 FetchImageUrl
VersionString2023-05-01接口版本。当前 API 的版本为 2023-05-01

Body

参数类型是否必选示例值描述
UrlStringhttps://test.org/con.jpg待抓取上传的文件 URL。

ServiceId

String

jh**9k

目标服务 ID,迁移后的文件将上传至该服务绑定的存储。

  • 您可以在 veImageX 控制台服务管理页面,在创建好的图片服务中获取服务 ID。
  • 您也可以通过 OpenAPI 的方式获取服务 ID,具体请参考获取所有服务信息

StoreKey

String

FetchTest

指定抓取成功后的文件存储 key,不包含 bucket 部分。默认使用随机生成的 key。

说明

若指定 key 已存在,则会覆盖服务中 StoreKey 对应的已有文件,此时服务中保存文件的数量未发生变化。

RequestHeader

JSON Map

{
    "X-Function-Id": ["test"]
}

请求 header

TimeOut

Integer

10

资源下载超时时间。

  • 同步处理下最大超时为 20 秒;
  • 异步处理下最大超时为 90 秒。

Async

Boolean

false

是否采用异步,取值如下所示:

  • true:采用异步
  • false:(默认)不采用异步

说明

若您的资源大小小于 5 G,但预估资源迁移超时时间超过 20 s,建议您选择异步处理。

HostStringip:port迁移资源的 IP 地址
CallbackStringhttps://info.com回调 URL,veImageX 以 Post 方式向业务服务器发送 JSON 格式回调数据。当Async取值为true,即采用异步处理时,为必填。
MD5String9a8229123604d22d18b6dcfe44b4519e校验下载文件的 MD5,若校验不一致则停止文件的上传。

CallbackBodyType

String

{
  "param1": "value1",
  "param2": "value2"
}

透传给业务的回调内容,当Callback不为空时为必填,取值需要符合CallbackBodyType指定格式。

CallbackBody

String

application/json

透传给业务的回调内容格式。当CallbackBody不为空时为必填。取值如下所示:

  • application/json
  • application/x-www-form-urlencoded
CallbackHostStringip:port回调时使用的 IP 地址

IgnoreSameKey

Boolean

false

服务存储中存在相同的存储 key 时,是否忽略本次迁移操作。取值如下所示:

  • true:忽略本次迁移操作。
  • false:(默认)继续迁移并覆盖相同 key 的资源。

FetchOnly

Boolean

true

文件在抓取时,是否不执行解码操作,取值如下所示:

  • true:文件仅下载上传,不执行解码操作。
  • false:(默认)文件在下载上传同时执行解码操作。

返回参数

下表仅列出本接口特有的返回参数。更多信息请见公共返回参数

参数类型示例值描述
UrlStringhttps://test.org/con.jpg源文件 URL
StoreUriStringtos-boe-i-241**mp8/32f6b311fa*迁移后的文件 URI,包含 bucket/key 两部分。
FSizeLong9084文件大小,单位为 byte。同步处理情况下有返回值。
ImageWidthInteger2300图片宽,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
ImageHeightInteger1100图片高,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
ImageFormatStringpng图片类型,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
DurationLong5动图持续时间,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
FrameCntInteger100图片帧数,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
TaskIdString92830H07WJS28370异步任务 ID,仅当Async取值true,即采用异步时有返回值。
StartTimeLong1692019200000000000任务开始执行时间戳,UTC 时间,单位为 ns。
EndTimeLong1689304215000000000任务结束执行时间戳,UTC 时间,单位为 ns。
TimeCostLong2714985000完成任务总耗时,单位为毫秒。

请求示例

POST https://imagex.volcengineapi.com/?Action=FetchImageUrl&Version=2023-05-01
{
    "Url": "https://test.org/con.jpg",
    "ServiceId": "jh**9"
}

返回示例

{
    "ResponseMetadata": {
        "RequestId": "20230604110420****100232280022D31",
        "Action": "FetchImageUrl",
        "Version": "2023-05-01",
        "Service": "ImageX",
        "Region": "cn-north-1"
    },
    "Result": {
        "Url": "https://test.org/con.jpg",
        "StoreUri": "tos-cn-i-241**mp8/32f6b311fa*",
        "EndTime": 1689304215000000000,
        "StartTime": 1692019200000000000,
        "TimeCost": 2714985000
    }
}

错误码

本接口无特有的错误码。更多信息请见公共错误码以及 veImageX 错误码

服务端 SDK

为了方便您快速开发,veImageX 提供了配套的服务端 SDK,同时支持多种编程语言。建议您使用服务端 SDK 来调用 API,参考文档如下所示: