抓取资源
更新时间：2020-10-08 22:21:20
描述
该接口提供从指定URL抓取资源，并存储到指定空间。
请求说明
POST /fmgr/fetch
HOST: <MgrDomain>
Authorization:<accessToken>
头部说明
| 参数 | 必填 | 描述 |
|---|---|---|
| Host | 是 | 管理域名，可在用户管理界面获取 |
| Authorization | 是 | 管理凭证 |
参数说明
请求参数以如下格式组织，作为请求内容提交：
fops=fetchURL/<Urlsafe_Base64_Encoded_URL>/bucket/<Urlsafe_Base64_Encoded_bucket>/key/<Urlsafe_Base64_Encoded_key>/prefix/<Urlsafe_Base64_Encoded_prefix>/md5/<md5>/decompression/<decompression>/fetchTS/<fetchTS>¬ifyURL=<Urlsafe_Base64_Encoded_notifyUrl>&force=<Force>&separate=<Separate>
| 参数 | 必填 | 描述 |
|---|---|---|
| fops | 是 | 处理参数列表，格式为上述说明，支持同时请求多个处理，参数列表之间用 ; 分隔。 |
| fetchURL | 是 | 指定抓取URL。<Urlsafe_Base64_Encoded_URL>为对指定URL地址进行URL安全的Base64编码后的字符串。 |
| bucket | 是 | 指定存储空间。<Urlsafe_Base64_Encoded_bucket>为对指定Bucket名称进行URL安全的Base64编码后的字符串。 |
| key | 否 | 指定存储资源的key。<Urlsafe_Base64_Encoded_key>为对指定资源的key进行URL安全的Base64编码后的字符串。注：未指定key时，则资源的key为抓取URL的URI。 |
| prefix | 否 | 指定资源key的前缀。<Urlsafe_Base64_Encoded_prefix>为对指定资源的key的前缀进行URL安全的Base64编码后的字符串。注：指定prefix参数时，资源最终保存为prefix/key。 |
| md5 | 否 | 指定资源的md5值。通过指定URL抓取到的资源md5值与指定的md5值一致时保存，否则不保存。不指定则不校验md5值，直接保存。 |
| decompression | 否 | 对拉取的文件进行指定类型的解压缩，支持zip/tar/gzip。例如：配置/decompression/zip则对拉取后的文件进行unzip解压。 |
| fetchTS | 否 | 在抓取m3u8文件时，指定否需要抓取TS文件：0-表示不抓取TS文件；1-表示需要抓取TS文件；注：<1>若未设置该参数，默认不抓取TS文件。<2>仅支持m3u8文件且TS访问路径必须是相对路径。<3>不支持多码率自适应的m3u8文件。 |
| notifyURL | 否 | 处理结果通知接收URL，通知内容格式见任务查询接口的返回内容。 |
| force | 否 | 是否强制执行处理。1：强制执行数据处理并覆盖原结果。0：若数据处理结果已存在，则认为处理成功，避免重复处理浪费资源。默认值为0。 |
| separate | 否 | 处理指令是否分开通知。设置1和0作为选项码：1：表示每个指令执行完后都通知notifyURL。0：表示所有指令执行完后再一次性通知notifyURL。默认值为0。 |
请求参数示例
fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompress/zip;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEubTN1OA==/bucket/bXlidWNrZXQ=/fetchTS/1¬ifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1
响应说明
如果请求成功，则返回如下内容的Json串:
{ "persistentId": <persistentId> }
| 字段名 | 必填 | 描述 |
|---|---|---|
| persistentId | 是 | 任务进程ID，可以用于查询任务进度 |
如果请求失败，则返回如下内容的Json字符串：
{
"code": "<code string>",
"message": "<ErrMsg string>"
}
| 字段名 | 必填 | 描述 |
|---|---|---|
| code | 是 | HTTP请求响应码，参见HTTP响应状态码<返回码> |
| message | 是 | 请求失败的提示信息 |
范例
curl -v -X POST -d "fops=fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuanBn/bucket/bXlidWNrZXQ=/key/ZGlyL2FhLmpwZw==/prefix/YWFkaXIv/md5/0bee89b07a248e27c83fc3d5951213c1;fetchURL/aHR0cDovL3d3dy5iYWlkdS5jb20vYWEuemlw/bucket/bXlidWNrZXQ=/decompress/zip¬ifyURL=aHR0cDovL3Rlc3QuY29tL25vdGlmeVVSbA==&force=1&separate=1" -H "Authorization:86622e227a50d49d858c2494a935bc2e4ac543a7:Y2JmMGY0YTNhZmQxZmVlZGM2ZTA0YTdjNTcyOWQ1NjRkNTExYjg0Yg==" --url "http://mgrDomain/fmgr/fetch"
本篇文档内容对您是否有帮助？
有帮助
我要反馈