Scrape API 使用文档

此文档适用于开发者,供开发者高效、便捷的对接数据并快速对接API

发布日期:2023/9/25

接口名称

Amazon页面采集Api
 

接口描述

用于采集Amazon前台任意页面,并支持指定邮编进行采集,以获得与Amazon呈现给消费者一致的页面数据。
接口通过异步的方式返回数据,开发者需部署简单的接收数据的Http服务,我们将采集结果以Http请求的方式推送给您,文末有Java Springboot版接收服务的代码,请参考。
 

请求 URL

http://**.***.***.***/api/task/receive/v1
 

请求方法

POST
 

参数

Query请求参数

参数名
参数类型
参数说明
token
String
用户信息认证,请联系管理员获取

请求Body

{
    "url":"https://www.amazon.com/s?k=baby", //要爬取的亚马逊页面url
    "callbackUrl":"http://xxx/xxx", //开发者接收数据的服务地址(爬取成功后,将会把页面数据推送到该地址的服务上)
    "bizContext":{
        "zipcode":"90001" //亚马逊邮编信息(非必填),示例是美国洛杉矶邮编
    }
}

响应参数

{
    "code":0, //系统状态码
    "message":"ok",
    "data":{
        "data":"57b049c3fdf24e309043f28139b44d05", //返回爬虫任务ID,爬取成功后会将此ID+页面数据推送到接收服务上
        "bizCode":0, //业务状态码
        "bizMsg":"ok" //业务状态信息
    }
}错误码

1001

  • 含义:参数为空 / 参数不正确
  • 解决方案:检查请求参数是否正确
 

1004

  • 含义:访问被拒绝 / Token 不正确 / 超出体验次数
  • 解决方案:请检查Token
 

示例请求

 
1、Curl 示例
# 请求
curl --location 'http://**.***.***.***/api/task/receive/v1?token=xxx' \
--header 'Content-Type: application/json' \
--data '{"url":"https://www.amazon.com/s?k=baby","callbackUrl":"http://**.***.***.***/callback/data","bizContext":{"zipcode":"90001"}}'

# 响应
{
    "code":0, //系统状态码
    "message":"ok",
    "data":{
        "data":"57b049c3fdf24e309043f28139b44d05", //返回爬虫任务ID,爬取成功后会将此ID+页面数据推送到接收服务上
        "bizCode":0, //业务状态码
        "bizMsg":"ok" //业务状态信息
    }
}
2、Java – OKHttp示例
//请求
OkHttpClient client = new OkHttpClient().newBuilder()
  .build();
MediaType mediaType = MediaType.parse("application/json");
RequestBody body = RequestBody.create(mediaType, "{\"url\":\"https://www.amazon.com/s?k=baby\",\"callbackUrl\":\"http://**.***.***.***/callback/data\",\"bizContext\":{\"zipcode\":\"90001\"}}");
Request request = new Request.Builder()
  .url("http://**.***.***.***/api/task/receive/v1?token=xxx")
  .method("POST", body)
  .addHeader("Content-Type", "application/json")
  .build();
Response response = client.newCall(request).execute();

//响应
{
    "code":0, //系统状态码
    "message":"ok",
    "data":{
        "data":"57b049c3fdf24e309043f28139b44d05", //返回爬虫任务ID,爬取成功后会将此ID+页面数据推送到接收服务上
        "bizCode":0, //业务状态码
        "bizMsg":"ok" //业务状态信息
    }
}
3、Python – Request示例
# 请求
import requests
import json

url = "http://**.***.***.***/api/task/receive/v1?token=xxx"

payload = json.dumps({
  "url": "https://www.amazon.com/s?k=baby",
  "callbackUrl": "http://**.***.***.***/callback/data",
  "bizContext": {
    "zipcode": "90001"
  }
})
headers = {
  'Content-Type': 'application/json'
}

response = requests.request("POST", url, headers=headers, data=payload)

print(response.text)

# 响应
{
    "code":0, //系统状态码
    "message":"ok",
    "data":{
        "data":"57b049c3fdf24e309043f28139b44d05", //返回爬虫任务ID,爬取成功后会将此ID+页面数据推送到接收服务上
        "bizCode":0, //业务状态码
        "bizMsg":"ok" //业务状态信息
    }
}

接收服务示例

Java Springboot工程*
需要帮助吗?

我们致力于您的成功,如果有任何问题,请随时联系我们!

我们的专家团队致力于帮助您解决和修复可能在使用我们的产品时遇到的任何问题。

如果您想提交错误报告或需要技术支持,请通过发送电子邮件联系我们的支持团队。或者参阅技术文档。[IPPN用户指南] | [Scrape API用户指南]

Scroll to Top
pangolinfo LOGO

与我们的团队交谈

Pangolin提供从网络资源、爬虫工具到数据采集服务的完整解决方案。
This website uses cookies to ensure you get the best experience.
pangolinfo LOGO

Talk to our team

Pangolin provides a total solution from network resource, scrapper, to data collection service.