网页抓取 API

通过真实 headless 浏览器提取 JavaScript 渲染后的 HTML。同步与异步端点,支持灵活渲染选项、资源拦截和 SSRF 防护。

API 端点
GET https://scrape.cleariflow.com/v1/scrape/?api_key=YOUR_API_KEY

立即试用

用真实数据测试 API

没思路?试试:

API 优势

JavaScript 渲染

真实 headless 浏览器执行 JavaScript 并返回完整渲染的 HTML。

灵活渲染选项

可配置 wait_until、超时、加载后等待和 HTTPS 错误处理。

同步与异步端点

同步 scrape 低延迟,或异步 jobs 处理慢页面与高并发。

资源拦截

拦截图片、字体和媒体以加速并节省带宽。

SSRF 防护

内置安全机制阻止私有网络和不安全的目标 URL。

银行级安全

所有 API 流量均通过 TLS(HTTPS)加密保护。

主要功能

  • 真实 headless 浏览器渲染
  • 捕获前完整执行 JavaScript
  • 同步 POST /v1/scrape
  • 带轮询的异步任务队列
  • 可配置 wait_until(domcontentloaded、networkidle)
  • 拦截图片、字体和媒体
  • SSRF 安全 URL 校验
  • 可选加载后等待
  • 含 HTML 与元数据的 JSON 响应
  • 可配置超时(最长 60 秒)
  • TLS 加密 API 访问
  • 按请求的 render 与 resource 选项

快速入门

1. 获取 API 密钥

免费注册,立即获得密钥。

2. 发起第一次请求

cURL
curl -X POST "https://scrape.cleariflow.com/v1/scrape" \
  -H 'Content-Type: application/json' \
  -d '{
    "api_key": "YOUR_API_KEY",
    "url": "https://quotes.toscrape.com/"
  }'

3. 处理响应

JSON
{
  "html": "\u003c!DOCTYPE html\u003e\u003chtml\u003e\u003chead\u003e\u003ctitle\u003eQuotes to Scrape\u003c/title\u003e\u003c/head\u003e\u003cbody\u003e...\u003c/body\u003e\u003c/html\u003e",
  "meta": {
    "elapsed_ms": 4521
  },
  "ok": true
}