构建机器可支付 API：x402 Web Scraper on Base 介绍
一位开发者在 Dev.to 上发表文章，介绍了 x402 Scraper API——一个基于 402 支付协议的网页提取服务。文章指出，AI Agent 需要干净的网页数据，但传统的订阅、信用卡、API 密钥为自主程序化工作流带来了巨大的摩擦。x402 Scraper API 通过机器可支付的方式，解决了这个问题。
背景：AI Agent 与网页数据
AI Agent 需要网页数据
随着 AI Agent 的普及，它们对网页数据的需求越来越大：
- 信息检索：Agent 需要搜索和提取网页上的信息
- 数据采集：Agent 需要从多个网站采集数据进行分析
- 内容生成：Agent 需要参考网页内容生成新的内容
- 任务执行：Agent 需要访问特定网站完成任务（如预订、购买）
- 监控告警：Agent 需要监控网页变化并触发告警
传统方式的摩擦
传统的网页数据获取方式存在很多摩擦：
订阅模式：
- 需要按月或按年订阅，即使只用很少的量
- 需要手动注册账号、输入信用卡信息
- 取消订阅麻烦，容易忘记
- 不同的服务需要不同的订阅，管理复杂
API 密钥：
- 需要注册账号获取 API 密钥
- 需要安全存储和管理密钥
- 密钥可能泄露，导致安全风险
- 不同服务有不同的密钥管理方式
信用卡支付：
- 需要输入信用卡信息，有安全风险
- 支付流程复杂，不适合自动化
- 有最低支付金额，小额支付不划算
- 跨境支付有额外费用和限制
人工干预：
- 很多步骤需要人工干预（注册、支付、验证）
- 不适合 AI Agent 的自主程序化工作流
- 人工干预增加了延迟和成本
- 难以规模化
机器可支付的需求
AI Agent 的自主工作流需要机器可支付（Machine-Payable）的方式：
- 自动化：支付过程完全自动化，不需要人工干预
- 小额支付：支持按次付费，每次调用支付少量费用
- 无密钥：不需要预先注册和管理 API 密钥
- 即时访问：支付后立即获得服务，不需要等待
- 安全可信：支付过程安全，不需要共享敏感信息
- 跨平台：支持不同的区块链和支付方式
什么是 402 支付协议
HTTP 402 状态码
HTTP 402 "Payment Required"（需要支付）是一个 HTTP 状态码，最初是为数字支付预留的：
- 状态码含义：服务器要求客户端支付才能访问资源
- 历史：402 状态码早在 HTTP/1.1 中就定义了，但长期以来很少被使用
- 复兴：随着加密货币和闪电网络的发展，402 状态码重新受到关注
- 标准化：社区正在推动 402 支付协议的标准化
402 协议的工作流程
402 支付协议的基本工作流程：
1. 客户端请求资源
GET /api/scrape?url=https://example.com
2. 服务器返回 402，包含支付信息
HTTP/1.1 402 Payment Required
Content-Type: application/json
{
"price": "0.001 ETH",
"address": "0x1234...",
"paymentId": "pay_123456",
"network": "base"
}
3. 客户端支付
客户端向指定地址支付指定金额
4. 客户端使用支付凭证重新请求
GET /api/scrape?url=https://example.com
X-Payment-Id: pay_123456
X-Payment-Proof: 0xabcdef...
5. 服务器验证支付，返回资源
HTTP/1.1 200 OK
Content-Type: application/json
{ "data": "..." }
402 协议的优势
相比传统的支付方式，402 协议有以下优势：
- 无状态：服务器不需要维护会话状态，每次请求独立
- 无密钥：不需要预先注册和管理 API 密钥
- 自动化：支付过程可以完全自动化，适合 AI Agent
- 小额支付：支持按次付费，每次调用支付少量费用
- 跨平台：基于 HTTP 标准，任何平台都可以使用
- 安全可信：基于区块链的支付，安全可信
x402 Scraper API 介绍
基本信息
x402 Scraper API 是一个基于 402 支付协议的网页提取服务：
- 功能：将网页转换为干净的、结构化的数据
- 支付方式：基于 Base 区块链的 402 支付协议
- 定价：按次付费，每次调用支付少量费用
- 目标用户：AI Agent、开发者、数据分析师
- 特点：不需要注册、不需要 API 密钥、即时访问
核心功能
x402 Scraper API 提供以下核心功能：
网页提取：
- 提取网页的主要内容（文章正文、产品信息、新闻等）
- 去除广告、导航、页脚等无关内容
- 保留结构化信息（标题、段落、列表、表格等）
HTML 转 Markdown：
- 将网页 HTML 转换为干净的 Markdown
- 适合 AI Agent 处理和分析
- 保留链接、图片、代码块等元素
结构化数据提取：
- 提取网页中的结构化数据（JSON-LD、微格式等）
- 支持自定义提取规则
- 输出 JSON 格式，方便程序处理
动态网页渲染：
- 支持 JavaScript 渲染的动态网页
- 模拟真实浏览器行为
- 处理需要登录或交互的网页（高级功能）
批量处理：
- 支持批量提取多个网页
- 异步处理，提高效率
- 批量支付，减少交易费用
API 使用示例
# 使用 x402 Scraper API 的 Python 示例
import requests
from web3 import Web3
# 1. 第一次请求，获取 402 支付信息
url = "https://api.x402.dev/scrape"
params = {"url": "https://example.com/article", "format": "markdown"}
response = requests.get(url, params=params)
if response.status_code == 402:
payment_info = response.json()
print(f"需要支付: {payment_info['price']} on {payment_info['network']}")
print(f"支付地址: {payment_info['address']}")
print(f"支付 ID: {payment_info['paymentId']}")
# 2. 执行支付（使用 Base 区块链）
w3 = Web3(Web3.HTTPProvider("https://mainnet.base.org"))
account = w3.eth.account.from_key("YOUR_PRIVATE_KEY")
tx = {
'from': account.address,
'to': payment_info['address'],
'value': w3.to_wei(payment_info['price'], 'ether'),
'nonce': w3.eth.get_transaction_count(account.address),
'gas': 21000,
'maxFeePerGas': w3.to_wei('0.1', 'gwei'),
'maxPriorityFeePerGas': w3.to_wei('0.05', 'gwei'),
'chainId': 8453, # Base mainnet
}
signed_tx = account.sign_transaction(tx)
tx_hash = w3.eth.send_raw_transaction(signed_tx.rawTransaction)
receipt = w3.eth.wait_for_transaction_receipt(tx_hash)
# 3. 使用支付凭证重新请求
headers = {
"X-Payment-Id": payment_info['paymentId'],
"X-Payment-Proof": receipt.transactionHash.hex(),
}
response = requests.get(url, params=params, headers=headers)
if response.status_code == 200:
result = response.json()
print(f"提取成功!")
print(f"标题: {result['title']}")
print(f"内容长度: {len(result['content'])} 字符")
print(f"内容预览: {result['content'][:200]}...")
AI Agent 集成示例
对于 AI Agent，x402 Scraper API 可以无缝集成：
# AI Agent 使用 x402 Scraper API 的示例
class AIAgent:
def __init__(self, wallet):
self.wallet = wallet
self.payment_cache = {} # 缓存支付凭证
def fetch_webpage(self, url: str, format: str = "markdown") -> dict:
"""获取网页内容，自动处理 402 支付"""
# 检查是否有缓存的支付凭证
cache_key = f"{url}:{format}"
if cache_key in self.payment_cache:
headers = self.payment_cache[cache_key]
response = requests.get(API_URL, params={"url": url, "format": format}, headers=headers)
if response.status_code == 200:
return response.json()
# 第一次请求
response = requests.get(API_URL, params={"url": url, "format": format})
if response.status_code == 402:
# 自动支付
payment_info = response.json()
payment_proof = self.wallet.pay(
address=payment_info['address'],
amount=payment_info['price'],
network=payment_info['network']
)
# 缓存支付凭证
headers = {
"X-Payment-Id": payment_info['paymentId'],
"X-Payment-Proof": payment_proof,
}
self.payment_cache[cache_key] = headers
# 重新请求
response = requests.get(API_URL, params={"url": url, "format": format}, headers=headers)
return response.json()
def research_topic(self, topic: str, num_sources: int = 5) -> str:
"""研究一个主题，自动获取和分析网页内容"""
# 1. 搜索相关网页
search_results = self.search(topic, num_results=num_sources)
# 2. 批量获取网页内容（自动支付）
contents = []
for result in search_results:
try:
content = self.fetch_webpage(result['url'])
contents.append(content)
except Exception as e:
print(f"获取 {result['url']} 失败: {e}")
# 3. 分析和总结
summary = self.analyze_and_summarize(contents)
return summary
为什么选择 Base 区块链
x402 Scraper API 选择 Base 区块链作为支付网络，原因如下：
1. 低交易费用
- Base 是基于以太坊的 Layer 2 网络，交易费用远低于以太坊主网
- 小额支付（如每次 API 调用几分钱）在经济上可行
- 批量支付进一步降低平均费用
2. 快速确认
- Base 的交易确认速度快，通常几秒到几十秒
- 适合需要即时访问的 API 调用
- 用户不需要长时间等待支付确认
3. EVM 兼容
- Base 兼容以太坊虚拟机（EVM），支持以太坊的工具和库
- 开发者可以使用熟悉的 web3.js、ethers.js 等库
- 智能合约可以直接从以太坊迁移
4. growing ecosystem
- Base 生态系统快速发展，越来越多的应用和用户加入
- Coinbase 的支持带来了大量用户和流动性
- 适合构建消费者应用和开发者工具
5. 安全可靠
- 基于以太坊的安全性，继承了以太坊的安全保障
- 经过审计的智能合约，降低安全风险
- 去中心化的网络，没有单点故障
与传统 API 商业模式的对比
| 维度 | 传统订阅模式 | 传统 API 密钥 | 402 机器可支付 |
|---|---|---|---|
| 注册 | 需要注册账号 | 需要注册账号 | 不需要注册 |
| 支付方式 | 信用卡/支付宝 | 信用卡/支付宝 | 加密货币 |
| 计费方式 | 按月/按年订阅 | 按月/按用量 | 按次即时支付 |
| 最低消费 | 有（月费） | 可能有 | 无（按次付费） |
| 自动化 | 困难（需要人工） | 中等（需要管理密钥） | 容易（完全自动化） |
| 适合 AI Agent | 不适合 | 一般 | 非常适合 |
| 小额支付 | 不支持 | 可能支持 | 原生支持 |
| 跨平台 | 受平台限制 | 受平台限制 | 基于 HTTP 标准 |
| 隐私保护 | 需要提供个人信息 | 需要提供个人信息 | 不需要个人信息 |
应用场景
1. AI Agent 自主研究
AI Agent 可以自主进行网络研究：
- 自动搜索相关网页
- 自动支付并获取网页内容
- 自动分析和总结
- 不需要人工干预
2. 数据采集管道
开发者可以构建数据采集管道：
- 批量采集多个网站的数据
- 按次付费，只支付实际使用的量
- 不需要预先购买大量配额
- 自动处理支付和重试
3. 内容聚合服务
内容聚合服务可以使用 x402 Scraper API：
- 聚合多个网站的内容
- 按需获取，降低成本
- 干净的数据，减少清洗工作
- 适合新闻聚合、内容推荐等应用
4. 价格监控和比较
电商价格监控应用：
- 监控多个电商网站的价格
- 定时抓取，按次付费
- 结构化数据，方便分析
- 价格变化告警
5. 学术研究
学术研究者可以使用：
- 采集学术论文和数据
- 按项目付费，经费使用灵活
- 干净的数据，减少预处理工作
- 适合文献综述、数据分析等研究
未来展望
1. 更多支付网络支持
- 支持更多区块链（以太坊、Polygon、Arbitrum 等）
- 支持法币支付（通过第三方集成）
- 支持闪电网络等 Layer 2 支付
- 跨链支付，用户可以使用任意加密货币
2. 更丰富的 API 功能
- 支持更多数据格式（JSON、CSV、XML 等）
- 支持自定义提取规则
- 支持需要登录的网页
- 支持图片和视频提取
- 支持 API 组合（提取 + 分析 + 翻译）
3. 开发者生态
- 提供 SDK（Python、JavaScript、Go 等）
- 提供 AI Agent 框架集成（LangChain、LlamaIndex 等）
- 提供 CLI 工具
- 提供文档和教程
- 建立开发者社区
4. 402 协议标准化
- 推动 402 支付协议的标准化
- 与其他 API 服务互操作
- 建立支付路由和聚合层
- 形成机器可支付 API 的生态系统
5. 信任和声誉系统
- 建立服务提供者的声誉系统
- 用户可以评价服务质量
- 自动检测和过滤低质量服务
- 建立信任和安全机制
挑战和局限性
1. 用户体验
- 加密货币支付对普通用户仍有门槛
- 需要用户拥有加密货币钱包
- 支付过程可能比传统方式复杂
- 需要教育用户了解 402 协议
2. 价格波动
- 加密货币价格波动大
- 定价需要考虑汇率波动
- 用户可能因为价格波动而犹豫
- 需要稳定币或法币定价机制
3. 监管合规
- 加密货币支付在不同地区有不同的监管要求
- 需要遵守反洗钱（AML）和了解客户（KYC）规定
- 税务处理复杂
- 可能面临监管风险
4. 网络确认延迟
- 即使是 Layer 2，支付确认仍需要几秒到几十秒
- 对于需要极低延迟的应用可能不够
- 需要支付通道或状态通道等技术
- 缓存和预支付可以缓解
5. 生态成熟度
- 402 协议仍处于早期阶段
- 支持的服务和工具还不多
- 开发者和用户认知度低
- 需要时间发展和成熟
总结
x402 Scraper API 是一个创新的服务，它通过 402 机器可支付协议，为 AI Agent 和开发者提供了干净的网页数据。
核心要点：
- 背景：AI Agent 需要网页数据，但传统的订阅、API 密钥、信用卡支付为自主程序化工作流带来摩擦
- 402 协议：基于 HTTP 402 状态码的机器可支付协议，支持自动化、小额、无密钥支付
- x402 Scraper API：基于 402 协议的网页提取服务，提供网页提取、HTML 转 Markdown、结构化数据提取、动态网页渲染、批量处理等功能
- 选择 Base：低交易费用、快速确认、EVM 兼容、生态发展、安全可靠
- 应用场景：AI Agent 自主研究、数据采集管道、内容聚合服务、价格监控、学术研究
- 未来展望：更多支付网络、更丰富的 API 功能、开发者生态、402 协议标准化、信任和声誉系统
- 挑战：用户体验、价格波动、监管合规、网络确认延迟、生态成熟度
对于 AI Agent 开发者和需要网页数据的开发者来说，x402 Scraper API 提供了一个有吸引力的方案。它消除了传统 API 支付方式的摩擦，让 AI Agent 可以自主获取网页数据，推动了自主程序化工作流的发展。
随着 AI Agent 的普及和 402 协议的成熟，机器可支付 API 可能成为未来 API 经济的重要组成部分。x402 Scraper API 作为这一领域的先行者，值得关注和尝试。
原文链接：https://dev.to/ihen404/building-machine-payable-apis-introducing-x402-web-scraper-on-base-168g