综合 网络数据抓取神器 Pipet

2024-11-19 05:43:20 +0800 CST views 843

网络数据抓取神器 Pipet

项目简介

Pipet 是一个基于命令行的网络抓取工具,支持 HTML 解析、JSON 解析和客户端 JavaScript 评估。它依赖于现有工具如 curl,并使用 Unix 管道扩展功能。您可以用 Pipet 跟踪发货情况、获取音乐会门票通知、股票价格变化等信息。

快速开始

创建一个名为 hackernews.pipet 的文件,内容如下:

curl https://news.ycombinator.com/
.title .titleline
  span > a
  .sitebit a

然后运行:

go run github.com/bjesus/pipet/cmd/pipet@latest hackernews.pipet

或者安装 Pipet 并运行:

pipet hackernews.pipet

在终端中查看所有最新的黑客新闻!

安装方式

预建

版本页面 下载最新版本,使用以下命令赋予执行权限:

chmod +x pipet

然后运行:

./pipet

编译

此方法需要安装 Go。使用以下命令安装 Pipet:

go install github.com/bjesus/pipet/cmd/pipet@latest

或者可以运行而无需安装:

go run github.com/bjesus/pipet/cmd/pipet@latest

发行版

Pipet 目前支持 Arch Linux、Homebrew 和 Nix:

brew tap bjesus/pipet && brew install pipet

用法

Pipet 唯一需要的参数是 .pipet 文件的路径,其他命令行标志包括:

  • --json, -j - 输出为 JSON(默认值:false)
  • --template value, -t value - 指定模板文件路径
  • --separator value, -s value - 设置文本输出的分隔符
  • --max-pages value, -p value - 最大抓取页面数(默认值:3)
  • --interval value, -i value - X 秒后重新运行 Pipet
  • --on-change value, -c value - 新结果时运行的命令
  • --verbose, -v - 启用详细日志记录(默认值:false)
  • --help, -h - 显示帮助

Pipet 文件结构

Pipet 文件描述从何处及如何获取数据,包含多个块。以 // 开头的行为注释。每个块包含:

  1. 资源 - 第一行是 URL 和抓取工具
  2. 查询 - 接下来的几行是选择器
  3. 下一页 - 以 > 开头的可选行,描述“下一页”的选择器

示例 Pipet 文件

// Read Wikipedia's "On This Day"
curl https://en.wikipedia.org/wiki/Main_Page
div#mp-otd li
  body
div#mp-tfa > p > b > a

// Get the weather in Alert, Canada
curl https://wttr.in/Alert%20Canada?format=j1
current_condition.0.FeelsLikeC
current_condition.0.FeelsLikeF

// Check how popular the Pipet repo is
playwright https://github.com/bjesus/pipet
Array.from(document.querySelectorAll('.about-margin .Link')).map(e => e.innerText.trim()).filter(t=> /^\d/.test(t) )

项目链接

访问 GitHub 上的 Pipet 项目

复制全文 生成海报 网络抓取 工具 编程 开发

推荐文章

基于Flask实现后台权限管理系统
2024-11-19 09:53:09 +0800 CST
16.6k+ 开源精准 IP 地址库
2024-11-17 23:14:40 +0800 CST
SQL常用优化的技巧
2024-11-18 15:56:06 +0800 CST
Vue3中如何处理跨域请求?
2024-11-19 08:43:14 +0800 CST
php使用文件锁解决少量并发问题
2024-11-17 05:07:57 +0800 CST
JavaScript设计模式:适配器模式
2024-11-18 17:51:43 +0800 CST
ElasticSearch集群搭建指南
2024-11-19 02:31:21 +0800 CST
Nginx 反向代理 Redis 服务
2024-11-19 09:41:21 +0800 CST
windows下mysql使用source导入数据
2024-11-17 05:03:50 +0800 CST
百度开源压测工具 dperf
2024-11-18 16:50:58 +0800 CST
FcDesigner:低代码表单设计平台
2024-11-19 03:50:18 +0800 CST
html一些比较人使用的技巧和代码
2024-11-17 05:05:01 +0800 CST
PHP 的生成器,用过的都说好!
2024-11-18 04:43:02 +0800 CST
服务器购买推荐
2024-11-18 23:48:02 +0800 CST
智慧加水系统
2024-11-19 06:33:36 +0800 CST
使用临时邮箱的重要性
2025-07-16 17:13:32 +0800 CST
Linux 网站访问日志分析脚本
2024-11-18 19:58:45 +0800 CST
程序员茄子在线接单