综合 网络数据抓取神器 Pipet

2024-11-19 05:43:20 +0800 CST views 807

网络数据抓取神器 Pipet

项目简介

Pipet 是一个基于命令行的网络抓取工具,支持 HTML 解析、JSON 解析和客户端 JavaScript 评估。它依赖于现有工具如 curl,并使用 Unix 管道扩展功能。您可以用 Pipet 跟踪发货情况、获取音乐会门票通知、股票价格变化等信息。

快速开始

创建一个名为 hackernews.pipet 的文件,内容如下:

curl https://news.ycombinator.com/
.title .titleline
  span > a
  .sitebit a

然后运行:

go run github.com/bjesus/pipet/cmd/pipet@latest hackernews.pipet

或者安装 Pipet 并运行:

pipet hackernews.pipet

在终端中查看所有最新的黑客新闻!

安装方式

预建

版本页面 下载最新版本,使用以下命令赋予执行权限:

chmod +x pipet

然后运行:

./pipet

编译

此方法需要安装 Go。使用以下命令安装 Pipet:

go install github.com/bjesus/pipet/cmd/pipet@latest

或者可以运行而无需安装:

go run github.com/bjesus/pipet/cmd/pipet@latest

发行版

Pipet 目前支持 Arch Linux、Homebrew 和 Nix:

brew tap bjesus/pipet && brew install pipet

用法

Pipet 唯一需要的参数是 .pipet 文件的路径,其他命令行标志包括:

  • --json, -j - 输出为 JSON(默认值:false)
  • --template value, -t value - 指定模板文件路径
  • --separator value, -s value - 设置文本输出的分隔符
  • --max-pages value, -p value - 最大抓取页面数(默认值:3)
  • --interval value, -i value - X 秒后重新运行 Pipet
  • --on-change value, -c value - 新结果时运行的命令
  • --verbose, -v - 启用详细日志记录(默认值:false)
  • --help, -h - 显示帮助

Pipet 文件结构

Pipet 文件描述从何处及如何获取数据,包含多个块。以 // 开头的行为注释。每个块包含:

  1. 资源 - 第一行是 URL 和抓取工具
  2. 查询 - 接下来的几行是选择器
  3. 下一页 - 以 > 开头的可选行,描述“下一页”的选择器

示例 Pipet 文件

// Read Wikipedia's "On This Day"
curl https://en.wikipedia.org/wiki/Main_Page
div#mp-otd li
  body
div#mp-tfa > p > b > a

// Get the weather in Alert, Canada
curl https://wttr.in/Alert%20Canada?format=j1
current_condition.0.FeelsLikeC
current_condition.0.FeelsLikeF

// Check how popular the Pipet repo is
playwright https://github.com/bjesus/pipet
Array.from(document.querySelectorAll('.about-margin .Link')).map(e => e.innerText.trim()).filter(t=> /^\d/.test(t) )

项目链接

访问 GitHub 上的 Pipet 项目

复制全文 生成海报 网络抓取 工具 编程 开发

推荐文章

go命令行
2024-11-18 18:17:47 +0800 CST
Shell 里给变量赋值为多行文本
2024-11-18 20:25:45 +0800 CST
软件定制开发流程
2024-11-19 05:52:28 +0800 CST
js常用通用函数
2024-11-17 05:57:52 +0800 CST
js函数常见的写法以及调用方法
2024-11-19 08:55:17 +0800 CST
paint-board:趣味性艺术画板
2024-11-19 07:43:41 +0800 CST
在Vue3中实现代码分割和懒加载
2024-11-17 06:18:00 +0800 CST
Vue3中的虚拟滚动有哪些改进?
2024-11-18 23:58:18 +0800 CST
五个有趣且实用的Python实例
2024-11-19 07:32:35 +0800 CST
为什么大厂也无法避免写出Bug?
2024-11-19 10:03:23 +0800 CST
Java环境中使用Elasticsearch
2024-11-18 22:46:32 +0800 CST
智能视频墙
2025-02-22 11:21:29 +0800 CST
go发送邮件代码
2024-11-18 18:30:31 +0800 CST
如何在Vue 3中使用Ref访问DOM元素
2024-11-17 04:22:38 +0800 CST
内网穿透技术详解与工具对比
2025-04-01 22:12:02 +0800 CST
Go语言中的mysql数据库操作指南
2024-11-19 03:00:22 +0800 CST
Rust开发笔记 | Rust的交互式Shell
2024-11-18 19:55:44 +0800 CST
程序员茄子在线接单