RAG 相关技术文章

php mysql shell go vue css api接口对接支付接口对接

用 Go 单二进制搭一个 NotebookLM 替代品：Notex 的部署、模型模式与 RAG 参数

用 Go 单二进制搭一个 NotebookLM 替代品：Notex 的部署、模型模式与 RAG 参数
2026-09-28 00:03:46
Notex 是 Go 1.23 写的开源 NotebookLM 替代品，单二进制 + 本地 SQLite 向量库就能跑。这篇记录它的部署命令、OpenAI/Ollama 两种模型模式怎么选、MAX_SOURCES/CHUNK_SIZE 等 RAG 参数的作用，以及 markitdown、yt-dlp、vosk 这些外部命令的边界。
notebook lm 替代品 NotebookLM Notex Go RAG 自托管 SQLite Ollama

把散在四个系统的文档丢进去，用大白话问它：腾讯开源的 WeKnora 怎么用

把散在四个系统的文档丢进去，用大白话问它：腾讯开源的 WeKnora 怎么用
2026-09-12 21:20:34
腾讯开源的 WeKnora 知识管理框架：PDF/Word/Excel 等十几种格式自动解析建索引，提问带引用；Agent 自动生成互链 Markdown Wiki 与知识图谱；可对接飞书/GitLab/Notion/语雀，Docker 私有化部署，模型接 20+ 家、向量库 8 选 1，支持企微/飞书/钉钉/Slack/Telegram 接入。含 GitHub 仓库、官网与官方文档地址。
WeKnora 知识库 RAG 腾讯开源私有化部署

pdf-inspector 开源：Firecrawl 的 PDF 交通警察，200 份文档 0.47 秒分类提取

pdf-inspector 开源：Firecrawl 的 PDF 交通警察，200 份文档 0.47 秒分类提取
2026-09-12 09:56:54
pdf-inspector 是 Firecrawl 开源的 PDF 智能分类与提取库：先判断 PDF 是文本型、扫描件、图片型还是混合型再决定处理方式，分类只要 10-50ms，文本型本地处理 200ms 内，200 份文档基准 0.47 秒比 PyMuPDF4LLM 快 30 多倍；提取带 X/Y 坐标与字体信息并自动还原多栏阅读顺序，双模式表格检测得分 0.814 领先，支持 Python/Node/Rust/浏览器 WASM。
pdf-inspector PDF解析 OCR RAG Firecrawl

LLM Wiki 开源：把收藏夹编译成结构化知识库，AI 自动维护只整理一次

LLM Wiki 开源：把收藏夹编译成结构化知识库，AI 自动维护只整理一次
2026-09-12 09:51:29
LLM Wiki 是基于 Karpathy 方法论的开源桌面应用：让 LLM 把文档提取实体、概念、关系后编译成互相关联的 Wiki 页面，与传统 RAG 每次重新检索不同，知识只整理一次持续更新；支持两步思维链 Ingest、四信号知识图谱自动聚类、Deep Research 填补知识空白，目录即 Obsidian vault。
LLM Wiki 知识管理 RAG Obsidian Karpathy

字节开源 OpenViking：用文件系统范式管理 Agent 上下文，终结 token 焦虑

字节开源 OpenViking：用文件系统范式管理 Agent 上下文，终结 token 焦虑
2026-09-12 09:48:42
字节火山引擎开源 OpenViking 上下文数据库：用文件系统范式管理 Agent 的记忆、资源与技能，L0/L1/L2 分层按需加载降低 token 消耗，目录递归+语义检索精准召回，可视化检索轨迹，自动压缩会话并沉淀长期记忆。
OpenViking AI Agent 上下文管理字节跳动 RAG

单周狂揽2万星！大模型文档解析终于告别卡顿：Rust打造的anydoc，把Word/PPT/PDF转Markdown拉进毫秒级

单周狂揽2万星！大模型文档解析终于告别卡顿：Rust打造的anydoc，把Word/PPT/PDF转Markdown拉进毫秒级
2026-09-10 22:37:17
Firecrawl 开源的 anydoc：纯 Rust 实现的文档解析库，4.4ms 中位数把 Word/PPT/Excel/PDF/CSV 等 14 种格式转成 GFM Markdown。含架构拆解、本地实测数据、GIL 释放细节、三个避坑点与 7 款主流工具横评。
anydoc Rust 文档解析 Markdown RAG

用 AI 版自己替换开发 portfolio：当网站的主界面变成对话

用 AI 版自己替换开发 portfolio：当网站的主界面变成对话
2026-09-07 19:13:13
把个人站改造成对话主界面：Markdown 知识库 + 按需检索 + 生成流式回答。含上线被真实用户打爆的教训：serverless 超时、后端自托管，以及代表真人的置信度三态设计。
AI 前端 Svelte 个人站 RAG

向量搜索的元数据过滤：数据增长时如何保持检索精度

向量搜索的元数据过滤：数据增长时如何保持检索精度
2026-09-07 06:14:38
Redis 官方讲解向量搜索元数据过滤：预过滤、后过滤与联合过滤的区别，选择率如何影响召回与延迟，混合查询 RRF 融合与统一引擎如何在高精度下扩展，附最佳实践。
Redis 向量搜索元数据过滤 RAG 混合查询 RRF

倒数排名融合（RRF）：为什么合并搜索结果比看起来更难

倒数排名融合（RRF）：为什么合并搜索结果比看起来更难
2026-09-07 05:14:02
倒数排名融合（RRF）技术解读：只用排名位置（1/(k+rank) 求和）融合多路检索结果，为什么不能直接加 BM25 和余弦分数（标度不兼容、归一化锐边、漂移），适用于混合检索与 RAG 检索阶段。
RRF 搜索混合检索 BM25 向量检索 RAG Redis

AnythingLLM v1.16.0 发布：AI 图像生成、文件选择器增强与会话中工具切换

AnythingLLM v1.16.0 发布：AI 图像生成、文件选择器增强与会话中工具切换
2026-09-07 04:09:05
AnythingLLM v1.16.0 发布：支持 /img 命令生成图像及图像编辑附件、文件选择器支持文件夹拖拽与懒加载、智能体会话中自由切换工具、停止生成彻底终止推理，新增定时任务工具和 openai-compatible whisper API 支持。
AnythingLLM AI应用图像生成智能体 RAG 开源 v1.16.0

Redis 向量搜索实战指南：索引权衡、失败模式与生产环境最佳实践

Redis 向量搜索实战指南：索引权衡、失败模式与生产环境最佳实践
2026-09-06 19:16:12
Redis系统讲解向量搜索在生产环境中的实践。97%企业相信向量搜索价值但只有4%构建生产级系统。向量搜索基于语义相似度，是RAG和AI Agent核心组件。索引类型：Flat（暴力搜索，<1万条）、HNSW（分层图，1万-100万条，默认，参数M/ef_construction/ef_runtime）、IVF（聚类，>100万条，参数nlist/nprobe）。常见失败模式：低召回率、高查询延迟、内存溢出、索引构建慢、数据更新问题、embedding不一致。生产最佳实践：容量规划（预留30-50%内存）、索引调优、查询优化（Top-K/元数据过滤/缓存）、数据管理、监控告警、高可用扩展、安全。100万条768维向量HNSW查询p99<10ms。
Redis 向量搜索 Vector Search HNSW IVF RAG AI Agent 生产环境最佳实践

上下文工程的兴起：为什么它是 AI 工程师最重要的技能

上下文工程的兴起：为什么它是 AI 工程师最重要的技能
2026-09-06 14:11:02
LangChain创始人Harrison Chase提出上下文工程正在成为AI工程师最重要的技能。定义：构建动态系统，以正确格式提供正确信息和工具，使LLM能合理完成任务。大多数Agent表现不可靠的根本原因不是模型能力不足，而是上下文没有正确传达。核心组件包括：系统提示词（角色目标约束）、检索系统（获取相关信息）、工具定义（与外部世界交互）、对话历史管理（多轮上下文）、动态上下文构建（整合所有来源）。LLM应用正从单一提示词演进到复杂Agent系统，上下文工程取代提示词工程成为核心技能。最佳实践：从简单开始、测量和迭代、使用可观测性工具、建立上下文测试套件、文档化设计决策。
上下文工程 LangChain 提示词工程 Harrison Chase AI Agent RAG 检索 LLM

从 Prompt Engineering 到 AI Engineering：构建可靠 AI 功能的工程范式

从 Prompt Engineering 到 AI Engineering：构建可靠 AI 功能的工程范式
2026-09-06 06:18:23
AI应用开发正经历范式转变：从单纯的提示词工程转向AI工程。文章指出，写提示词在简单低风险场景有效，但生产环境面临上下文管理、工具使用、变更验证、故障调试、输出验证、自主权边界等工程问题。AI工程是软件工程、MLOps、分布式系统、安全、测试、平台工程的组合，核心实践包括上下文工程、评估框架、可观测性、输出验证、容错降级、安全治理，以及RAG、Agent、流水线等架构模式。
AI工程 Prompt Engineering LLM RAG Agent MLOps 可观测性评估框架

揭秘 LLM 上下文窗口：AI 记忆如何工作以及为什么会失效

揭秘 LLM 上下文窗口：AI 记忆如何工作以及为什么会失效
2026-09-06 05:13:46
文章深入探讨大语言模型上下文窗口的工作原理和失效原因。介绍了上下文窗口的组成（系统提示词、对话历史、当前输入、生成输出）、工作原理（Token化、注意力机制、位置编码、KV缓存），以及失效的六大原因（中间迷失、注意力稀释、位置编码外推、KV缓存管理、训练数据影响、提示词工程影响）。还提供了改善方法（提示词优化、上下文管理、RAG、微调、选择合适模型）和未来发展方向。
LLM 上下文窗口 Context Window 注意力机制 RAG 大模型 AI记忆提示工程

LinkedIn 认知记忆 Agent 深度解析：四层记忆系统实现个性化招聘助手

LinkedIn 认知记忆 Agent 深度解析：四层记忆系统实现个性化招聘助手
2026-09-05 21:19:44
Stack Overflow 访谈 LinkedIn 首席 AI 研究员，解析招聘助手的认知记忆 Agent 系统。采用工作记忆、情景记忆、语义记忆、程序记忆四层架构，覆盖不同时间尺度的记忆需求。团队解释了为什么放弃 GraphRAG 转而采用自定义记忆架构，以及记忆的写入、检索和遗忘机制。
LinkedIn AI Agent 记忆系统认知架构个性化 RAG GraphRAG 招聘

Perceive：为 RAG 流水线构建的 Web 内容提取工具

Perceive：为 RAG 流水线构建的 Web 内容提取工具
2026-09-05 21:19:43
浏览器和大模型看同一个 URL 看到完全不同的东西。开发者分享构建 Perceive 的过程——专门为 RAG 流水线设计的 Web 内容提取工具，采用渲染层、内容识别层、清洗层、结构化保留层和输出层五层架构，解决传统抓取噪音多、动态内容丢失、结构化信息丢失等问题。
RAG Web抓取内容提取 Perceive AI LLM 信息检索 Python

给RAG系统喂网页数据不用自己写爬虫：Firecrawl用12种引擎并发抓取，输出干净Markdown直接进AI工作流

给RAG系统喂网页数据不用自己写爬虫：Firecrawl用12种引擎并发抓取，输出干净Markdown直接进AI工作流
2026-09-05 19:15:56
介绍 Firecrawl 这个网页数据抓取与结构化平台：内置 12 种抓取引擎并发处理 JS 渲染和反爬，输出 Markdown/JSON 等 LLM 就绪格式，支持 Agent 自动导航搜索，集成网页抓取、内容提取和结构化输出，GitHub 已获 14.9 万 Star。
Firecrawl 网页抓取 RAG AI Agent 数据提取

doc7：5MB的文档理解工具，用多模态模型把PDF/Word/扫描件统一转成Markdown，1.1K Star

doc7：5MB的文档理解工具，用多模态模型把PDF/Word/扫描件统一转成Markdown，1.1K Star
2026-09-05 19:06:17
介绍doc7这个文档转换工具：将PDF、Office、扫描件、截图、图表、邮件、Notebook等各种格式统一渲染为页面后交给多模态视觉模型理解，输出干净的Markdown。公式转LaTeX、图表关系一并理解，支持本地模型（LM Studio/Ollama）和断点续传，二进制仅5MB，GitHub Star超1100。
doc7 文档理解 RAG 多模态 Markdown转换

book-to-skill：5000Star，把一本书编译成AI可复用的Skill，支持9种文档格式和布局感知提取：开源项目实践

book-to-skill：5000Star，把一本书编译成AI可复用的Skill，支持9种文档格式和布局感知提取：开源项目实践
2026-09-05 19:02:10
介绍 book-to-skill 这个将书籍文档编译成AI可复用Skill的开源项目：支持PDF/EPUB/DOCX等9种格式，对技术书籍进行布局感知提取（保留表格和代码块），将整本书编译为包含SKILL.md核心框架、按需加载章节文件、术语表、模式库和决策速查表的完整Skill，
book-to-skill 文档处理 AI Skill 知识管理 RAG

LLM Wiki：会生长的个人知识库，编译一次持续更新，2300+ Star

LLM Wiki：会生长的个人知识库，编译一次持续更新，2300+ Star
2026-09-05 19:00:38
介绍 LLM Wiki 这个跨平台桌面应用：将文档自动编译成结构化、互链的知识库，知识会随资料添加持续生长，内置知识图谱可视化、图洞察功能、purpose.md 目标定义，支持 5 种场景模板和 Chrome 剪藏，输出标准 Markdown 可直接用 Obsidian 打开，2300+ Star。
LLM Wiki 知识库知识图谱 Markdown 个人知识管理 RAG

MaxKB：飞致云开源的智能体平台，Docker 一条命令即可部署

MaxKB：飞致云开源的智能体平台，Docker 一条命令即可部署
2026-09-05 05:55:27
MaxKB 是飞致云开源、可私有化部署的企业级智能体平台，支持主流大模型接入、RAG 知识库、工作流与 Agent 编排。文章覆盖功能特性、版本差异与 Docker 一键部署命令。
MaxKB 智能体 RAG 飞致云 Docker

MinerU-Popo：4B 后处理模型把跨页 OCR 拼回文档树，TEDS 53.7→90.6

MinerU-Popo：4B 后处理模型把跨页 OCR 拼回文档树，TEDS 53.7→90.6
2026-09-03 18:45:07
MinerU 团队开源的 MinerU-Popo 是 4B 参数的 OCR 后处理模型，负责把跨页被切碎的表格、段落、标题层级和图文关系重新拼成文档树，五家主流 OCR 的标题层级 TEDS 从 50-60 分冲到 80 分以上。本文拆解它的数据引擎、动态分块与文档富化三招原理及成本账。
MinerU-Popo OCR 文档解析 RAG 大模型

crawl4ai：面向 LLM/RAG 的开源爬虫，不只是把 HTML 洗成 Markdown

crawl4ai：面向 LLM/RAG 的开源爬虫，不只是把 HTML 洗成 Markdown
2026-09-01 10:06:24
从 requests+BeautifulSoup 的局限切入，介绍专为 LLM/RAG 优化的爬虫工具 crawl4ai：安装、异步爬取、CLI、Docker API，并给出适用边界与取舍判断。
爬虫 LLM RAG Playwright crawl4ai Python

Crawl4AI 工程师笔记：LLM/Agent 场景下的爬虫选型参考

Crawl4AI 工程师笔记：LLM/Agent 场景下的爬虫选型参考
2026-09-01 09:53:09
crawl4ai 是专为 LLM/RAG/Agent 设计的开源爬虫，能把网页转成干净 Markdown/JSON。本文给出适用与不适用场景、安装步骤、Python/CLI/Docker 用法及选型判断要点，帮你在动态页提取与普通静态抓取之间做对选择。
crawl4ai 爬虫 LLM RAG Playwright Python

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 python sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调