RAG-Anything：让 AI 真正读懂含图、表、公式的所有文档

来源：微信公众号

传统 RAG（检索增强生成）系统有个致命短板——它只认识文字。可现实世界的企业知识库里，研报有走势图、合同有结构化表格、论文有 LaTeX 公式、技术手册有架构截图……这些信息在传统 RAG 里要么被丢弃，要么被粗暴转成文字导致语义严重失真。

RAG-Anything 是由香港大学 HKUDS 数据智能实验室开源的 All-in-One 多模态文档 RAG 框架（基于 LightRAG 构建），将文本、图像、表格、公式统一视为"关联的知识实体"，提供从解析→索引→跨模态检索→生成的全链路方案。

为什么需要 RAG-Anything

企业文档中 70% 以上的关键信息不在纯文本中，而主流 RAG 框架（LangChain、LlamaIndex、甚至 LightRAG）均以文本分块为核心假设：

图片 → 被忽略或仅做 OCR 转字（丢失视觉语义）
表格 → 平铺成字符串（丢失行列结构与数值关系）
公式 → 符号依赖断裂，无法参与推理

RAG-Anything 将多模态内容升级为一等公民（First-class Entity），在知识图谱层建立跨模态语义关联，让"图3所示的实验结果"能真正定位到那张图及其数据。

核心原理与架构

RAG-Anything 采用五阶段端到端多模态流水线：

文档解析（MinerU/Docling）
    ↓
内容理解与模态分类（文本/图/表/公式分路处理）
    ↓
多模态分析引擎（VLM看图、结构化表格解析、LaTeX公式解析）
    ↓
多模态知识图谱索引（跨模态实体+关系建图，双图结构）
    ↓
模态感知混合检索（向量相似度 + 图遍历融合）

关键创新点

🔗 多模态知识图谱（Dual-Graph）：同时维护文本语义图和跨模态关联图（文字↔图片↔表格↔公式），保留文档层级（belongs_to）与语义邻近关系。

🧠 专用模态处理器：图像调 VLM 生成描述+保留原图，表格解析行列语义，公式保留 LaTeX 精确表示。

🎯 跨模态混合检索：结构导航（图谱跳数）+ 语义匹配（Embedding）双路召回并融合排序。

AI 时代典型应用场景

场景	说明
🏦 金融研报分析	同时检索文字结论 + 图表趋势 + 财务表格数据
⚖️ 法律合同审查	关联正文条款与附表数据、附件扫描件
🔬 科研文献问答	自然语言查询公式推导过程、实验图表含义
🏭 制造质检	检索质检报告中的缺陷照片 + 超标数值记录
🏛️ 政务公文	统一解析含复杂版式、插图、附件的政策文档

核心优势

✅ 原生多模态支持 — 图像/表格/公式开箱即用，不需外接拼凑组件
✅ 高保真解析 — 集成 MinerU、Docling、PaddleOCR，保留文档结构
✅ 图谱增强推理 — 跨模态关系让回答有据可循，减少幻觉
✅ 灵活接入 — 支持直接注入预解析内容；兼容 FAISS/Milvus/Chroma + OpenAI/本地 LLM/VLM
✅ MIT 开源 + Python 栈 — 适合企业内网私有化部署，可与 vLLM + Qwen/DeepSeek 组合

与主流 RAG 平台对比

RAG-Anything 最大差异化在于——不做文本 RAG 的补丁，而是从知识表示层原生支持多模态，降低工程拼凑成本。

快速上手

pip install raganything

from raganything import RAGAnything

rag = RAGAnything(working_dir="./storage", ...)
await rag.process_document_complete(file_path="report.pdf")

answer = await rag.query_with_multimodal(
    "图3中的增长率是多少？对应的结论在正文哪段？"
)