程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 782
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
vLLM vs SGLang 深度拆解:当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南(2026)
编程
vLLM vs SGLang 深度拆解:当推理引擎分道扬镳——从 PagedAttention 到 RadixAttention 的架构革命与选型决策指南(2026)
2026-08-14 07:12:45 +0800 CST
view 99
深度拆解 vLLM 与 SGLang 两大推理框架:从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用,从 Continuous Batching 到压缩有限状态机,配完整性能对比数据与 15 条生产踩坑清单。
vLLM
SGLang
大模型推理
PagedAttention
RadixAttention
KV Cache
高性能计算
LLM部署
vLLM vs SGLang 深度拆解:从 PagedAttention 到 RadixAttention 的架构革命(2026实战指南)
编程
vLLM vs SGLang 深度拆解:从 PagedAttention 到 RadixAttention 的架构革命(2026实战指南)
2026-08-14 07:13:18 +0800 CST
view 228
深度拆解 vLLM 与 SGLang 两大推理框架:从 PagedAttention 分页内存管理到 RadixAttention 前缀树复用,从 Continuous Batching 到压缩有限状态机,配完整性能对比数据与 15 条生产踩坑清单。
vLLM
SGLang
大模型推理
PagedAttention
RadixAttention
KV Cache
高性能计算
LLM部署
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
编程
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
2026-07-13 05:12:59 +0800 CST
view 344
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎:从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署,配可直接运行的生产级代码与基准测试。
vLLM
SGLang
LLM推理
大模型部署
PagedAttention
RadixAttention
HuggingFace ml-intern 深度实战:一个命令让 AI 读论文、训模型、推到 Hub——ML 工程自动化的端到端革命(2026)
编程
HuggingFace ml-intern 深度实战:一个命令让 AI 读论文、训模型、推到 Hub——ML 工程自动化的端到端革命(2026)
2026-06-04 08:41:56 +0800 CST
view 822
HuggingFace ml-intern 深度实战解析:从架构原理到代码实战,完整拆解这个能自主读论文、训模型、推送到 Hub 的 AI 实习生项目。
HuggingFace
ml-intern
AI Agent
机器学习
开源项目
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
编程
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
2026-08-14 17:45:25 +0800 CST
view 136
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,从源码到生产部署,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
编程
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
2026-08-14 17:46:24 +0800 CST
view 132
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
LLM 推理引擎 2026 终极对决:vLLM、SGLang、TensorRT-LLM、LMDeploy 谁才是你的最优解?
编程
LLM 推理引擎 2026 终极对决:vLLM、SGLang、TensorRT-LLM、LMDeploy 谁才是你的最优解?
2026-08-16 07:15:42 +0800 CST
view 148
深度拆解四大主流LLM推理引擎——vLLM、SGLang、TensorRT-LLM、LMDeploy——从核心架构、关键技术、性能基准到选型决策,配完整代码实战,帮你找到最适合业务场景的最优解。
LLM推理
vLLM
SGLang
TensorRT-LLM
LMDeploy
PagedAttention
RadixAttention
性能优化
大模型部署
SGLang 深度实战:新一代 LLM 编程与推理框架——从 RadixAttention 原理到 Agent 系统生产部署
编程
SGLang 深度实战:新一代 LLM 编程与推理框架——从 RadixAttention 原理到 Agent 系统生产部署
2026-05-06 17:37:39 +0800 CST
view 876
深度解析 SGLang 推理框架的 RadixAttention 原理、DSL 编程范式、正则约束解码,以及在 Agent 系统和多轮对话场景的生产部署实践。
SGLang
LLM
推理加速
Agent
RadixAttention
结构化生成
MCP 深度拆解:当 AI Agent 学会「插拔」——Model Context Protocol 如何用 JSON-RPC 2.0 重写 AI 工具调用的心智模型
编程
MCP 深度拆解:当 AI Agent 学会「插拔」——Model Context Protocol 如何用 JSON-RPC 2.0 重写 AI 工具调用的心智模型
2026-07-15 09:42:17 +0800 CST
view 314
从工程师视角深度拆解 MCP 协议:三大核心原语、传输层机制(stdio/SSE)、Python/TypeScript SDK 实战、生产架构设计,以及它对 AI Agent 生态的深远影响。
MCP
Model Context Protocol
JSON-RPC
AI Agent
Tool Calling
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 282
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
vLLM vs SGLang 深度横评:当 PagedAttention 遇上 RadixAttention——LLM 推理框架选型完全指南
编程
vLLM vs SGLang 深度横评:当 PagedAttention 遇上 RadixAttention——LLM 推理框架选型完全指南
2026-08-18 11:46:32 +0800 CST
view 93
深度横评 vLLM 和 SGLang 两大主流 LLM 推理框架,剖析 PagedAttention 和 RadixAttention 的核心原理,对比性能差异、显存效率、适用场景,并提供生产环境部署实战指南。
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
深度学习
性能优化
框架横评
AI Agent长期记忆工程实战:从语义向量到生产级记忆系统的完整落地
编程
AI Agent长期记忆工程实战:从语义向量到生产级记忆系统的完整落地
2026-06-29 04:44:18 +0800 CST
view 436
深入探讨如何为AI Agent构建持久化、可检索、分层管理的长期记忆系统,从向量数据库选型到LangChain生产级集成,附带完整Python代码。
AI Agent
长期记忆
向量数据库
Qdrant
LangChain
OpenTelemetry 2026 深度解析:可观测性的统一标准,从 Tracing 到 Logging 全覆盖
编程
OpenTelemetry 2026 深度解析:可观测性的统一标准,从 Tracing 到 Logging 全覆盖
2026-05-15 05:55:41 +0800 CST
view 876
OpenTelemetry 2026 基于 OTLP 统一协议实现 Traces + Metrics + Logs 一体化采集,Auto-Instrumentation 支持 Java/Python/Node.js 无需修改代码。深度解析 OpenTelemetry Collector 架构、生产部署实战、与 Jaeger/Prometheus/Loki 集成。
OpenTelemetry,可观测性,Tracing,Metrics,Logs,Kubernetes
OpenTelemetry 2.0 深度拆解:从「三大支柱」到「四位一体」——Continuous Profiling 时代工程师生存指南
编程
OpenTelemetry 2.0 深度拆解:从「三大支柱」到「四位一体」——Continuous Profiling 时代工程师生存指南
2026-08-12 10:15:53 +0800 CST
view 165
> 本文聊聊 OpenTelemetry 2.0 路线图、Continuous Profiling 工程化落地,以及 2026 年可观测性领域最值得关注的三个范式迁移。配 Go/Python/TypeScript 完整代码实战,以及生产踩坑清单。 过去十年,Metrics(指标)、Logging(日志)、Tracing(追踪)被并称为可观测性的"三大支柱"。这个框架由 Google SRE Book 推广,被 Prometheus 社区和 CNCF 生态广泛采纳,几乎成了某种行业公理。 但这个框架有一个根本
OpenTelemetry
OTel 2.0
Continuous Profiling
eBPF
云原生
可观测性
Go
Python
Java
Qdrant 1.19 深度拆解:当向量数据库把内存成本「榨」到极限——从 HNSW 图、TurboQuant 量化到内存分层与分布式 Raft 的全链路实战
编程
Qdrant 1.19 深度拆解:当向量数据库把内存成本「榨」到极限——从 HNSW 图、TurboQuant 量化到内存分层与分布式 Raft 的全链路实战
2026-08-19 02:14:48 +0800 CST
view 83
深度拆解 Qdrant 1.19:从 HNSW 分层可导航小世界图、TurboQuant 混合量化、Memory Tiers 内存分层到 Raft 分布式与原地过滤,配可运行代码与生产调优清单。
Qdrant
向量数据库
HNSW
TurboQuant
量化
RAG
内存分层
分布式
Rust
近似最近邻
Web Components 微前端架构实战:从浏览器原生能力到生产级落地的全链路拆解
编程
Web Components 微前端架构实战:从浏览器原生能力到生产级落地的全链路拆解
2026-08-11 06:46:05 +0800 CST
view 158
深度拆解 Web Components 微前端架构:Custom Elements、Shadow DOM、Form Associated、Declarative Shadow DOM 全链路实战,包含 Shell 应用设计、跨框架通信、事件总线、共享组件库、性能优化与踩坑清单。
Web Components
微前端
Shadow DOM
Custom Elements
前端架构
PydanticAI 深度实战:当 Python 类型系统遇见 AI Agent——从类型安全到生产级智能体工程完全指南(2026)
编程
PydanticAI 深度实战:当 Python 类型系统遇见 AI Agent——从类型安全到生产级智能体工程完全指南(2026)
2026-06-21 13:24:53 +0800 CST
view 388
PydanticAI深度实战:类型安全+依赖注入+评估驱动开发,从零构建生产级AI Agent,含完整代码示例和性能优化策略。
PydanticAI
Python
AI Agent
类型安全
生产级
LLM
Claude Code 多智能体协作深度拆解:当编程工具从「独行侠」进化成「AI 工程队」
编程
Claude Code 多智能体协作深度拆解:当编程工具从「独行侠」进化成「AI 工程队」
2026-08-12 16:15:11 +0800 CST
view 134
深度拆解Claude Code 2026年8月8日重大更新:Auto Mode(AI自审安全机制)与跨会话消息传递(多Agent协作),涵盖底层架构、安全原理、工程实现与15条生产踩坑清单。
Claude Code
AI编程
多智能体
Auto Mode
跨会话消息
Anthropic
AI Agent
安全审查
工程实践
FinceptTerminal 深度实战:当 C++20 遇见金融终端——从 Qt6 原生渲染到 37 个 AI 智能体、从 QuantLib 定价引擎到 16 家券商直连的生产级完全指南(2026)
编程
FinceptTerminal 深度实战:当 C++20 遇见金融终端——从 Qt6 原生渲染到 37 个 AI 智能体、从 QuantLib 定价引擎到 16 家券商直连的生产级完全指南(2026)
2026-06-21 16:55:33 +0800 CST
view 557
深度解析开源金融终端FinceptTerminal:C++20+Qt6原生UI、内嵌Python量化引擎、37个AI智能体多角度分析、QuantLib定价、16家券商直连、零拷贝行情架构的完整实战指南
C++
Qt6
金融终端
量化交易
AI Agent
FinceptTerminal
QuantLib
Python
期权定价
开源
PydanticAI 深度拆解:当 Python 决定「干掉 LangChain」——一个 26K Star 的 AI Agent 框架如何用类型安全重新定义智能体开发的工程哲学
编程
PydanticAI 深度拆解:当 Python 决定「干掉 LangChain」——一个 26K Star 的 AI Agent 框架如何用类型安全重新定义智能体开发的工程哲学
2026-08-04 04:21:25 +0800 CST
view 170
深度拆解PydanticAI 26K Star AI Agent框架:类型驱动设计、RunContext依赖注入、结构化输出自动校验重试、MCP原生集成、多供应商模型抽象,附完整生产级代码示例与性能基准对比
PydanticAI
AI Agent
Python
类型安全
结构化输出
MCP
依赖注入
LLM
Anthropic Claude Science深度解析:多智能体架构如何重塑科研工作流
编程
Anthropic Claude Science深度解析:多智能体架构如何重塑科研工作流
2026-07-05 06:14:18 +0800 CST
view 404
深入解析Anthropic Claude Science的技术架构与工程实现,探讨多智能体协作如何重塑科研工作流。
AI
多智能体
Claude
Anthropic
科研工具
Agent架构
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
编程
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
2026-07-23 08:13:30 +0800 CST
view 415
2026年四大主流大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从核心技术优化、吞吐量延迟、算力成本、部署适配性四大维度开展极致测评,为企业技术选型提供精准参考。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
PagedAttention
FlashAttention
量化推理
GPU推理优化
MCP 协议史上最大修订:2026年从AI工具调用协议到生产级智能体基础设施的蜕变
编程
MCP 协议史上最大修订:2026年从AI工具调用协议到生产级智能体基础设施的蜕变
2026-07-23 09:14:29 +0800 CST
view 357
深度解析MCP协议2026-07-28候选规范:OIDC身份认证、W3C分布式追踪、多Agent协作协议、声明式扩展、Policy Engine与审计日志,从工具调用协议到生产级智能体基础设施的完整蜕变
MCP
Model Context Protocol
AI Agent
智能体协议
OpenID Connect
分布式追踪
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
16
17
18
19
20
...
140
下一页