程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 369
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 140
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
编程
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
2026-04-10 00:14:55 +0800 CST
view 1732
深度解析 caveman 开源项目:一个让 Claude Code 用「穴居人语言」说话的 skill,砍掉 75% Token 消耗同时保持 100% 技术准确率。
Claude Code
Token优化
AI编程
Prompt Engineering
LLM效率
开源工具
程序员工具
代码审查
TradingAgents 深度拆解:当多智能体决定「干掉华尔街交易员」——一个 85K Star 的开源框架如何用 7 个 AI 角色模拟真实交易公司的决策流程
编程
TradingAgents 深度拆解:当多智能体决定「干掉华尔街交易员」——一个 85K Star 的开源框架如何用 7 个 AI 角色模拟真实交易公司的决策流程
2026-08-04 11:45:05 +0800 CST
view 133
深度拆解85K Star开源多智能体金融交易框架TradingAgents:7个AI角色模拟真实交易公司、LangGraph状态图编排、结构化辩论消除幻觉、独立风险管理,附完整代码示例与性能基准对比
TradingAgents
多智能体
LangGraph
金融交易
AI Agent
LLM
量化交易
开源
TradingAgents 深度拆解:当 UCLA 决定「用 7 个 AI 打造一个华尔街」——多智能体 LLM 交易框架如何用结构化辩论和角色分工重新定义量化交易的终极形态
编程
TradingAgents 深度拆解:当 UCLA 决定「用 7 个 AI 打造一个华尔街」——多智能体 LLM 交易框架如何用结构化辩论和角色分工重新定义量化交易的终极形态
2026-08-05 01:45:55 +0800 CST
view 140
深度拆解UCLA开源多智能体LLM交易框架TradingAgents:7个专业化AI Agent模拟华尔街完整决策链,结构化辩论机制、角色分工架构、LangGraph实现,累计回报23.21%、夏普比率8.21,全面碾压传统量化策略
TradingAgents
多智能体
LLM
量化交易
LangGraph
金融AI
开源
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14 +0800 CST
view 653
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
TradingAgents 深度拆解:当 AI 决定「用多智能体模拟一整家华尔街交易公司」——从 LangGraph 图引擎到多空辩论机制,一个 31.9K Star 的开源框架如何用「七个角色吵出一个交易决策」重新定义金融 AI 的终极形态
编程
TradingAgents 深度拆解:当 AI 决定「用多智能体模拟一整家华尔街交易公司」——从 LangGraph 图引擎到多空辩论机制,一个 31.9K Star 的开源框架如何用「七个角色吵出一个交易决策」重新定义金融 AI 的终极形态
2026-08-05 20:46:07 +0800 CST
view 90
深度拆解TradingAgents多智能体金融交易框架:7个AI角色模拟华尔街交易公司、LangGraph图引擎编排、多空辩论机制、多数据源集成、68.5%准确率,附完整代码实战与生产部署指南
TradingAgents
Multi-Agent
LLM
金融交易
LangGraph
AI Agent
开源
量化交易
多智能体
Tauric Research
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
编程
TradingAgents 深度解析:63K Star 的多智能体金融交易框架——从架构设计到 LLM 协作的全链路技术实战
2026-05-04 07:54:03 +0800 CST
view 584
深度解析 63K Star 的 TradingAgents 多智能体金融交易框架,从架构设计、LLM 协作机制、多空辩论到实战部署的全链路技术实战
TradingAgents
多智能体
LLM
量化交易
LangGraph
金融科技
Python
ReAct 框架深度解析:AI Agent 的「思考-行动-观察」循环,从字符串解析到原生 Tool Calling 的演进
编程
ReAct 框架深度解析:AI Agent 的「思考-行动-观察」循环,从字符串解析到原生 Tool Calling 的演进
2026-05-14 01:14:23 +0800 CST
view 705
ReAct框架是AI Agent的核心架构范式,通过Thought-Action-Observation循环实现智能推理与行动。本文深度解析其从字符串解析到原生Tool Calling的演进历程、LangGraph状态机架构、代码实战及最佳实践。
ReAct,AI Agent,TAO循环,Function Calling,LangGraph,大语言模型,深度学习,Python,机器学习,智能体
万字深度解析 Understand-Anything:当代码库遇见知识图谱革命——从Tree-sitter解析到LLM语义理解、从7个专业Agent到15平台一键集成的完整技术指南(2026)
编程
万字深度解析 Understand-Anything:当代码库遇见知识图谱革命——从Tree-sitter解析到LLM语义理解、从7个专业Agent到15平台一键集成的完整技术指南(2026)
2026-07-03 00:44:41 +0800 CST
view 350
深度解析Understand-Anything代码知识图谱工具:Tree-sitter+LLM双引擎、7专业Agent并行流水线、三种知识图谱视图、15平台集成,含完整实战指南
Understand-Anything
Code Knowledge Graph
Tree-sitter
LLM
Agent
Code Analysis
Knowledge Graph
AI Coding
Andrej Karpathy Skills 深度实战:用CLAUDE.md让AI遵守工程纪律告别四大编程陷阱
编程
Andrej Karpathy Skills 深度实战:用CLAUDE.md让AI遵守工程纪律告别四大编程陷阱
2026-06-28 03:45:41 +0800 CST
view 425
深度解析 Andrej Karpathy Skills 如何通过一份 CLAUDE.md 文件让 Claude Code 等 AI 编程助手遵守软件工程纪律,告别过度复杂化、跳过测试、乱改代码等四大编程陷阱。
Andrej Karpathy Skills
CLAUDE.md
AI编程
软件工程
Prompt Engineering
60行配置文件斩获5万星:Karpathy如何用四条原则终结AI编程的混乱时代
编程
60行配置文件斩获5万星:Karpathy如何用四条原则终结AI编程的混乱时代
2026-04-18 14:44:57 +0800 CST
view 1254
andrej-karpathy-skills项目60行CLAUDE.md文件斩获54k星标,四条原则Think Before Coding、Simplicity First、Surgical Changes、Goal-Driven Execution如何终结AI编程的混乱时代
AI编程
Claude Code
Prompt Engineering
LLM
软件工程
pi-mono 深度拆解:libGDX 作者的 4 万 Star AI Agent 全家桶,不到 1000 token 的 System Prompt 凭什么成为 OpenClaw 的引擎
编程
pi-mono 深度拆解:libGDX 作者的 4 万 Star AI Agent 全家桶,不到 1000 token 的 System Prompt 凭什么成为 OpenClaw 的引擎
2026-07-28 05:13:25 +0800 CST
view 256
深度拆解 libGDX 作者 badlogic 的 4 万 Star 项目 pi-mono:7 包 Monorepo 架构、pi-ai 统一 LLM 层、不到 1000 token 的极简 System Prompt 与学徒哲学,附自定义工具实战与 Claude Code/Codex 对比选型。
pi-mono
AI Agent
Coding Agent
TypeScript
LLM
开源
OpenClaw
开发者工具
vLLM
终端工具
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
编程
SGLang深度解析:RadixAttention架构下的大模型推理革命——从零到生产的高性能LLM服务框架实战指南
2026-07-05 18:13:38 +0800 CST
view 500
深度解析SGLang高性能大模型推理框架:RadixAttention自动前缀缓存、零开销C++调度器、PD分离架构、多LoRA批处理、推测解码。含完整代码实战与vLLM/TensorRT-LLM对比。
SGLang
RadixAttention
LLM
推理引擎
大模型
vLLM
GPU
高并发
AI基础设施
性能优化
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18 +0800 CST
view 332
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15 +0800 CST
view 391
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37 +0800 CST
view 193
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
编程
LLM推理引擎全栈优化实战:从PagedAttention到投机解码,榨干GPU的每一滴算力
2026-05-17 10:21:56 +0800 CST
view 677
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
编程
万字深度:PagedAttention、连续批处理与投机解码——LLM推理优化七层实战
2026-05-17 10:22:13 +0800 CST
view 707
深度拆解LLM推理引擎核心技术栈:PagedAttention消除内存碎片、连续批处理榨干GPU算力、NUMA感知调度、混合精度量化、投机解码加速、算子融合、分布式推理架构,附代码示例与性能数据
LLM
vLLM
PagedAttention
推理优化
量化
投机解码
ContinuousBatching
GPU
万字深度解析 Andrej Karpathy Skills:当 AI 编程遇见行为约束——从 CLAUDE.md 四原则到生产级 AI 编码工作流的工程化实践(2026)
编程
万字深度解析 Andrej Karpathy Skills:当 AI 编程遇见行为约束——从 CLAUDE.md 四原则到生产级 AI 编码工作流的工程化实践(2026)
2026-07-01 05:13:58 +0800 CST
view 326
2026年Andrej Karpathy Skills在GitHub狂揽11.7万Star。深度解析CLAUDE.md四核心原则:先思考再编码、简洁性优先、精准修改、目标驱动执行,以及生产级AI编程工作流工程化实践。
Andrej Karpathy Skills
CLAUDE.md
AI编程
Vibe Coding
LLM
行为约束
AI Agent
Cursor
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
编程
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
2026-07-13 05:12:59 +0800 CST
view 250
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎:从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署,配可直接运行的生产级代码与基准测试。
vLLM
SGLang
LLM推理
大模型部署
PagedAttention
RadixAttention
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
2026-07-02 08:42:52 +0800 CST
view 350
深度解析 LMCache 开源项目:LLM 推理 KV 缓存管理层,涵盖架构设计、多级存储、Multiprocess 模式、非前缀复用、PD 拆分等核心技术,15+ 可运行代码示例。
LMCache
LLM推理
KV缓存
vLLM
SGLang
AI推理优化
GPU优化
分布式缓存
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
编程
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
2026-07-20 17:18:01 +0800 CST
view 293
深度解析SGLang推理框架核心技术:RadixAttention基数树KV缓存、连续批处理与CPU-GPU调度重叠、约束解码结构化输出、CVE-2026-5760安全漏洞修复、生产部署实战,以及与vLLM的完整对比选型指南。
SGLang
LLM
RadixAttention
PagedAttention
推理优化
Python
深度学习
向量检索
Agent
RAG
vLLM
CVE
Rust
高性能计算
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 185
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
25
26
27
28
29
...
63
下一页