程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
编程
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
2026-07-30 21:49:19 +0800 CST
view 153
深度拆解 LLM 推理服务的七层优化栈:PagedAttention 分页显存与写时复制、连续批处理消灭队头阻塞、前缀缓存命中率实操、Chunked Prefill 与 PD 分离决策、KV Cache 分层复用的拉取/重算临界点、投机解码加速比数学与失效场景、量化与并行选型。附大量可运行代码、压测骨架、调优顺序与七个常见误区。
LLM推理
vLLM
SGLang
PagedAttention
PD分离
KV Cache
前缀缓存
投机解码
Chunked Prefill
性能优化
Hermes Agent 深度实战:当AI智能体学会越用越聪明——从E-A-A-S闭环到生产级自进化系统的2026完全指南
编程
Hermes Agent 深度实战:当AI智能体学会越用越聪明——从E-A-A-S闭环到生产级自进化系统的2026完全指南
2026-06-26 00:43:59 +0800 CST
view 330
2026年2月Nous Research开源的Hermes Agent以惊人的速度席卷全球。本文深度解析其E-A-A-S闭环自进化系统、三层记忆架构、Tool Search机制,并提供完整的代码实战和生产部署指南。
Hermes Agent
自进化AI
E-A-A-S闭环
三层记忆架构
Tool Search
Nous Research
AI Agent框架
Token优化
croc 深度解剖:一条命令跨机器传文件——PAKE 密钥协商、Relay 中继架构与 Go 工程实现全解析
编程
croc 深度解剖:一条命令跨机器传文件——PAKE 密钥协商、Relay 中继架构与 Go 工程实现全解析
2026-07-25 15:43:43 +0800 CST
view 187
深度拆解 GitHub Trending 热门工具 croc:PAKE 密码认证密钥交换如何用弱口令协商强密钥、Relay 中继架构与多流并行传输原理,附 200 行 Go 实现 mini-croc 与自建 relay 生产实践。
croc
Go
PAKE
文件传输
端到端加密
P2P
Relay
ChaCha20
开源
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
编程
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
2026-07-07 16:15:25 +0800 CST
view 180
深入解析2026年大模型推理中的KV Cache优化技术栈:从PagedAttention虚拟分页管理、Prefix Caching缓存复用、Speculative Decoding并行验证,到INT8量化与Continuous Batching生产实践,配合代码示例与性能对比,助你系统性掌握LLM推理优化的核心要领。
LLM
KV Cache
PagedAttention
Prefix Caching
vLLM
推理优化
Speculative Decoding
AutoResearch 深度解析:当 Karpathy 让 AI 在单 GPU 上学会“自己做研究”——从 nanochat 训练到科研范式的原子革命
编程
AutoResearch 深度解析:当 Karpathy 让 AI 在单 GPU 上学会“自己做研究”——从 nanochat 训练到科研范式的原子革命
2026-04-14 15:26:51 +0800 CST
view 1024
630行Python代码,62K Stars,Karpathy新作AutoResearch如何让AI在单GPU上自主完成机器学习研究?深度解析其六阶段研究循环、异步调度架构和代码生成引擎。
AI
机器学习
AutoML
Karpathy
PyTorch
nanochat
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
编程
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
2026-07-02 13:46:08 +0800 CST
view 436
深度解析 LMCache 开源 KV Cache 管理层项目:从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南,含性能基准测试与代码实战
LMCache
KV Cache
LLM
vLLM
分布式
RDMA
Kubernetes
推理优化
Redis
NIXL
Spring AI 2.0 深度解析:Java 开发者终于有了自己的 AI Agent 基础设施
编程
Spring AI 2.0 深度解析:Java 开发者终于有了自己的 AI Agent 基础设施
2026-05-13 18:19:28 +0800 CST
view 1136
Spring AI 2.0 核心能力全面解析:统一 ChatClient API、Tool Calling 与 Java 方法打通、结构化输出自动映射、Advisors 切面机制、RAG 企业知识库、MCP 协议集成,以及与 LangChain4j 深度对比选型指南。
Spring AI,Java,AI Agent,ChatClient,Tool Calling,RAG,MCP,LangChain4j
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 203
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
语音智能体流水线深度拆解:VAD→STT→LLM→TTS 四级管线如何用开源模型复刻 OpenAI Realtime
编程
语音智能体流水线深度拆解:VAD→STT→LLM→TTS 四级管线如何用开源模型复刻 OpenAI Realtime
2026-08-01 09:43:09 +0800 CST
view 170
深度拆解 huggingface/speech-to-speech 本地语音智能体:VAD→STT→LLM→TTS 四级流水线架构、OpenAI Realtime 兼容协议、打断处理与延迟优化实战
语音智能体
speech-to-speech
VAD
STT
TTS
OpenAI Realtime
WebSocket
本地部署
AI Agent
流式处理
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 365
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
Kubernetes Workload API 深度拆解:当调度器终于承认「Pod 不是孤岛」——从四次外部造轮子到 kube-scheduler 原生 PodGroup 的一次调度内核手术
编程
Kubernetes Workload API 深度拆解:当调度器终于承认「Pod 不是孤岛」——从四次外部造轮子到 kube-scheduler 原生 PodGroup 的一次调度内核手术
2026-08-10 07:21:30 +0800 CST
view 86
深度拆解 KEP-4671 Workload/PodGroup API:gang scheduling 为何被外部造了四次轮子、Workload 与 PodGroup 从嵌套到解耦的自我否定、schedulingGroup 为何不可变、Workload Scheduling Cycle 如何改写 scheduleOne 主循环、PlacementFeasible 三态语义、DisruptionMode 与从节点泛化到域的抢占算法。含 YAML/Go 控制器/排查脚本/告警规则与十条踩坑。
Kubernetes
Gang Scheduling
Workload API
PodGroup
kube-scheduler
云原生
AI训练
DRA
抢占
调度器
Odysseus 深度实战:当 YouTuber 之王用 Python 重写「AI 工作台」——从 FastAPI 微服务到 MCP Agent 与 ChromaDB 记忆系统的生产级完全指南(2026)
编程
Odysseus 深度实战:当 YouTuber 之王用 Python 重写「AI 工作台」——从 FastAPI 微服务到 MCP Agent 与 ChromaDB 记忆系统的生产级完全指南(2026)
2026-06-14 15:50:01 +0800 CST
view 491
深度剖析 PewDiePie 开源的 Odysseus 自托管 AI 工作空间:从 FastAPI 微服务架构到 MCP Agent 系统与 ChromaDB 记忆系统,含完整部署实战与性能优化指南
Odysseus
self-hosted
AI workspace
FastAPI
MCP
ChromaDB
Agent
自托管
本地AI
Deep Research
Kubernetes 1.36 原生 Gang 调度深度拆解:PodGroup/Workload API 如何终结 AI 训练的「半个作业」困局
编程
Kubernetes 1.36 原生 Gang 调度深度拆解:PodGroup/Workload API 如何终结 AI 训练的「半个作业」困局
2026-08-02 02:51:55 +0800 CST
view 148
从一个 8 卡训练任务的调度死锁讲起,拆解 Kubernetes 1.36 原生 Gang 调度(PodGroup/Workload API)的设计取舍、调度框架扩展点源码实现、DRA 不支持抢占带来的优先级反转,以及生产落地的选型清单与性能调优方法。
Kubernetes
Gang Scheduling
DRA
kube-scheduler
AI训练
云原生
MemPalace 深度实战:当 AI Agent 学会「永久记忆」——从三层宫殿架构到 96.6% 召回率的工程完全指南(2026)
编程
MemPalace 深度实战:当 AI Agent 学会「永久记忆」——从三层宫殿架构到 96.6% 召回率的工程完全指南(2026)
2026-06-14 20:20:25 +0800 CST
view 391
MemPalace 深度实战:全量原文存储的 AI 记忆系统,96.6% LongMemEval 召回率,零 API 依赖。从三层宫殿架构到四层记忆栈,29 个 MCP 工具完整解析,性能优化从 3 秒到 50ms。
AI Agent
Memory System
MemPalace
MCP
Claude Code
ChromaDB
Vector Search
Chaos Engineering 深度实战:从 Netflix Simian Army 到 Litmus/Chaos Mesh——构建生产级韧性系统的完全指南(2026)
编程
Chaos Engineering 深度实战:从 Netflix Simian Army 到 Litmus/Chaos Mesh——构建生产级韧性系统的完全指南(2026)
2026-06-28 05:43:09 +0800 CST
view 342
深度解析混沌工程原理与实战,从Netflix Simian Army到Litmus/Chaos Mesh,涵盖架构分析、代码实战、CI/CD集成与生产级最佳实践,附完整可运行示例。
Chaos Engineering
Litmus
Chaos Mesh
Kubernetes
云原生
可靠性工程
SRE
故障注入
韧性系统
DevOps
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 173
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
Gemma MacOS Tuner 深度解析:在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma
编程
Gemma MacOS Tuner 深度解析:在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma
2026-04-09 01:14:39 +0800 CST
view 1338
详解 gemma-tuner-multimodal 项目:在 Apple Silicon 上通过 PyTorch MPS 后端对 Google Gemma 系列模型进行 LoRA 微调,支持文本、图像、音频三种模态,完全本地运行,数据不出机器,零 NVIDIA GPU 依赖。
Gemma
Apple Silicon
PyTorch
MPS
LoRA
微调
Machine Learning
Agent Lightning 深度解析:微软如何用零代码改造让 AI Agent 实现自我进化
编程
Agent Lightning 深度解析:微软如何用零代码改造让 AI Agent 实现自我进化
2026-04-18 15:12:54 +0800 CST
view 782
深入剖析微软开源项目 Agent Lightning 的技术架构,详解零代码接入、多框架兼容、强化学习训练等核心特性
AI Agent
强化学习
LangChain
AutoGen
微软
开源
Scrapling 深度解析:下一代自适应 Python 爬虫框架——从反反爬到大规模并发抓取、从 Cloudflare 绕过到智能元素定位的完整技术指南(2026)
编程
Scrapling 深度解析:下一代自适应 Python 爬虫框架——从反反爬到大规模并发抓取、从 Cloudflare 绕过到智能元素定位的完整技术指南(2026)
2026-07-04 20:11:27 +0800 CST
view 615
深度解析 Scrapling 自适应 Python 爬虫框架:从 Fetcher/StealthyFetcher/DynamicFetcher 三大抓取引擎,到自适应解析引擎的元素自愈能力,从 Cloudflare 绕过到大规模并发 Spider 框架,完整代码实战与生产级部署指南。
Scrapling
Python爬虫
自适应爬虫
反反爬
Cloudflare绕过
StealthyFetcher
Web Scraping
数据采集
Agent Lightning 深度解析:零代码如何让任何框架的 AI Agent 实现自我进化
编程
Agent Lightning 深度解析:零代码如何让任何框架的 AI Agent 实现自我进化
2026-04-18 15:13:12 +0800 CST
view 703
深入剖析微软开源项目 Agent Lightning 的技术架构,详解零代码接入、多框架兼容、强化学习训练等核心特性
AI Agent
强化学习
LangChain
AutoGen
微软
开源
从OpenClaw到Hermes Agent:两款爆火开源AI Agent的对决与深层技术哲学
编程
从OpenClaw到Hermes Agent:两款爆火开源AI Agent的对决与深层技术哲学
2026-04-18 16:15:01 +0800 CST
view 675
深度解析OpenClaw与Hermes Agent的功能差异与底层架构:Skill体系谁按下启动键、记忆系统谁在替谁记事、上下文管理的确定性优先哲学,以及两者背后的干预递减光谱与自动化控制权之争。
AI Agent
OpenClaw
Hermes
NousResearch
Skill系统
记忆系统
自进化
GitHub
开源
技术哲学
Hermes Agent 深度实战:自我进化的 AI Agent 架构与生产级实践——从 NousResearch 15万星项目中看 AI 编程伙伴的新范式
编程
Hermes Agent 深度实战:自我进化的 AI Agent 架构与生产级实践——从 NousResearch 15万星项目中看 AI 编程伙伴的新范式
2026-05-22 13:17:11 +0800 CST
view 754
深入解析 NousResearch 开源的 Hermes Agent(15.5万星)六层架构、三层记忆系统、Skills 七阶段进化闭环,包含完整源码解析和 8 种部署方案对比
AI Agent
Hermes Agent
NousResearch
自我进化
记忆系统
百度 Unlimited OCR 深度技术解析:端到端多模态OCR模型架构与R-SWA注意力机制详解
编程
百度 Unlimited OCR 深度技术解析:端到端多模态OCR模型架构与R-SWA注意力机制详解
2026-07-05 02:43:03 +0800 CST
view 354
深入解析百度Unlimited OCR的核心技术:R-SWA注意力机制如何将KV Cache压成常数,DeepEncoder+MoE解码器架构,以及长文档OCR的完整解决方案。
OCR
百度
深度学习
Transformer
KV Cache
端到端
多模态
文档解析
Kimi K2.6 开源深度测评:国产模型首次登顶全球代码榜首,开发者必须知道的那些事
编程
Kimi K2.6 开源深度测评:国产模型首次登顶全球代码榜首,开发者必须知道的那些事
2026-04-28 15:51:45 +0800 CST
view 1328
2026年4月20日月之暗面发布Kimi K2.6,在SWE-Bench Pro拿下58.6分首次超越GPT-5.4和Claude Opus 4.6。本文从技术架构、代码实测、API集成、性能优化、工具链集成等维度进行深度测评。
AI大模型
代码工具
Kimi
月之暗面
开源模型
SWE-Bench
开发者工具
代码审查
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
18
下一页