程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 8
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37 +0800 CST
view 163
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
编程
vLLM 深度实战:当 LLM 推理遇上 PagedAttention——从 KV 缓存管理到生产级高并发服务的完全指南(2026)
2026-06-08 22:52:24 +0800 CST
view 659
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
编程
2026 年 vLLM 推理服务实战:PagedAttention 原理、分布式部署与性能调优完全指南
2026-06-08 22:53:03 +0800 CST
view 398
深度解析vLLM推理框架的核心原理、PagedAttention创新机制、分布式推理架构,以及生产环境部署的最佳实践。
vLLM
PagedAttention
LLM推理
KV缓存
分布式推理
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
编程
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
2026-05-09 03:39:58 +0800 CST
view 695
深度解析分布式 LLM 推理架构,从 vLLM 单节点到 llm-d 多集群的生产级演进。涵盖推理引擎层、编排调度层、Kubernetes 多机多卡部署实战、性能优化技巧及成本优化策略。
LLM
vLLM
分布式推理
Kubernetes
Ray
推理引擎
万字深度解析 A2A 协议:当 AI Agent 遇见「巴别塔解决方案」——从 Agent Card 发现机制到 Task 生命周期管理、从 JSON-RPC 2.0 到 SSE 流式推送的完整技术指南(2026)
编程
万字深度解析 A2A 协议:当 AI Agent 遇见「巴别塔解决方案」——从 Agent Card 发现机制到 Task 生命周期管理、从 JSON-RPC 2.0 到 SSE 流式推送的完整技术指南(2026)
2026-07-03 01:12:57 +0800 CST
view 342
深度解析 Google A2A 协议:从 Agent Card 发现机制、Task 生命周期管理、JSON-RPC 2.0 消息格式到 SSE 流式推送,含完整 Python 实战代码,以及与 MCP/ACP/ANP 协议的深度对比。
A2A协议
Agent-to-Agent
AI Agent 协作
JSON-RPC 2.0
Task 生命周期
Agent Card
多智能体
SSE 流式推送
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18 +0800 CST
view 282
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15 +0800 CST
view 330
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
编程
LLM 推理服务引擎深度拆解:从 PagedAttention 到 PD 分离,把 GPU 榨干的七层优化栈
2026-07-30 21:49:19 +0800 CST
view 73
深度拆解 LLM 推理服务的七层优化栈:PagedAttention 分页显存与写时复制、连续批处理消灭队头阻塞、前缀缓存命中率实操、Chunked Prefill 与 PD 分离决策、KV Cache 分层复用的拉取/重算临界点、投机解码加速比数学与失效场景、量化与并行选型。附大量可运行代码、压测骨架、调优顺序与七个常见误区。
LLM推理
vLLM
SGLang
PagedAttention
PD分离
KV Cache
前缀缓存
投机解码
Chunked Prefill
性能优化
template-vue3-gin-fullstack:Vue3+Go Gin前后端分离全栈项目模板,开箱即用
案例
template-vue3-gin-fullstack:Vue3+Go Gin前后端分离全栈项目模板,开箱即用
2026-05-09 10:27:01 +0800 CST
view 537
template-vue3-gin-fullstack:一款基于Vue3+Go Gin的前后端分离全栈项目模板。技术栈涵盖Vue3.4+TypeScript5+Vite5+Pinia+TailwindCSS前端,以及Go1.22+Gin1.9+GORM+PostgreSQL+Redis+JWT+Zap后端。目录分层清晰(Handler/Service/Repository),JWT认证、Swagger文档、GitHub Actions CI/CD全部配好,clone即可开写业务代码。
全栈模板
Vue3
Go Gin
前后端分离
TypeScript
项目架构
CI/CD
GitHub Actions
PostgreSQL
Redis
JWT
综合
前后端分离:fastapi-vue-admin的探索
2024-11-18 09:45:11 +0800 CST
view 2999
本文探讨了`fastapi-vue-admin`作为一套开源快速开发平台的技术选型与优势,后端采用FastAPI、Swagger、Pydantic和SQLAlchemy,前端基于Vue3、AntDesignVue、TypeScript和Vite。该平台支持OAuth2权限认证和RBAC权限架构,适用于中后台解决方案,提供了高效的开发体验和良好的可维护性。
前后端分离
快速开发
开源框架
技术选型
权限管理
Apache Doris 4.1 深度拆解:当实时数仓长出 AI 大脑——从向量检索到统一数据底座的全链路技术实战
编程
Apache Doris 4.1 深度拆解:当实时数仓长出 AI 大脑——从向量检索到统一数据底座的全链路技术实战
2026-05-02 10:33:28 +0800 CST
view 732
深入拆解Apache Doris 4.1的技术内核:从FE/BE架构到存算分离、从原生向量检索到混合搜索、从RAG实战到生产部署,全方位解析实时数仓如何演化为AI时代统一数据底座
Apache Doris
向量检索
实时数仓
RAG
存算分离
OLAP
AI数据库
GreptimeDB 深度拆解:从「三套系统」到 Observability 2.0 —— Rust 列存引擎、存算分离架构与宽事件统一查询实战
编程
GreptimeDB 深度拆解:从「三套系统」到 Observability 2.0 —— Rust 列存引擎、存算分离架构与宽事件统一查询实战
2026-07-31 07:44:49 +0800 CST
view 78
深度拆解 GreptimeDB:一个用 Rust 编写的 Observability 2.0 数据库,统一存储指标、日志、链路。详解宽事件模型、列存引擎、存算分离架构、Flow 流处理引擎,以及从 Prometheus+Loki 迁移实战。
GreptimeDB
可观测性
Rust
时序数据库
OpenTelemetry
列存引擎
存算分离
云原生
MTools:免费开源的本地 AI 工具集,一个顶好几个
编程
MTools:免费开源的本地 AI 工具集,一个顶好几个
2026-05-13 17:55:20 +0800 CST
view 499
MTools是一款完全本地运行的开源AI工具集,集成抠图、证件照制作、人声分离、音频转文字、视频插帧、超分辨率等功能,保护隐私且不限次数使用。
AI工具
本地运行
开源软件
图像处理
音频处理
视频处理
人声分离
抠图工具
从零搭建网易云精简版:Vue + Spring Boot 音乐网站全解析
编程
从零搭建网易云精简版:Vue + Spring Boot 音乐网站全解析
2026-07-14 11:36:53 +0800 CST
view 171
music-website是基于Vue+Spring Boot+MyBatis的开源音乐网站项目,前后端分离架构,支持音频播放/歌词同步/歌单管理,附AI智能推荐/AIGC歌词/语音搜索/智能客服进阶方向,适合全栈练手和简历项目。
Vue
Spring Boot
音乐网站
全栈
MyBatis
MySQL
前后端分离
开源
AI推荐
Apache Flink 2.0 深度解析:9 年磨一剑的实时数据革命,从 API 大清洗到存算分离
编程
Apache Flink 2.0 深度解析:9 年磨一剑的实时数据革命,从 API 大清洗到存算分离
2026-05-15 06:14:26 +0800 CST
view 663
Flink 2.0是9年来首次大版本更新,核心API大清洗、存算分离状态管理、物化表、批作业自适应执行、Flink Agents流式AI Agent,完整迁移实战与性能基准测试。
Flink
流处理
存算分离
实时数据
Flink Agents
Neon 深度拆解:Serverless Postgres 的存储计算分离架构——从 Safekeeper 到 Pageserver,手写一个生产级分支数据库引擎
编程
Neon 深度拆解:Serverless Postgres 的存储计算分离架构——从 Safekeeper 到 Pageserver,手写一个生产级分支数据库引擎
2026-08-03 03:12:43 +0800 CST
view 13
深度拆解Neon Serverless Postgres架构:存储计算分离设计、WAL流转路径重设计、Safekeeper持久化、Pageserver懒加载与LSM-tree引擎、Copy-on-Write零拷贝分支,附完整Rust实现代码与生产部署指南
Neon
PostgreSQL
Serverless
存储计算分离
WAL
Pageserver
Safekeeper
Copy-on-Write
LSM-tree
Rust
数据库
综合
SmartAdmin一个基于SpringBoot和Vue3的中后台快速开发平台
2024-11-19 02:08:49 +0800 CST
view 2943
SmartAdmin是一个基于SpringBoot和Vue3的中后台快速开发平台,专为高效、安全、易用而设计。它提供丰富的功能模块,严格的代码质量和规范,适合各种企业级应用。本文详细介绍了其技术栈、搭建步骤及代码规范,旨在提升开发效率和降低维护成本,是开发者的理想选择。
开发平台
技术栈
企业级应用
前后端分离
代码质量
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
编程
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
2026-07-23 08:13:30 +0800 CST
view 148
2026年四大主流大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从核心技术优化、吞吐量延迟、算力成本、部署适配性四大维度开展极致测评,为企业技术选型提供精准参考。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
PagedAttention
FlashAttention
量化推理
GPU推理优化
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 290
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 456
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
编程
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
2026-06-22 04:23:24 +0800 CST
view 433
2026年4月Cloudflare发布统一推理层,一个API连通12家供应商70+模型。本文深度解析AI Gateway架构、边缘推理优化、多模态支持、智能体集成,附带完整代码示例,打造生产级AI应用。
Cloudflare
AI推理
边缘计算
AI Gateway
统一推理层
AI基础设施
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
编程
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
2026-06-29 21:14:35 +0800 CST
view 327
深度解析OpenAI首款自研AI推理芯片Jalapeño:9个月流片、推理成本降低50%、每瓦性能超越英伟达GPU。从架构设计、内存优化、数据流优化到产业链合作,全方位解读这款芯片如何重塑AI推理市场格局。
OpenAI
Jalapeño
AI芯片
ASIC
推理芯片
英伟达
GPU
博通
Broadcom
LLM推理
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 773
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
10
下一页