程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
前端工具链的Rust革命:从Vite 8到Vite+,尤雨溪的「一次编写、极速构建」终极愿景
编程
前端工具链的Rust革命:从Vite 8到Vite+,尤雨溪的「一次编写、极速构建」终极愿景
2026-07-23 01:12:52 +0800 CST
view 217
深度解析Vite 8底层革命:Rolldown替换esbuild+Rollup双轨制,性能提升10~30倍。全面解读Vite+一体化工具链设计哲学,从项目创建到生产构建的统一入口。涵盖Rolldown技术架构、Oxc工具链、性能基准测试及实战迁移指南。
Vite 8
Rolldown
Vite+
Oxc
Rust
前端工具链
VoidZero
前端构建工具
Module Federation
Vite Plus
Venice 深度拆解:LinkedIn 如何用衍生数据平台承载每日 1.2PB 数据写入与万亿级特征服务
编程
Venice 深度拆解:LinkedIn 如何用衍生数据平台承载每日 1.2PB 数据写入与万亿级特征服务
2026-07-29 12:16:37 +0800 CST
view 114
深度拆解 LinkedIn 开源的 Venice 衍生数据平台:1.2PB/日写入吞吐、CRDT多活、混合负载架构、Read Compute 向量计算,以及作为 Feature Store 在线存储层的独特价值。
Venice
LinkedIn
Feature Store
衍生数据平台
分布式系统
CRDT
多区域多活
Write Compute
Read Compute
大数据
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 27
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
编程
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
2026-07-24 06:14:45 +0800 CST
view 236
深度对比vLLM与SGLang两大LLM推理引擎:PagedAttention vs RadixAttention,Continuous Batching原理,吞吐与延迟实战选型指南
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
Continuous Batching
GPU优化
推理引擎
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
编程
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
2026-07-13 05:12:59 +0800 CST
view 220
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎:从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署,配可直接运行的生产级代码与基准测试。
vLLM
SGLang
LLM推理
大模型部署
PagedAttention
RadixAttention
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
编程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51 +0800 CST
view 393
2026年7月PyTorch 2.13重磅发布:FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心,深度拆解六大核心更新与实战代码。
PyTorch
深度学习
机器学习框架
GPU
Distributed Training
FlexAttention
CUDA
GEMM
ROCm
Apple Silicon
MPS
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
编程
SGLang 深度实战:当 RadixAttention 重新定义 LLM 推理——从架构原理到生产部署的完整工程指南(2026)
2026-07-20 17:18:01 +0800 CST
view 235
深度解析SGLang推理框架核心技术:RadixAttention基数树KV缓存、连续批处理与CPU-GPU调度重叠、约束解码结构化输出、CVE-2026-5760安全漏洞修复、生产部署实战,以及与vLLM的完整对比选型指南。
SGLang
LLM
RadixAttention
PagedAttention
推理优化
Python
深度学习
向量检索
Agent
RAG
vLLM
CVE
Rust
高性能计算
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
编程
LLM推理引擎深度实战:从PagedAttention到生产级部署,万字长文吃透2026年最关键的AI基础设施
2026-06-27 12:44:29 +0800 CST
view 339
2026年LLM推理引擎深度实战:从PagedAttention、连续批处理、量化技术到生产级K8s部署,万字长文覆盖vLLM、SGLang、TensorRT-LLM、TGI四大框架架构原理与实测对比
LLM推理
vLLM
PagedAttention
SGLang
推理优化
TensorRT-LLM
生产部署
KV Cache
量化
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
编程
KV Cache 显存优化深度解析:从 PagedAttention 到 2026 年最新压缩技术演进
2026-08-01 15:47:00 +0800 CST
view 83
从第一性原理深度剖析 KV Cache 显存困境,系统拆解 PagedAttention 核心原理,对比 vLLM/TensorRT-LLM/SGLang 三大推理框架技术路线,涵盖 FP8/INT4 量化、前缀缓存、StreamingLLM 等 2026 年最新压缩技术,含完整代码示例与生产调优指南。
KV Cache
PagedAttention
vLLM
TensorRT-LLM
SGLang
LLM推理
GPU优化
显存优化
量化
深度学习
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
编程
sqlite-vec 深度实战:当 SQLite 遇见向量搜索,AI 应用的轻量级记忆系统从此有了标准答案(2026)
2026-07-22 01:16:13 +0800 CST
view 158
深度解析 sqlite-vec:一个纯C实现的SQLite向量搜索扩展,让SQLite直接支持语义搜索。涵盖核心架构、HNSW索引原理、SQL API完全指南、Python实战案例(知识库检索系统、AI Agent长期记忆、RAG系统)、性能优化、常见问题解决方案以及LangChain/LlamaIndex生态集成。
sqlite-vec
SQLite
向量搜索
AI应用
语义检索
RAG
Embedding
HNSW
AI Agent
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
编程
LLM 推理的显存战争:从 PagedAttention 到统一内存架构——KV Cache 管理五世代深度解析(2026)
2026-06-15 11:18:23 +0800 CST
view 478
深度解析大模型推理中 KV Cache 管理的五世代演进:从连续分配到 PagedAttention,再到异构缓存、分布式 KV 和统一混合内存架构。结合 vLLM、SGLang、TensorRT-LLM 给出生产环境选型指南。
LLM
大模型
KVCache
PagedAttention
vLLM
SGLang
TensorRT
推理优化
显存管理
分布式
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 295
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
Loop Engineering 深度解析:2026 年 AI 工程范式从 Prompt 到 Loop 的四阶跃迁——Boris Cherny 和 Peter Steinberger 联手定义的 Agent 循环工程实战指南
编程
Loop Engineering 深度解析:2026 年 AI 工程范式从 Prompt 到 Loop 的四阶跃迁——Boris Cherny 和 Peter Steinberger 联手定义的 Agent 循环工程实战指南
2026-07-07 08:13:00 +0800 CST
view 296
深度解析2026年AI工程范式从Prompt到Loop的四阶跃迁:Loop Engineering循环工程的核心概念、六块积木架构、47次实验验证数据、完整生产级实战。涵盖自动化调度、Git Worktree并行、Skill持久化、MCP连接器、子Agent审查、记忆系统,含完整代码示例与未来展望。
Loop Engineering
循环工程
AI Agent
Prompt Engineering
Harness Engineering
Claude Code
OpenClaw
多Agent编排
AI编程
工程范式
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 486
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
编程
2026年大模型推理框架横评:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9
2026-07-10 17:44:16 +0800 CST
view 345
深度对比2026年四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,涵盖PagedAttention、FP8量化、ZeRO-3、连续批处理等核心技术原理,配生产级代码示例与实测性能数据。
LLM
vLLM
TensorRT-LLM
TGI
DeepSpeed
推理优化
量化
AI部署
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
编程
百度 Unlimited OCR 深度解析:R-SWA 把 KV Cache 压成常数,长文档 OCR 终于迎来「一次看完」时代
2026-06-29 15:13:32 +0800 CST
view 381
百度 Unlimited OCR 用 R-SWA 机制把 KV Cache 压成常数,首次实现 40+ 页文档单次前向解析。深度解析 R-SWA 原理、模型架构、性能基准与实战部署。
百度
Unlimited OCR
OCR
R-SWA
KV Cache
长文档
端到端OCR
DeepEncoder
MoE
参考滑动窗口注意力
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04 +0800 CST
view 527
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 301
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
Claude Memory Compiler 深度解析:当 AI 编程助手第一次拥有「编译器思维」的记忆系统
编程
Claude Memory Compiler 深度解析:当 AI 编程助手第一次拥有「编译器思维」的记忆系统
2026-04-10 03:35:31 +0800 CST
view 926
claude-memory-compiler 把 AI 对话当作源代码,用 LLM 编译成结构化知识库,让 Claude Code 拥有跨会话记忆能力
Claude Code
AI Agent
Knowledge Management
LLM
Memory System
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
编程
百度 Unlimited OCR 深度解析:R-SWA 如何把 KV Cache 从线性增长压成常数,端到端 OCR 的长文档革命
2026-06-29 19:45:14 +0800 CST
view 263
深度解析百度开源的 Unlimited OCR:R-SWA 如何把 KV Cache 从线性增长压成常数,解决长文档 OCR 的失忆问题,OmniDocBench v1.6 刷新 SOTA 93.92%
Unlimited OCR
百度
OCR
端到端
长文档
R-SWA
开源
深度学习
文档解析
Markdown
Valkey 8.0 深度剖析:当 Redis 用异步 I/O 把单机吞吐干到 119 万 QPS
编程
Valkey 8.0 深度剖析:当 Redis 用异步 I/O 把单机吞吐干到 119 万 QPS
2026-07-23 17:44:36 +0800 CST
view 141
一场许可证风波催生的Redis分支Valkey,8.0版本用异步I/O线程模型把单机吞吐干到119万QPS。深度拆解异步I/O架构、双通道复制、per-slot指标、实验性RDMA,配Go/Python代码实战与Redis迁移清单。
Valkey
Redis
异步IO
双通道复制
内存数据库
性能优化
缓存
开源许可证
RDMA
Cluster
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 529
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 899
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
编程
2026 大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——从架构原理到生产级部署的完全指南
2026-06-16 23:24:43 +0800 CST
view 320
深度对比四大主流LLM推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从PagedAttention架构原理、FlashAttention优化、量化支持到生产级部署实战,包含统一环境下的性能测试数据与代码示例,帮助你做出最优选型决策。
LLM
推理框架
vLLM
TensorRT
DeepSpeed
性能优化
AI
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
8
9
10
11
12
...
64
下一页