程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
编程
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
2026-06-22 19:28:19 +0800 CST
view 294
深入解析 AirLLM 的无量化层间 Offloading 技术原理,探讨如何通过 CPU-GPU 混合推理在 4GB 显存上运行 70B 大模型,附完整代码实战与生产部署指南。
LLM推理
GPU优化
CPU Offload
层间调度
AirLLM
PyTorch
MCP 2026 深度解析:AI推理性能瓶颈诊断的12个隐性耗时陷阱——从TensorRT-LLM到vLLM再到Triton的全引擎实战
编程
MCP 2026 深度解析:AI推理性能瓶颈诊断的12个隐性耗时陷阱——从TensorRT-LLM到vLLM再到Triton的全引擎实战
2026-04-30 14:21:13 +0800 CST
view 538
深度解析MCP 2026基准测试框架,拆解TensorRT-LLM、vLLM、Triton三大推理引擎的12个隐性耗时陷阱,提供可落地的诊断方法与修复路径。
AI推理
性能优化
TensorRT-LLM
vLLM
Triton
MCP2026
GPU优化
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
2026-07-02 08:42:52 +0800 CST
view 201
深度解析 LMCache 开源项目:LLM 推理 KV 缓存管理层,涵盖架构设计、多级存储、Multiprocess 模式、非前缀复用、PD 拆分等核心技术,15+ 可运行代码示例。
LMCache
LLM推理
KV缓存
vLLM
SGLang
AI推理优化
GPU优化
分布式缓存
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 169
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
LLM 推理框架选型实战:vLLM、TensorRT-LLM、TGI、DeepSpeed-MII 深度对比与生产部署指南
编程
LLM 推理框架选型实战:vLLM、TensorRT-LLM、TGI、DeepSpeed-MII 深度对比与生产部署指南
2026-07-03 13:49:04 +0800 CST
view 252
深度对比 vLLM 0.5、TensorRT-LLM 1.8、TGI 2.0、DeepSpeed-MII 0.9 四大推理框架,从核心技术原理、性能数据、成本账本到生产部署实战,帮你做出正确的框架选型决策。
LLM
vLLM
TensorRT-LLM
TGI
DeepSpeed
推理优化
大模型部署
GPU优化
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 335
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 终结 GPU 显存浪费——从推理引擎原理到生产级高并发部署的完全指南(2026)
2026-06-11 03:16:24 +0800 CST
view 383
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
编程
vLLM 0.17 深度实战:PagedAttention与连续批处理如何把GPU吞吐量提升4倍——从KV Cache原理到生产级大模型推理部署完全指南(2026)
2026-06-11 03:17:21 +0800 CST
view 728
深度解析vLLM推理引擎的PagedAttention原理、连续批处理、量化优化,以及从零搭建生产级高并发部署的完整实战指南(2026版)
vLLM
PagedAttention
大模型推理
GPU优化
AI部署
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
编程
DeepGEMM 深度解析:DeepSeek 开源的 FP8 GEMM 内核如何重塑 AI 推理性能边界
2026-04-21 05:16:09 +0800 CST
view 811
深入剖析 DeepSeek 开源的 DeepGEMM 库:从 FP8 精度革命到 1550 TFLOPS 性能突破,揭秘现代 AI 推理基础设施的底层优化技术
DeepGEMM
FP8
DeepSeek
CUDA
AI推理
GPU优化
GEMM
TensorCore
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 661
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
DeepSeek DeepGEMM 2026年4月重磅更新:Mega MoE融合算子、FP4精度与极致性能优化
编程
DeepSeek DeepGEMM 2026年4月重磅更新:Mega MoE融合算子、FP4精度与极致性能优化
2026-04-23 08:41:45 +0800 CST
view 554
深度解析DeepSeek DeepGEMM 2026年4月重大更新:Mega MoE融合算子(dispatch+Linear+SwiGLU+Combine五合一,NVLink通信与Tensor Core计算重叠)、FP8xFP4 GEMM、FP4 Indexer、PDL调度优化与JIT加速,附完整代码实战。
DeepGEMM
DeepSeek
GPU优化
CUDA
FP8
FP4
MoE
AI Infra
高性能计算
NVIDIA
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 92
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
小米MiMo-V2.5-Pro-UltraSpeed深度实战:当万亿参数模型突破1000 Tokens/s——从全链路优化到生产级推理加速的完全指南(2026)
编程
小米MiMo-V2.5-Pro-UltraSpeed深度实战:当万亿参数模型突破1000 Tokens/s——从全链路优化到生产级推理加速的完全指南(2026)
2026-06-09 13:18:45 +0800 CST
view 1288
深度解析小米MiMo-V2.5-Pro-UltraSpeed如何在通用GPU上实现1000 Tokens/s的推理速度,包括FP4量化、DFlash解码引擎、TileRT执行系统等核心技术。
AI
推理加速
大模型
小米
GPU优化
TensorRT-LLM 深度实战:从 Blackwell 架构到 INT4 量化的 LLM 推理性能革命
编程
TensorRT-LLM 深度实战:从 Blackwell 架构到 INT4 量化的 LLM 推理性能革命
2026-05-22 06:19:51 +0800 CST
view 554
深入解析TensorRT-LLM推理框架,从Paged KV Cache、连续批处理到INT4/INT8/FP8量化实战,覆盖Blackwell架构适配、Triton部署与K8s生产方案
TensorRT-LLM
LLM推理
量化
INT4
Blackwell
GPU优化
GoGPU 深度实战:纯 Go、零 CGO 的 GPU 计算生态——从 2D 图形到 GUI 工具包的完整指南(2026)
编程
GoGPU 深度实战:纯 Go、零 CGO 的 GPU 计算生态——从 2D 图形到 GUI 工具包的完整指南(2026)
2026-06-28 15:44:07 +0800 CST
view 193
深度解析 GoGPU 纯 Go GPU 计算生态的完整架构:wgpu GPU 抽象层、gg 5 引擎智能光栅化、ui GUI 工具包、naga Shader 编译器、g3d 3D 渲染引擎,含完整代码实战、性能基准与生产部署指南(2026)
Go
GoGPU
WebGPU
GPU计算
图形编程
wgpu
GUI
2D渲染
开源
性能优化
WebGPU 计算着色器深度解析:WGSL 编程范式与 GPU 并行计算实战
编程
WebGPU 计算着色器深度解析:WGSL 编程范式与 GPU 并行计算实战
2026-05-17 11:46:05 +0800 CST
view 585
深入解析 WebGPU 计算着色器与 WGSL 着色语言,从架构原理到代码实战,涵盖图像处理、粒子模拟、神经网络推理三大场景,探讨 GPU 并行计算的优化策略与生态趋势。
WebGPU
WGSL
Compute Shader
GPU编程
并行计算
JavaScript
前端性能
GPGPU
WebGPU 深度拆解:当浏览器学会「直面 GPU」——从 WGSL 计算着色器、跨平台运行时到生产级 GPU 计算的工程全貌(2026)
编程
WebGPU 深度拆解:当浏览器学会「直面 GPU」——从 WGSL 计算着色器、跨平台运行时到生产级 GPU 计算的工程全貌(2026)
2026-07-18 03:42:25 +0800 CST
view 43
深度拆解 WebGPU:从对象模型、WGSL 计算着色器、与 Vulkan/Metal/D3D12 的映射,到浏览器与 Deno 跨平台实战、端侧 Transformer 推理与生产级性能优化。
WebGPU
WGSL
GPU计算
浏览器
前端工程化
Deno
TypeScript
GPGPU
WebGPU 计算管线深度拆解:当浏览器开始「直接调用 GPU 算力」——从 WGSL 计算着色器、Storage Buffer 到浏览器端 GPGPU 与 AI 推理的工程全貌(2026)
编程
WebGPU 计算管线深度拆解:当浏览器开始「直接调用 GPU 算力」——从 WGSL 计算着色器、Storage Buffer 到浏览器端 GPGPU 与 AI 推理的工程全貌(2026)
2026-07-19 02:43:47 +0800 CST
view 26
深度拆解 WebGPU 计算管线:从 WGSL 计算着色器、Storage Buffer、workgroup 共享内存,到矩阵乘法 tiling、图像卷积、真实 GPU 基准对比,并落地浏览器端大模型推理(WebLLM/ONNX Runtime Web)。
WebGPU
GPGPU
WGSL
计算管线
浏览器AI
GPU计算
WebGPU 深度解析:当浏览器真正拥有「显卡驱动」——从 WGSL 计算着色器到浏览器端 AI 推理的完整实战指南
编程
WebGPU 深度解析:当浏览器真正拥有「显卡驱动」——从 WGSL 计算着色器到浏览器端 AI 推理的完整实战指南
2026-07-07 12:44:09 +0800 CST
view 121
深度解析WebGPU图形与计算API:WGSL计算着色器实战、浏览器端AI推理、渲染管线优化、生产级应用场景,从架构原理到完整代码示例的全面指南。
WebGPU
WGSL
Compute Shader
GPU
Browser AI
Rendering
WebGL
万字深度解析 HAMi:当 KubeCon EU 2026 把 GPU 调度器推向云原生 AI 基础设施舞台中央——从异构算力虚拟化到 K8s 生产级部署的完整技术指南(2026)
编程
万字深度解析 HAMi:当 KubeCon EU 2026 把 GPU 调度器推向云原生 AI 基础设施舞台中央——从异构算力虚拟化到 K8s 生产级部署的完整技术指南(2026)
2026-07-02 17:16:43 +0800 CST
view 348
深度解析 HAMi 项目在 KubeCon EU 2026 的亮相,涵盖异构算力虚拟化原理、K8s 生产部署实践、性能优化与监控体系
HAMi
GPU调度
Kubernetes
云原生
AI基础设施
KubeCon
异构算力
NPU
CNCF
vGPU
WebGPU 深度解析:当 Chrome 正式发布 WebGPU 实现,Web 图形与通用计算的新纪元已至
编程
WebGPU 深度解析:当 Chrome 正式发布 WebGPU 实现,Web 图形与通用计算的新纪元已至
2026-04-15 19:20:07 +0800 CST
view 580
深入解析 Chrome 113 正式发布的 WebGPU 实现:架构设计、WGSL 着色器语言、Compute Shader 机器学习推理实战、性能对比与完整代码示例
WebGPU
WGSL
Chrome
图形API
GPU计算
Compute Shader
机器学习
Web图形
WebGPU 深度解析:浏览器图形的第三次革命——从 WebGL 的 20fps 到 WebGPU 的 120fps
编程
WebGPU 深度解析:浏览器图形的第三次革命——从 WebGL 的 20fps 到 WebGPU 的 120fps
2026-05-14 11:45:03 +0800 CST
view 393
WebGPU是W3C历时7年打造的浏览器图形API新标准,2026年全浏览器稳定支持。Compute Shader让浏览器可做ML推理和物理模拟,Draw Call从2000提升至50000每帧,wgpu让Rust一套代码跑遍Web/桌面/移动5平台。深度解析WGSL着色器、PBR渲染、100万粒子模拟实战、WebGL迁移指南。
WebGPU
WebGL
GPU
Compute Shader
Rust
WebGPU 深度实战:当浏览器成为 GPU 计算平台——从计算着色器、异步管线到跨平台性能优化的工程全貌(2026)
编程
WebGPU 深度实战:当浏览器成为 GPU 计算平台——从计算着色器、异步管线到跨平台性能优化的工程全貌(2026)
2026-07-20 00:16:12 +0800 CST
view 14
2026年WebGPU成为W3C推荐标准,浏览器正式成为GPU计算平台。本文深度拆解:从架构演进、计算着色器实战、性能优化到跨平台兼容与生产级渲染器架构。
WebGPU
GPU计算
计算着色器
性能优化
跨平台
图形编程
前端技术
WebAssembly + WebGPU 深度实战:当浏览器成为高性能计算平台——从 WASM 组件模型到 GPU 通用计算的生产级完全指南(2026)
编程
WebAssembly + WebGPU 深度实战:当浏览器成为高性能计算平台——从 WASM 组件模型到 GPU 通用计算的生产级完全指南(2026)
2026-06-06 07:08:04 +0800 CST
view 527
深度解析 WebAssembly + WebGPU 协同架构,从 WASM 组件模型到 WebGPU Compute Shader,涵盖共享内存通信、性能优化、生产部署完整指南
WebAssembly
WebGPU
WASM
GPU计算
组件模型
WGSL
性能优化
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
...
42
下一页