程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
编程
vLLM v1 Engine 架构深度拆解:从异步调度到 Chunked Prefill 的生产级推理引擎演进(2026实战指南)
2026-08-14 17:45:25 +0800 CST
view 42
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,从源码到生产部署,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
编程
vLLM v1 Engine 深度拆解:Continuous Batching + Chunked Prefill 如何将推理吞吐量翻倍(2026生产实战)
2026-08-14 17:46:24 +0800 CST
view 36
深度拆解vLLM v1 Engine架构:Continuous Batching、Chunked Prefill、异步内存管理等核心特性,配完整代码实战与性能基准测试
vLLM
LLM推理
PagedAttention
ContinuousBatching
GPU优化
生产部署
推测解码
Python
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
编程
推测解码深度实战:用「小模型猜、大模型验」的并行推理让 LLM 吞吐量翻倍(2026 生产指南)
2026-08-15 11:15:10 +0800 CST
view 25
深度拆解推测解码技术原理与生产实战:从拒绝采样数学原理到 vLLM 实现架构,配完整 Python 代码与性能基准测试,实现 2-2.5x 无损吞吐量提升
推测解码
Speculative Decoding
LLM推理
vLLM
性能优化
GPU加速
FFmpeg 9.0「Lei」深度拆解:当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线
编程
FFmpeg 9.0「Lei」深度拆解:当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线
2026-08-09 04:19:53 +0800 CST
view 103
深度拆解 FFmpeg 9.0「Lei」:媒体只报道了动画WebP和代号故事,但5.2万行代码背后是三条架构主线——Vulkan compute 统一硬件加速层、ST 2094-50 元数据全链路透传、ONNX Runtime GPU 后端让AI推理进入滤镜图。含滤镜链PCIe往返三层验证、元数据diff脚本、七条调优规律与十条踩坑清单。
FFmpeg
Vulkan
音视频
硬件加速
HDR
ONNX Runtime
滤镜链
CUDA
编解码
性能优化
FFmpeg 9.0「Lei」深度拆解:从二十年架构重写到 Vulkan 全矩阵,一个多媒体框架的自我革命
编程
FFmpeg 9.0「Lei」深度拆解:从二十年架构重写到 Vulkan 全矩阵,一个多媒体框架的自我革命
2026-08-09 11:17:02 +0800 CST
view 146
深度拆解 FFmpeg 9.0 Lei:swscale二十年架构重写、Vulkan GPU加速全矩阵、ONNX Runtime AI推理、Dolby Vision专业管线、ABI破坏性升级与迁移指南,配完整代码示例
FFmpeg
音视频
多媒体
Vulkan
GPU加速
编解码
开源
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
编程
DFlash 深度实战:当扩散模型遇上推测解码——从原理到生产级 LLM 推理加速完全指南(2026)
2026-06-06 01:38:49 +0800 CST
view 792
DFlash(Block Diffusion for Flash Speculative Decoding)是ZLab于2026年提出的LLM推理加速框架,用块扩散模型替代传统自回归草稿模型,实现6倍以上无损加速。
LLM推理加速
推测解码
扩散模型
块扩散
DFlash
ZLab
大模型优化
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
编程
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
2026-07-26 17:15:22 +0800 CST
view 248
深度长文实战 Speculative Decoding 推测解码技术:从拒绝采样原理、草稿模型选型到 vLLM 生产部署,包含完整代码实现、性能基准测试和 DSpark 等前沿变体解析,不修改模型不牺牲质量即可实现 2-3 倍推理加速。
Speculative Decoding
LLM推理加速
推测解码
vLLM
DSpark
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
下一页