程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
CUDA 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
Rust 啃下 GPU 计算:当 Rust 写的 CUDA 内核在 H100 上追平甚至反超 C++——从所有权模型、cuda-oxide 编译器到 CubeCL 向量化的全链路实战
编程
Rust 啃下 GPU 计算:当 Rust 写的 CUDA 内核在 H100 上追平甚至反超 C++——从所有权模型、cuda-oxide 编译器到 CubeCL 向量化的全链路实战
2026-08-19 03:13:18
深度拆解 Rust 进入 GPU 计算的拐点:从所有权内存安全、cuda-oxide 官方编译器、CubeCL 跨后端向量化,到 H100 上追平 CUDA 的基准解读与内核调优实战。
Rust
GPU计算
CUDA
CubeCL
cuda-oxide
rust-gpu
并行计算
内存安全
Rust core::simd 跑进 GPU warp:VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解
编程
Rust core::simd 跑进 GPU warp:VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解
2026-08-11 05:20:02
深度拆解 VectorWare 让 Rust portable SIMD 跑上 GPU:为何 SIMT 本质就是 SIMD、warp-as-thread 与 lane-as-simd-lane 的双层映射、四类算子到 shfl.sync/vote.sync/redux.sync 的下降路径、类型化 Warp IR 如何用 const generic 杜绝非法程序、strip mining 与掩码加载实战、寄存器压力与横向算子同步点的性能陷阱,含十四条踩坑清单。
Rust
core::simd
GPU编程
SIMT
CUDA
PTX
warp
portable SIMD
rust-gpu
异构计算
向量化
VectorWare
性能优化
编译器
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
编程
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
2026-08-10 14:47:15
深度拆解AI编程Agent用10小时为非英伟达芯片搭建底层软件栈的事件:从CUDA三层架构本质、Infinity Ignition Agent原理、推理战场竞争格局、到验证生态护城河,结合DeepSeek TileLang路径对比,给出程序员视角的机遇分析。
CUDA
AI Agent
推理芯片
Infinity
Ignition
d-Matrix
底层软件
GPU Kernel
芯片适配
护城河
FFmpeg 9.0「Lei」深度拆解:当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线
编程
FFmpeg 9.0「Lei」深度拆解:当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线
2026-08-09 04:19:53
深度拆解 FFmpeg 9.0「Lei」:媒体只报道了动画WebP和代号故事,但5.2万行代码背后是三条架构主线——Vulkan compute 统一硬件加速层、ST 2094-50 元数据全链路透传、ONNX Runtime GPU 后端让AI推理进入滤镜图。含滤镜链PCIe往返三层验证、元数据diff脚本、七条调优规律与十条踩坑清单。
FFmpeg
Vulkan
音视频
硬件加速
HDR
ONNX Runtime
滤镜链
CUDA
编解码
性能优化
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
编程
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎:专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行,在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar
Redis
antirez
DeepSeek
MoE
本地推理
LLM
推理引擎
2-Bit量化
KV缓存
Apple Metal
CUDA
开源
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
编程
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
2026-08-04 01:43:34
深度拆解MIT RLX纯Rust ML编译器架构:统一IR贯穿图优化到内核调度、15种硬件后端支持、JAX形自动微分、INT8量化感知训练、FPGA综合、Iroh NAT穿透分布式训练,附完整代码示例与性能优化实战指南
RLX
Rust
ML编译器
张量IR
自动微分
边缘计算
WebGPU
CUDA
Apple Silicon
量化部署
开源
GPU上的无畏并发:cuTile Rust如何用Rust所有权系统破解GPU安全编程难题
编程
GPU上的无畏并发:cuTile Rust如何用Rust所有权系统破解GPU安全编程难题
2026-07-29 10:46:05
深度拆解NVIDIA cuTile Rust:用Rust所有权系统实现GPU内核的编译期安全保证,7TB/s元素级操作、2PFlop/s GEMM达到cuBLAS 96%性能。
Rust
GPU编程
cuTile
内存安全
无数据竞争
CUDA
所有权系统
NVIDIA
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
编程
TurboQuant+深度拆解:极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
编程
TurboQuant+ 深度拆解:用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:48:24
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+:极坐标量化+QJL残差编码实现2bit KV Cache压缩,配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地,附完整代码实战与选型建议
TurboQuant
KV Cache
LLM推理
llama.cpp
量化
显存优化
Walsh-Hadamard
Vulkan
CUDA
ROCm
CUDA Tile 深度拆解:当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌(2026)
编程
CUDA Tile 深度拆解:当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌(2026)
2026-07-18 03:17:24
深度拆解 NVIDIA CUDA 13.1 Tile 编程模型:从 SIMT 到 Tile-based 的范式革命、Tile IR 虚拟指令集、cuTile Python DSL、与 Triton 的竞争格局、Flash Attention 实战案例、完整迁移指南与性能优化技巧。
CUDA
GPU编程
cuTile
Tile IR
Blackwell
Tensor Core
高性能计算
深度学习
Python
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
编程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51
2026年7月PyTorch 2.13重磅发布:FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心,深度拆解六大核心更新与实战代码。
PyTorch
深度学习
机器学习框架
GPU
Distributed Training
FlexAttention
CUDA
GEMM
ROCm
Apple Silicon
MPS
Lucebox 深度解析:9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南
编程
Lucebox 深度解析:9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南
2026-07-07 00:44:30
深度解析Lucebox本地AI推理盒子:9.56L铝合金机身塞入RTX 3090+Ryzen AI MAX+ 395的128GB统一内存,配合自研DFlash推测解码和CUDA内核优化,在消费级硬件上实现4-6倍推理加速。从硬件架构到开源引擎lucebox-hub的完整实战指南。
Lucebox
本地推理
AI Agent
推测解码
CUDA
RTX 3090
Ryzen AI MAX
开源
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
编程
vLLM 0.5 深度解析:PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46
深度解析 vLLM 0.5 的 PagedAttention 架构原理,涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术,并通过代码实战和性能对比,帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM
PagedAttention
LLM推理
CUDA
KV Cache
深度学习
AI基础设施
Python
生产部署
性能优化
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
编程
万字深度解析 NVIDIA Blackwell 架构:当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南(2026)
2026-07-02 07:45:18
深度解析 NVIDIA Blackwell GPU 架构与 CUDA 13.1 Tile 编程模型,涵盖 FP4 量化、Tensor Core v5、NVLink 5.0、DeepSeek V4 推理优化等核心技术,提供完整 Python 实战代码。
Blackwell
CUDA
GPU编程
AI推理
性能优化
深度学习
并行计算
NVIDIA
量化
Tensor Core
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
编程
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
2026-06-30 15:18:05
深度解析UC伯克利/NVIDIA等机构联合开发的gsplat开源库:CUDA加速的3D高斯泼溅渲染引擎,节省4倍显存、缩短15%训练时间,涵盖数学原理、CUDA架构、训练流程、性能优化与生产应用。
gsplat
3D Gaussian Splatting
CUDA
图形渲染
3D重建
NeRF
实时渲染
PyTorch
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
MusaCoder 深度实战:当国产GPU遇见AI驱动的Kernel生成——从PyTorch到CUDA/MUSA原生算子的全栈训练完全指南(2026)
编程
MusaCoder 深度实战:当国产GPU遇见AI驱动的Kernel生成——从PyTorch到CUDA/MUSA原生算子的全栈训练完全指南(2026)
2026-06-16 06:47:47
MusaCoder是首个基于国产GPU完成全链路训练的代码大模型,在KernelBench上超越Claude Opus 4.7。从三阶段数据合成、多样性RFT到执行反馈RL,深度解析全栈训练方法论。
MusaCoder
GPU Kernel
摩尔线程
国产GPU
CUDA
MUSA
大模型
强化学习
KernelBench
代码大模型
AI Coding
深度学习
Khal 深度实战:一次编写,跨越 WebGPU、CUDA 与 CPU 的 GPU 通用计算新范式(2026)
编程
Khal 深度实战:一次编写,跨越 WebGPU、CUDA 与 CPU 的 GPU 通用计算新范式(2026)
2026-06-15 11:46:16
Khal(Kompute Hardware Abstraction Layer)是 Rust 生态的跨平台 GPU 硬件抽象层,让开发者用一门语言编写一次计算着色器,即可部署到 WebGPU、CUDA 和 CPU 所有目标平台。本文深入解析其架构设计、编译流程、标准库与实战代码示例。
Rust
GPU
WebGPU
CUDA
高性能计算
图形编程
DFlash 深度解析:块扩散模型如何让 LLM 推理加速 6 倍——2026 投机解码完全指南
编程
DFlash 深度解析:块扩散模型如何让 LLM 推理加速 6 倍——2026 投机解码完全指南
2026-05-28 19:39:07
深入解析 DFlash 块扩散投机解码方案:如何让 Qwen3-8B 实现 6 倍无损加速,超越 EAGLE-3 与 llama.cpp,附 SGLang/vLLM/MLX 完整部署指南。
LLM推理
投机解码
块扩散
DFlash
推理加速
Transformer优化
GPU
CUDA
SGLang
vLLM
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
编程
DwarfStar 深度解析:antirez 的 DeepSeek V4 Flash 本地推理引擎——Metal 与 CUDA 双轨优化革命(2026 完全指南)
2026-05-28 19:13:18
DwarfStar(ds4)是Redis创始人antirez开发的DeepSeek V4 Flash专用推理引擎,支持Metal与CUDA双轨优化、磁盘KV Cache、imatrix量化和原生Agent集成。本文深入解析其架构设计与性能表现。
DeepSeek
ds4
Metal
CUDA
本地推理
MoE
量化
GGUF
Agent
Python
C
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
编程
vLLM 深度实战:从 PagedAttention 到 Speculative Decoding——2026年大模型推理引擎内核架构完全指南
2026-05-23 18:44:14
2026年深度长文,从PagedAttention分页思想、Continuous Batching调度算法、Speculative Decoding并行验证机制到CUDA Kernel底层实现,全面拆解vLLM推理引擎内核架构,附生产级部署实战与框架横向对比。
vLLM
PagedAttention
Continuous Batching
Speculative Decoding
GPU推理
大模型部署
深度学习
CUDA
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
上一页
1
2
下一页
共 2 页
到第
页
确定