CUDA 相关技术文章

php mysql shell go vue css api接口对接支付接口对接

CUDA kernel 也能按版本装：Hugging Face kernels 的 v1 分支、lock 与 wheel 变体

CUDA kernel 也能按版本装：Hugging Face kernels 的 v1 分支、lock 与 wheel 变体
2026-10-09 00:04:39
把自定义 CUDA kernel 从“源码 + 本地构建”变成可按版本拉取的依赖：get_kernel 的 version/revision 语义、v0 不承诺 API 兼容、kernels lock 与 get_locked_kernel、kernels to-wheel 生成带 torch/cu/cxx/arch 变体的 wheel，以及作者侧注册成 torch.ops 原生算子。
gpu kernel CUDA PyTorch kernel-builder kernels 动态加载兼容进程

Rust 写 GPU 内核的两条轨道：cuda-oxide 编 SIMT 到 PTX，cutile-rs 在 Tile 上 JIT

Rust 写 GPU 内核的两条轨道：cuda-oxide 编 SIMT 到 PTX，cutile-rs 在 Tile 上 JIT
2026-10-07 00:04:08
NVIDIA 2026 年把 CUDA 内核编程引入 Rust：cuda-oxide 用自定义 rustc 后端把 #[kernel] 编到 PTX（SIMT 轨道），cutile-rs 在 tile 上写内核并用 CUDA Tile IR 做 JIT。本文给出两条轨道的完整可跑示例、环境要求，以及它们如何用 DisjointSlice、partition 与所有权在编译期拦下数据竞争（E0502/E0382）。
rust语言 Rust CUDA GPU编程 NVIDIA 并行计算 cuda-oxide cutile-rs SIMT 编译

faster-whisper 实践：batch_size=8 把 13 分钟音频从 1m03s 压到 17s，CUDA 12/cuDNN 9 配对与 int8 取舍

faster-whisper 实践：batch_size=8 把 13 分钟音频从 1m03s 压到 17s，CUDA 12/cuDNN 9 配对与 int8 取舍
2026-10-02 00:04:05
faster-whisper 用 CTranslate2 重写 Whisper 推理，同精度下快最多 4 倍。本文给出 GPU/CPU 实测基准表，讲清 CUDA 12 + cuDNN 9 的版本配对与降级方案、segments 生成器惰性执行、int8 与 batch_size=8 的取舍、VAD 参数和模型转换命令。
Faster-Whisper 语音识别 CTranslate2 推理加速 CUDA 显存

Tensor Core 三种调用层次：m16n8k16 的 ldmatrix 对不上，以及 Hopper wgmma 的同步与布局约束

Tensor Core 三种调用层次：m16n8k16 的 ldmatrix 对不上，以及 Hopper wgmma 的同步与布局约束
2026-09-28 00:04:03
从封装库、WMMA 到 PTX mma.sync，再到 Hopper wgmma，讲清 Tensor Core 的三层调用方式。重点拆解 m16n8k16 的 A/B/C 寄存器切片与 ldmatrix 的 lane 映射为何容易对不上，以及 wgmma 的 fence/commit_group 同步、GmmaDescriptor 布局约束和 TMA producer/consumer 流水。
tensor core 张量核心 WGMMA CUDA PTX 布局入门教程

Gaussian Splatting Lightning 训练笔记：多 GPU 要在密化之后开，默认不出 ply

Gaussian Splatting Lightning 训练笔记：多 GPU 要在密化之后开，默认不出 ply
2026-09-24 00:04:58
gaussian-splatting-lightning 是基于 PyTorch Lightning 的 3D Gaussian Splatting 训练框架，可切换 gsplat/diff-gaussian-rasterization。本文记录安装与 nvcc 匹配、大图防 OOM 的几组参数、多 GPU DDP 只能在密化完成后启用的实操、checkpoint 转 ply，以及 MCMC、Appearance Model 等派生算法的配置方式。
gaussian splatting 3DGS 高斯泼溅 PyTorch Lightning gsplat CUDA

gsplat 上手笔记：三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染

gsplat 上手笔记：三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染
2026-09-24 00:03:49
gsplat 是 CUDA 加速的 3D Gaussian Splatting 光栅化库，训练最多省 4x 显存。本文梳理 PyPI/源码/预编译 wheel 三条安装路径的取舍，PyTorch 2.7+ 与 CUDA 12.8/13.2 构建门槛，default vs MCMC 密化策略，以及 HiGS 仅推理渲染与 LiDAR 支持。
gaussian splatting 3DGS 高斯泼溅 CUDA PyTorch 显存

Open-Sora 2.0 开源 11B 视频模型：权重和训练代码全放开，20 万美元训完

Open-Sora 2.0 开源 11B 视频模型：权重和训练代码全放开，20 万美元训完
2026-09-11 23:46:26
Open-Sora 2.0 是潞晨科技开源的 11B 视频生成模型，T2V/I2V 共用权重，支持 256px 与 768px。本文整理它的版本时间线、安装与权重下载命令、推理参数（aspect_ratio、num_frames、offload、motion score）、H100/H800 上的耗时显存实测表，以及 VBench 评测结论与几个容易踩的参数限制。
Open-Sora 视频生成 Diffusion 开源模型 CUDA PyTorch

Rust SIMD 进军 GPU：VectorWare 实现 core::simd 在 GPU 上运行

Rust SIMD 进军 GPU：VectorWare 实现 core::simd 在 GPU 上运行
2026-09-06 06:18:24
VectorWare宣布成功实现Rust可移植SIMD（core::simd）在GPU上运行。之前已实现Rust线程到GPU Warp的映射，但未利用Warp内的并行通道。核心技术是将SIMD向量映射为Warp内的Lane，SIMD操作映射为Warp内并行执行。文章介绍了CPU SIMD原理、Rust可移植SIMD对比架构特定内部函数的优势、技术实现中的关键挑战（向量长度不匹配、内存访问模式、控制流差异），以及对开发者、GPU编程、高性能计算的意义和应用场景。
Rust SIMD GPU core::simd VectorWare 高性能计算并行计算 CUDA

Rust 啃下 GPU 计算：当 Rust 写的 CUDA 内核在 H100 上追平甚至反超 C++——从所有权模型、cuda-oxide 编译器到 CubeCL 向量化的全链路实战

Rust 啃下 GPU 计算：当 Rust 写的 CUDA 内核在 H100 上追平甚至反超 C++——从所有权模型、cuda-oxide 编译器到 CubeCL 向量化的全链路实战
2026-08-19 03:13:18
深度拆解 Rust 进入 GPU 计算的拐点：从所有权内存安全、cuda-oxide 官方编译器、CubeCL 跨后端向量化，到 H100 上追平 CUDA 的基准解读与内核调优实战。
Rust GPU计算 CUDA CubeCL cuda-oxide rust-gpu 并行计算内存安全护城河

Rust core::simd 跑进 GPU warp：VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解

Rust core::simd 跑进 GPU warp：VectorWare 把 SIMT 还原成 SIMD 的那一刀——从 lane 映射到类型化 Warp IR 的全链路拆解
2026-08-11 05:20:02
深度拆解 VectorWare 让 Rust portable SIMD 跑上 GPU：为何 SIMT 本质就是 SIMD、warp-as-thread 与 lane-as-simd-lane 的双层映射、四类算子到 shfl.sync/vote.sync/redux.sync 的下降路径、类型化 Warp IR 如何用 const generic 杜绝非法程序、strip mining 与掩码加载实战、寄存器压力与横向算子同步点的性能陷阱，含十四条踩坑清单。
Rust core::simd GPU编程 SIMT CUDA PTX warp portable SIMD rust-gpu 异构计算向量化 VectorWare 性能优化编译器

AI编程Agent用10小时凿开CUDA护城河：推理战场的底层软件革命与程序员的真实机遇

AI编程Agent用10小时凿开CUDA护城河：推理战场的底层软件革命与程序员的真实机遇
2026-08-10 14:47:15
深度拆解AI编程Agent用10小时为非英伟达芯片搭建底层软件栈的事件：从CUDA三层架构本质、Infinity Ignition Agent原理、推理战场竞争格局、到验证生态护城河，结合DeepSeek TileLang路径对比，给出程序员视角的机遇分析。
CUDA AI Agent 推理芯片 Infinity Ignition d-Matrix 底层软件 GPU Kernel 芯片适配护城河

FFmpeg 9.0「Lei」深度拆解：当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线

FFmpeg 9.0「Lei」深度拆解：当音视频框架决定把滤镜链整个搬进 GPU——Vulkan 统一计算层、SMPTE 2094-50 元数据透传与 ONNX Runtime DNN 后端的三条暗线
2026-08-09 04:19:53
深度拆解 FFmpeg 9.0「Lei」：媒体只报道了动画WebP和代号故事，但5.2万行代码背后是三条架构主线——Vulkan compute 统一硬件加速层、ST 2094-50 元数据全链路透传、ONNX Runtime GPU 后端让AI推理进入滤镜图。含滤镜链PCIe往返三层验证、元数据diff脚本、七条调优规律与十条踩坑清单。
FFmpeg Vulkan 音视频硬件加速 HDR ONNX Runtime 滤镜链 CUDA 编解码性能优化

DwarfStar 4 深度拆解：当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s

DwarfStar 4 深度拆解：当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎：专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行，在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar Redis antirez DeepSeek MoE 本地推理 LLM 推理引擎 2-Bit量化 KV缓存 Apple Metal CUDA 开源 TIR

SGLang 深度拆解：当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃，一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态

SGLang 深度拆解：当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃，一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29
深度拆解SGLang 27K Star开源LLM推理框架：RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换，附完整部署与调优指南
SGLang LLM推理 RadixAttention FlashInfer GPU加速大模型部署推理引擎 PagedAttention PD分离投机采样 CUDA 开源

RLX 深度拆解：MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学

RLX 深度拆解：MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
2026-08-04 01:43:34
深度拆解MIT RLX纯Rust ML编译器架构：统一IR贯穿图优化到内核调度、15种硬件后端支持、JAX形自动微分、INT8量化感知训练、FPGA综合、Iroh NAT穿透分布式训练，附完整代码示例与性能优化实战指南
RLX Rust ML编译器张量IR 自动微分边缘计算 WebGPU CUDA Apple Silicon 量化部署开源超算

GPU上的无畏并发：cuTile Rust如何用Rust所有权系统破解GPU安全编程难题

GPU上的无畏并发：cuTile Rust如何用Rust所有权系统破解GPU安全编程难题
2026-07-29 10:46:05
深度拆解NVIDIA cuTile Rust：用Rust所有权系统实现GPU内核的编译期安全保证，7TB/s元素级操作、2PFlop/s GEMM达到cuBLAS 96%性能。
Rust GPU编程 cuTile 内存安全无数据竞争 CUDA 所有权系统 NVIDIA

TurboQuant+深度拆解：极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学

TurboQuant+深度拆解：极坐标量化+QJL残差编码——2bit KV Cache压缩重构 LLM 推理经济学
2026-07-28 11:52:16
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+：极坐标量化+QJL残差编码实现2bit KV Cache压缩，配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地，附完整代码实战与选型建议
TurboQuant KV Cache LLM推理 llama.cpp 量化显存优化 Walsh-Hadamard Vulkan CUDA ROCm

TurboQuant+ 深度拆解：用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地

TurboQuant+ 深度拆解：用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:50:04
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+：极坐标量化+QJL残差编码实现2bit KV Cache压缩，配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地，附完整代码实战与选型建议
TurboQuant KV Cache LLM推理 llama.cpp 量化显存优化 Walsh-Hadamard Vulkan CUDA ROCm

TurboQuant+ 深度拆解：用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地

TurboQuant+ 深度拆解：用 2bit KV Cache 压缩重构 LLM 推理经济学——从 Walsh-Hadamard 旋转到 llama.cpp 生产级落地
2026-07-28 11:48:24
深度拆解Google ICLR 2026论文TurboQuant及其工程增强TurboQuant+：极坐标量化+QJL残差编码实现2bit KV Cache压缩，配合llama.cpp跨后端(CUDA/ROCm/Metal/Vulkan)生产级落地，附完整代码实战与选型建议
TurboQuant KV Cache LLM推理 llama.cpp 量化显存优化 Walsh-Hadamard Vulkan CUDA ROCm

CUDA Tile 深度拆解：当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌（2026）

CUDA Tile 深度拆解：当 GPU 编程从「线程思维」跃迁到「数据块思维」——从 Tile IR、cuTile Python 到 Blackwell 硬件映射的工程全貌（2026）
2026-07-18 03:17:24
深度拆解 NVIDIA CUDA 13.1 Tile 编程模型：从 SIMT 到 Tile-based 的范式革命、Tile IR 虚拟指令集、cuTile Python DSL、与 Triton 的竞争格局、Flash Attention 实战案例、完整迁移指南与性能优化技巧。
CUDA GPU编程 cuTile Tile IR Blackwell Tensor Core 高性能计算深度学习 Python

PyTorch 2.13 深度解析：一次把框架换心与跨平台革命讲透

PyTorch 2.13 深度解析：一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51
2026年7月PyTorch 2.13重磅发布：FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心，深度拆解六大核心更新与实战代码。
PyTorch 深度学习机器学习框架 GPU Distributed Training FlexAttention CUDA GEMM ROCm Apple Silicon MPS

Lucebox 深度解析：9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南

Lucebox 深度解析：9.56L 铝合金盒子如何用 RTX 3090 + Ryzen AI MAX+ 395 的 128GB 统一内存 + DFlash 推测解码 + 自研 CUDA 内核让消费级硬件实现 4-6 倍云端推理加速——从硬件架构到开源推理引擎 lucebox-hub 的完整实战指南
2026-07-07 00:44:30
深度解析Lucebox本地AI推理盒子：9.56L铝合金机身塞入RTX 3090+Ryzen AI MAX+ 395的128GB统一内存，配合自研DFlash推测解码和CUDA内核优化，在消费级硬件上实现4-6倍推理加速。从硬件架构到开源引擎lucebox-hub的完整实战指南。
Lucebox 本地推理 AI Agent 推测解码 CUDA RTX 3090 Ryzen AI MAX 开源

vLLM 0.5 深度解析：PagedAttention 架构原理与生产级 LLM 推理优化实战

vLLM 0.5 深度解析：PagedAttention 架构原理与生产级 LLM 推理优化实战
2026-07-04 18:15:46
深度解析 vLLM 0.5 的 PagedAttention 架构原理，涵盖 KV Cache 分页管理、MoE 优化、分布式推理、量化技术，并通过代码实战和性能对比，帮助开发者掌握生产级 LLM 推理最佳实践。
vLLM PagedAttention LLM推理 CUDA KV Cache 深度学习 AI基础设施 Python 生产部署性能优化

万字深度解析 NVIDIA Blackwell 架构：当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南（2026）

万字深度解析 NVIDIA Blackwell 架构：当 GPU 编程遇见「Tile 抽象革命」——从 CUDA 13.1 Python 内核生成到 Blackwell Ultra 30 倍推理加速的完整技术指南（2026）
2026-07-02 07:45:18
深度解析 NVIDIA Blackwell GPU 架构与 CUDA 13.1 Tile 编程模型，涵盖 FP4 量化、Tensor Core v5、NVLink 5.0、DeepSeek V4 推理优化等核心技术，提供完整 Python 实战代码。
Blackwell CUDA GPU编程 AI推理性能优化深度学习并行计算 NVIDIA 量化 Tensor Core

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 python sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调