程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
PyTorch 相关技术文章
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
Gaussian Splatting Lightning 训练笔记:多 GPU 要在密化之后开,默认不出 ply
编程
Gaussian Splatting Lightning 训练笔记:多 GPU 要在密化之后开,默认不出 ply
2026-09-24 00:04:58
gaussian-splatting-lightning 是基于 PyTorch Lightning 的 3D Gaussian Splatting 训练框架,可切换 gsplat/diff-gaussian-rasterization。本文记录安装与 nvcc 匹配、大图防 OOM 的几组参数、多 GPU DDP 只能在密化完成后启用的实操、checkpoint 转 ply,以及 MCMC、Appearance Model 等派生算法的配置方式。
gaussian
splatting
3DGS
高斯泼溅
PyTorch
Lightning
gsplat
CUDA
gsplat 上手笔记:三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染
编程
gsplat 上手笔记:三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染
2026-09-24 00:03:49
gsplat 是 CUDA 加速的 3D Gaussian Splatting 光栅化库,训练最多省 4x 显存。本文梳理 PyPI/源码/预编译 wheel 三条安装路径的取舍,PyTorch 2.7+ 与 CUDA 12.8/13.2 构建门槛,default vs MCMC 密化策略,以及 HiGS 仅推理渲染与 LiDAR 支持。
gaussian
splatting
3DGS
高斯泼溅
CUDA
PyTorch
Open-Sora 2.0 开源 11B 视频模型:权重和训练代码全放开,20 万美元训完
编程
Open-Sora 2.0 开源 11B 视频模型:权重和训练代码全放开,20 万美元训完
2026-09-11 23:46:26
Open-Sora 2.0 是潞晨科技开源的 11B 视频生成模型,T2V/I2V 共用权重,支持 256px 与 768px。本文整理它的版本时间线、安装与权重下载命令、推理参数(aspect_ratio、num_frames、offload、motion score)、H100/H800 上的耗时显存实测表,以及 VBench 评测结论与几个容易踩的参数限制。
Open-Sora
视频生成
Diffusion
开源模型
CUDA
PyTorch
LLM 平民化:3 块钱 + 2 小时,从 0 训出 64M 小模型
编程
LLM 平民化:3 块钱 + 2 小时,从 0 训出 64M 小模型
2026-09-10 21:25:21
MiniMind 用约 3 元、2 小时在单卡 3090 上从 0 训出 64M 小语言模型。本文按 README 整理完整链路:数据下载、预训练与 SFT 命令、MoE/RLAIF/Tool Call 训练、词表与 d_model/n_layers 取舍、训练开销与第三方推理部署(llama.cpp/vllm/ollama)。
LLM
MiniMind
PyTorch
模型训练
小语言模型
OpenMythos:10天破万Star,用PyTorch重建Claude Mythos的循环深度Transformer架构
编程
OpenMythos:10天破万Star,用PyTorch重建Claude Mythos的循环深度Transformer架构
2026-09-05 19:00:51
介绍 OpenMythos 这个基于公开论文逆向重建 Anthropic Claude Mythos 理论架构的开源项目:仅68KB,用纯PyTorch实现Recurrent-Depth Transformer,支持GQA/MLA注意力与MoE混合专家,提供1B到1T共7种预设配置,10天斩获万Star。
OpenMythos
Recurrent-Depth Transformer
PyTorch
大模型架构
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
编程
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
2026-07-23 12:17:54
深度解析 AMD ROCm 7.14 正式版:TheRock 模块化构建系统、Ryzen AI Max PRO 400 统一内存架构、PyTorch 2.12+JAX 0.10.0 框架支持,配 HIPify 迁移实战与 vLLM 推理部署完整指南。
ROCm
AMD GPU
HIP
CUDA迁移
PyTorch
JAX
MI350P
Ryzen AI Max
AMD ROCm 7.14 正式版深度解析:从技术预览到生产级 AI 基础设施的完整蜕变
编程
AMD ROCm 7.14 正式版深度解析:从技术预览到生产级 AI 基础设施的完整蜕变
2026-07-23 12:16:06
深度解析 AMD ROCm 7.14 正式版:TheRock 构建系统、Ryzen AI Max PRO 400 硬件支持、PyTorch 2.12 + JAX 0.10.0 框架支持、HIPify CUDA 迁移实战与 vLLM 推理部署完整指南。
ROCm
AMD GPU
HIP
CUDA迁移
PyTorch
JAX
MI350P
Ryzen AI Max
ROCm 7.14
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
编程
TensorRT-LLM 1.0 深度实战:当 PyTorch 架构成为默认体验,NVIDIA 的 LLM 推理引擎正式走向成熟
2026-07-22 10:46:37
深度解析 TensorRT-LLM 1.0:PyTorch 架构正式稳定、LLM API 稳定化、多模态 VLM 原生支持、Qwen3 MoE 优化、LoRA 生产级管理、trtllm-serve 推理服务化,配完整部署实战代码。
TensorRT-LLM
LLM推理
GPU加速
PyTorch
NVIDIA
深度学习
模型部署
推理优化
PyTorch 2.13 深度拆解:从 Metal 原生内核到 4 倍内存优化的工程全貌
编程
PyTorch 2.13 深度拆解:从 Metal 原生内核到 4 倍内存优化的工程全貌
2026-07-17 11:13:32
深度拆解 PyTorch 2.13:FlexAttention 在 Apple Silicon 上提速 12 倍、CUTeDSL 为 Inductor 引入第二条代码生成路径、nn.LinearCrossEntropyLoss 将大词汇量模型显存降低 4 倍、torchcomms 重塑分布式训练通信层、ExecuTorch 正式并入核心,配完整生产级代码实战。
PyTorch
深度学习
AI框架
Metal
FlexAttention
Apple Silicon
分布式训练
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
编程
PyTorch 2.13 深度解析:一次把框架换心与跨平台革命讲透
2026-07-14 01:14:51
2026年7月PyTorch 2.13重磅发布:FlexAttention在Apple Silicon实现12倍加速、CuTeDSL提供CUTLASS级GEMM代码生成、融合损失函数将大词汇量训练峰值显存削减4倍、torchcomms革新分布式通信后端、ExecuTorch正式并入核心,深度拆解六大核心更新与实战代码。
PyTorch
深度学习
机器学习框架
GPU
Distributed Training
FlexAttention
CUDA
GEMM
ROCm
Apple Silicon
MPS
世界模型深度解析:从预测下一个词到预测世界下一秒——NTP 到 NSP 的范式革命与生产级实战指南
编程
世界模型深度解析:从预测下一个词到预测世界下一秒——NTP 到 NSP 的范式革命与生产级实战指南
2026-07-07 02:12:36
深度解析2026年最火爆的AI技术——世界模型:从Next Token Prediction到Next-State Prediction的范式革命。涵盖DreamerV3潜在空间动力学、Google Gemini Omni原生多模态世界模型、EvoPhys-World国产GPU训练突破,含完整PyTorch实战代码。
世界模型
World Model
NTP
NSP
Next-State Prediction
DreamerV3
Gemini Omni
PyTorch
AI
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
编程
万字深度解析 Nano-vLLM:当1200行Python代码重构大模型推理——从架构设计到性能超越vLLM的完整技术指南(2026)
2026-07-01 14:44:55
Nano-vLLM:用约1200行Python代码实现的轻量级vLLM替代方案。深度解析KV Cache管理、GQA注意力、RoPE位置编码、Continuous Batching等核心技术,Benchmark性能超越vLLM 5.3%。适合学习大模型推理原理和内网轻量级部署。
Nano-vLLM
大模型推理
LLM
Tensor Parallelism
KV Cache
Continuous Batching
Python
PyTorch
Qwen2
开源项目
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
编程
gsplat深度解析:3D高斯泼溅的CUDA加速革命——从伯克利/英伟达开源库到生产级实时渲染
2026-06-30 15:18:05
深度解析UC伯克利/NVIDIA等机构联合开发的gsplat开源库:CUDA加速的3D高斯泼溅渲染引擎,节省4倍显存、缩短15%训练时间,涵盖数学原理、CUDA架构、训练流程、性能优化与生产应用。
gsplat
3D Gaussian Splatting
CUDA
图形渲染
3D重建
NeRF
实时渲染
PyTorch
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
编程
从140GB到4GB:AirLLM无量化层间推理原理深度剖析与生产级部署实战(2026)
2026-06-22 19:28:19
深入解析 AirLLM 的无量化层间 Offloading 技术原理,探讨如何通过 CPU-GPU 混合推理在 4GB 显存上运行 70B 大模型,附完整代码实战与生产部署指南。
LLM推理
GPU优化
CPU Offload
层间调度
AirLLM
PyTorch
SwanLab 深度实战:当国产开源 AI 训练跟踪工具遇见 W&B 替代方案——从 PyTorch 全链路监控到私有化部署、从硬件感知到多框架集成的生产级完全指南(2026)
编程
SwanLab 深度实战:当国产开源 AI 训练跟踪工具遇见 W&B 替代方案——从 PyTorch 全链路监控到私有化部署、从硬件感知到多框架集成的生产级完全指南(2026)
2026-06-21 18:24:22
深度解析 SwanLab——国产开源 AI 训练跟踪工具,对标 W&B 和 MLflow。涵盖架构设计、PyTorch/Transformers/LLaMA Factory 集成、硬件全链路监控、实验对比、私有化部署(Docker/K8s)、SDK v0.8.0 性能优化等内容。
SwanLab
AI训练
PyTorch
W&B替代
MLflow
实验跟踪
硬件监控
私有化部署
Stanford CS336 深度实战:从零实现大语言模型——数据清洗、Transformer 架构、FlashAttention 系统优化到 RL 对齐的完全指南(2026)
编程
Stanford CS336 深度实战:从零实现大语言模型——数据清洗、Transformer 架构、FlashAttention 系统优化到 RL 对齐的完全指南(2026)
2026-06-02 20:14:38
Stanford CS336 课程深度解读:从零实现大语言模型,覆盖 Tokenizer、Transformer、FlashAttention-2、FSDP 分布式训练、Scaling Law、Common Crawl 数据清洗去重、SFT 与 GRPO 对齐,配完整代码示例。
LLM
Transformer
Stanford CS336
FlashAttention
PyTorch
AI工程
分布式训练
强化学习
tinygrad 深度解析:从零构建轻量级深度学习框架——比PyTorch更hackable,比JAX更简洁
编程
tinygrad 深度解析:从零构建轻量级深度学习框架——比PyTorch更hackable,比JAX更简洁
2026-05-01 09:05:59
从Tensor抽象到IR编译全栈解析,tinygrad轻量级深度学习框架深度实战
tinygrad
深度学习
框架
PyTorch
JAX
TinyGrad 深度解析:31K Star 的极简深度学习框架,为什么"小而可Hack"才是未来
编程
TinyGrad 深度解析:31K Star 的极简深度学习框架,为什么"小而可Hack"才是未来
2026-04-29 15:53:15
深入剖析31K Star的TinyGrad框架:极简架构设计、IR编译器原理、延迟求值机制,以及为什么"小而可Hack"可能是深度学习框架的终极答案。
TinyGrad
深度学习
PyTorch
开源框架
AI
花3块钱、2小时训练一个64M的"小破模型",能干啥?
编程
花3块钱、2小时训练一个64M的"小破模型",能干啥?
2026-04-21 09:05:56
MiniMind:从零手写完整LLM训练流水线,64M参数,2小时+3块钱训练完成,支持预训练+SFT+RLHF+工具调用,适合Multi-Agent/自动化/端侧集成
开源
LLM
PyTorch
模型训练
MiniMind
AI
工具调用
RLHF
AutoResearch 深度解析:当 Karpathy 让 AI 在单 GPU 上学会“自己做研究”——从 nanochat 训练到科研范式的原子革命
编程
AutoResearch 深度解析:当 Karpathy 让 AI 在单 GPU 上学会“自己做研究”——从 nanochat 训练到科研范式的原子革命
2026-04-14 15:26:51
630行Python代码,62K Stars,Karpathy新作AutoResearch如何让AI在单GPU上自主完成机器学习研究?深度解析其六阶段研究循环、异步调度架构和代码生成引擎。
AI
机器学习
AutoML
Karpathy
PyTorch
nanochat
Helios深度解析:北大袁粒团队如何用14B参数重塑实时视频生成——从架构革命到工程落地的全解
编程
Helios深度解析:北大袁粒团队如何用14B参数重塑实时视频生成——从架构革命到工程落地的全解
2026-04-13 05:23:52
深入解析北京大学袁粒团队发布的Helios 14B实时长视频生成模型,涵盖三阶段训练流程、统一历史注入、金字塔预测校正器、对抗层次蒸馏等核心技术创新,以及完整部署实战指南
视频生成
Helios
扩散模型
深度学习
实时推理
PyTorch
HuggingFace
Gemma MacOS Tuner 深度解析:在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma
编程
Gemma MacOS Tuner 深度解析:在 Apple Silicon 上用 PyTorch 和 MPS 高效微调多模态 Gemma
2026-04-09 01:14:39
详解 gemma-tuner-multimodal 项目:在 Apple Silicon 上通过 PyTorch MPS 后端对 Google Gemma 系列模型进行 LoRA 微调,支持文本、图像、音频三种模态,完全本地运行,数据不出机器,零 NVIDIA GPU 依赖。
Gemma
Apple Silicon
PyTorch
MPS
LoRA
微调
Machine Learning
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调