显存相关技术文章

php mysql shell go vue css api接口对接支付接口对接

faster-whisper 实践：batch_size=8 把 13 分钟音频从 1m03s 压到 17s，CUDA 12/cuDNN 9 配对与 int8 取舍

faster-whisper 实践：batch_size=8 把 13 分钟音频从 1m03s 压到 17s，CUDA 12/cuDNN 9 配对与 int8 取舍
2026-10-02 00:04:05
faster-whisper 用 CTranslate2 重写 Whisper 推理，同精度下快最多 4 倍。本文给出 GPU/CPU 实测基准表，讲清 CUDA 12 + cuDNN 9 的版本配对与降级方案、segments 生成器惰性执行、int8 与 batch_size=8 的取舍、VAD 参数和模型转换命令。
Faster-Whisper 语音识别 CTranslate2 推理加速 CUDA 显存

窗口 1M 不等于用得好：token 实测、KV Cache 显存账与针入草堆评测

窗口 1M 不等于用得好：token 实测、KV Cache 显存账与针入草堆评测
2026-09-30 00:03:10
长度上限只说明模型能接收多长的输入，不保证用得好。这篇把长上下文拆成三个可验证问题：用训练一致的 tokenizer 实测真实 token 数、按 KV Cache 显存公式估算 O(n²) 注意力的瓶颈、用针入草堆评测分段统计首/中/尾成功率，并给出 RoPE 外推方案与排查顺序。
LongContext 长上下文上下文窗口 KV Cache RoPE LLM 显存

gsplat 上手笔记：三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染

gsplat 上手笔记：三条安装路径、PyTorch 2.7+ 门槛与 HiGS 推理渲染
2026-09-24 00:03:49
gsplat 是 CUDA 加速的 3D Gaussian Splatting 光栅化库，训练最多省 4x 显存。本文梳理 PyPI/源码/预编译 wheel 三条安装路径的取舍，PyTorch 2.7+ 与 CUDA 12.8/13.2 构建门槛，default vs MCMC 密化策略，以及 HiGS 仅推理渲染与 LiDAR 支持。
gaussian splatting 3DGS 高斯泼溅 CUDA PyTorch 显存

SoulX-FlashHead 开源：1.3B 参数数字人，一张 4090 跑 96 FPS

SoulX-FlashHead 开源：1.3B 参数数字人，一张 4090 跑 96 FPS
2026-09-12 09:48:53
Soul AI Lab 开源实时数字人模型 SoulX-FlashHead：仅 1.3B 参数，Lite 版单卡 RTX 4090 跑 96 FPS、显存 6.4G，支持 3 路并发流式推理与无限长度生成，音画同步精准，并开源 782 小时 VividHead 数据集。
SoulX-FlashHead 数字人实时生成轻量模型 Soul 算力显存

faster-whisper：Whisper 推理提速 4 倍、显存砍半的 CTranslate2 实现

faster-whisper：Whisper 推理提速 4 倍、显存砍半的 CTranslate2 实现
2026-09-12 09:46:57
faster-whisper 基于 CTranslate2 重写 OpenAI Whisper 推理引擎：13 分钟音频转写从 2 分 23 秒降到 59 秒（批量模式 16 秒），显存占用降低约 38%，内置 Silero VAD 防幻觉，API 与官方版几乎一致，迁移只需改几行代码。
faster-whisper Whisper 语音识别 CTranslate2 量化转录显存

8G 显存跑 35B、单张游戏卡扛 753B：FreeToken 把"装不下"改写成"算得动"

8G 显存跑 35B、单张游戏卡扛 753B：FreeToken 把"装不下"改写成"算得动"
2026-09-08 20:57:48
开源 MoE 推理引擎 FreeToken 把"权重装不进显存"重写成"按带宽调度算专家"：8G 显存跑 35B、单张游戏卡扛 753B。本文讲清 q* 带宽自适应、五种 MoE 后端取舍与门槛口径。
FreeToken MoE 本地推理显存带宽调度 GPU

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 python sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调