SoulX-FlashHead 开源：1.3B 参数数字人，一张 4090 跑 96 FPS
数字人这个赛道，这两年卷得飞起。
从最初的静态虚拟主播，到后来的 AI 驱动口型同步，再到如今的全实时流式生成，技术迭代的速度让人眼花缭乱。但说实话，开源领域真正能落地的方案，一直不多。
为什么？成本太高了。
想要一个高质量的实时数字人，要么烧钱租云端算力，要么上专业显卡。对于个人开发者和小团队来说，这门槛实在有点高。更别提那些动辄几十亿参数的大模型，光是推理延迟就够喝一壶的。
最近看到Soul App在除夕前开源的SoulX-FlashHead时，确实被惊艳到了。
直接把数字人门槛打下来了，是一款个人开发者和小团队也能玩得起的工业级的实时数字人模型。
项目介绍
SoulX-FlashHead是 Soul AI Lab 团队开源的一个实时流式数字人生成框架。
它主打一个核心理念：让工业级实时数字人技术真正普惠。
这个项目有多强？先看一组数据：
•仅 1.3B 参数，轻量到离谱
•Lite 版单卡 RTX 4090 跑 96 FPS，显存占用仅 6.4G
•支持 3 路并发流式推理，一台机器服务多个用户
•Pro 版画质顶尖，单卡 4090 可达 10.8 FPS
就是你用一张消费级显卡（家用游戏级PC电脑），就能跑起来一个实时数字人服务。不需要 A100，不需要 H100，一张 RTX 4090 就够了。
核心亮点
1、超轻量设计
SoulX-FlashHead 只有1.3B 参数。
在如今动辄 7B、14B 甚至更大参数的模型世界里，这个体量简直是一股清流。但别小看它，小而精悍才是它的杀手锏。
更小的参数意味着更低的显存占用、更快的推理速度、更低的部署成本。对于资源有限的个人开发者和小团队来说，这简直是福音。
2、双版本策略
项目提供了两个版本，满足不同场景需求：
Lite 版：
• 96 FPS 超高帧率
• 6.4G 显存占用
• 支持 3 路并发
• 适合实时交互场景
Pro 版：
• 画质更精细
• 单卡 4090 可达 10.8 FPS
• 双卡 5090 可达实时 25+ FPS
• 适合高质量视频生成
你可以根据实际需求灵活选择，要速度选 Lite，要画质选 Pro。
3、高并发支持
Lite 版支持3 路并发流式推理。
什么概念？一台机器可以同时服务 3 个用户的实时数字人交互。这对于想要搭建数字人服务的团队来说，意味着更高的资源利用率和更低的运营成本。
4、全开源
代码、模型权重、文档，全部开放。
GitHub 仓库里不仅有完整的推理代码，还有详细的安装教程和使用说明。
团队还开源了VividHead 数据集，包含 782 小时的高质量训练数据，330,000 个短视频片段。
功能特性
1、无限长度流式生成
SoulX-FlashHead 支持无限长度的实时流式视频生成。
传统的数字人生成方法，往往在长序列上会出现身份漂移、画质下降等问题。
但 SoulX-FlashHead 通过Oracle-Guided Bidirectional Distillation技术，有效解决了这个问题，可以持续生成高质量的视频流。
2、高保真音画同步
音频驱动的口型同步是数字人的核心能力。
SoulX-FlashHead 在这方面表现出色，通过Streaming-Aware Spatiotemporal Pre-training技术，确保从短音频片段中提取稳定的特征，实现精准的音画同步。
测试显示，相比 SadTalker、Ditto 等方法，SoulX-FlashHead 在唇音同步一致性上表现更好。
3、整体一致性保持
很多基于抽象运动表示的方法（如 SadTalker），在运动过程中会出现头饰与主体分离的问题。
SoulX-FlashHead 采用整体表示方法，在运动过程中保持头部、头饰、背景的一致性，效果更加自然。
VividHead 数据集
团队构建了一个大规模高质量数据集：
•782 小时视频数据
•330,000 个短视频片段（3s-60s）
•512×512 分辨率
• 严格时间对齐的语音音频
• 丰富的元数据（语言、种族、年龄等）
• 单一说话人、活跃头部区域
关键技术借鉴
项目基于多个优秀开源工作构建：
•Wan：基础模型
•LTX-Video：Lite 版的 VAE
•Self Forcing：代码库基础
•DMD 和 Self Forcing++：关键蒸馏技术
快速上手
创建 Conda 环境：
conda create -n flashhead python=3.10
conda activate flashhead
安装 PyTorch：
pip install torch==2.7.1 torchvision==0.22.1 --index-url https://download.pytorch.org/whl/cu128
安装依赖：
pip install -r requirements.txt
安装 FlashAttention：
pip install ninja
pip install flash_attn==2.8.0.post2 --no-build-isolation
如果安装时间过长，可以从官方链接下载 wheel 文件直接安装。
安装 SageAttention（可选，加速推理）：
pip install sageattention==2.2.0 --no-build-isolation
安装 FFmpeg：
# Ubuntu / Debian
apt-get install ffmpeg
# CentOS / RHEL
yum install ffmpeg ffmpeg-devel
# Conda 方式（无需 root）
conda install -c conda-forge ffmpeg==7
模型下载
# 如果在国内，先设置镜像
export HF_ENDPOINT=https://hf-mirror.com
pip install "huggingface_hub[cli]"
huggingface-cli download Soul-AILab/SoulX-FlashHead-1_3B --local-dir ./models/SoulX-FlashHead-1_3B
huggingface-cli download facebook/wav2vec2-base-960h --local-dir ./models/wav2vec2-base-960h
单卡 Pro 模型推理：
bash inference_script_single_gpu_pro.sh
多卡 Pro 模型推理：
bash inference_script_multi_gpu_pro.sh
单卡 Lite 模型推理：
bash inference_script_single_gpu_lite.sh
写在最后
SoulX-FlashHead 这个项目最让我感动的，不是它 96 FPS 的速度，也不是它 1.3B 的参数量，而是它真正做到了“让工业级实时数字人技术普惠”。
以前，实时数字人是大公司的专利，个人开发者和小团队根本玩不起。但现在，一张 RTX 4090 就能跑起来，而且效果还很好。这种技术平权，才是 AI 最有魅力的地方。
对于想要入局数字人赛道的开发者来说，这是一个绝佳的学习和实战机会。代码开源、模型开源、数据集开源，几乎把能给的都给了。
如果你对数字人技术感兴趣，或者正在寻找一个低成本落地方案，建议去 GitHub 看看。
GitHub：https://github.com/Soul-AILab/SoulX-FlashHead
官网：https://soul-ailab.github.io/soulx-flashhead/
论文：https://arxiv.org/abs/2602.07449