MoE 相关技术文章

php mysql shell go vue css api接口对接支付接口对接

阿里除夕开源 Qwen3.5：397B 总参数仅激活 17B，硬刚顶级闭源模型

阿里除夕开源 Qwen3.5：397B 总参数仅激活 17B，硬刚顶级闭源模型
2026-09-12 09:48:40
阿里通义除夕开源 Qwen3.5-397B-A17B：MoE+线性注意力架构，每次推理仅激活 17B 参数，性能对标 GPT-5.2 与 Gemini 3 Pro，支持 1M 上下文、201 种语言与原生多模态，解码吞吐量是 Qwen3-Max 的 19 倍。
Qwen3.5 大模型 MoE 多模态阿里开源

8G 显存跑 35B、单张游戏卡扛 753B：FreeToken 把"装不下"改写成"算得动"

8G 显存跑 35B、单张游戏卡扛 753B：FreeToken 把"装不下"改写成"算得动"
2026-09-08 20:57:48
开源 MoE 推理引擎 FreeToken 把"权重装不进显存"重写成"按带宽调度算专家"：8G 显存跑 35B、单张游戏卡扛 753B。本文讲清 q* 带宽自适应、五种 MoE 后端取舍与门槛口径。
FreeToken MoE 本地推理显存带宽调度 GPU

Hugging Face Transformers v5.16.0 发布：新增 Qwen4-Exp、Granite Speech 5.0 与 Step-3.7-Flash 支持

Hugging Face Transformers v5.16.0 发布：新增 Qwen4-Exp、Granite Speech 5.0 与 Step-3.7-Flash 支持
2026-09-07 03:11:58
Hugging Face Transformers v5.16.0 发布：新增 Qwen4-Exp（线性+稀疏注意力混合架构）、Granite Speech 5.0 Turbo CTC（4.7 亿参数轻量 ASR）和 Step-3.7-Flash（198B 稀疏 MoE 视觉语言模型）支持，共 114 个提交。
HuggingFace Transformers Qwen4 语音识别 MoE 大模型视觉语言模型

用投机解码协同设计 AI 模型：NVIDIA 提出的五个草稿长度与机制选择指南

用投机解码协同设计 AI 模型：NVIDIA 提出的五个草稿长度与机制选择指南
2026-09-07 03:11:57
NVIDIA 提出投机解码协同设计五个指南：选择草稿长度（GEMM 计算密集区、D=128/G-1、tile 对齐、延迟收益）和草稿机制（EAGLE-3、MTP、DFlash 等），在保持准确率的前提下加速 LLM 推理，优化吞吐量与交互性权衡。
NVIDIA 投机解码 LLM推理 EAGLE-3 性能优化 MoE TensorRT

HuggingFace Transformers v5.14.0 发布：支持 Inkling 多模态大模型（975B 参数）

HuggingFace Transformers v5.14.0 发布：支持 Inkling 多模态大模型（975B 参数）
2026-09-05 20:44:56
HuggingFace 发布 Transformers v5.14.0，新增对 Thinking Machines 公司 Inkling 模型的支持。Inkling 是通用多模态 MoE 模型，总参数 975B、激活参数 41B，支持文本、图像、音频输入和文本输出。
HuggingFace Transformers Inkling 大模型多模态 MoE AI 深度学习

kimi-k3-in-c：纯C99实现的Kimi K3推理引擎，176KB二进制，8GB内存可跑2.78万亿参数模型

kimi-k3-in-c：纯C99实现的Kimi K3推理引擎，176KB二进制，8GB内存可跑2.78万亿参数模型
2026-09-05 19:05:56
介绍kimi-k3-in-c这个用纯C99编写的Kimi K3推理引擎：2.78万亿参数模型无需显卡，普通电脑靠CPU和8GB内存即可运行，引擎仅176KB，零框架零GPU零依赖，输出与PyTorch官方实现逐字节一致。通过四重压缩将5.56TB模型压缩到8.24GB运行内存，GitHub Star超3800。
kimi-k3-in-c 大模型推理 C语言 MoE 本地部署

colibri：2400 行 C 代码实现的超大模型本地推理引擎，12700 Star

colibri：2400 行 C 代码实现的超大模型本地推理引擎，12700 Star
2026-09-05 19:04:00
介绍 colibri 这个零依赖的 C 语言推理引擎：通过将模型拆分为常驻内存的密集部分和磁盘按需加载的专家部分，实现 25GB 内存运行 7440 亿参数的 GLM 5.2 模型，支持 MLA 注意力压缩、MTP 推测解码和 OpenAI 兼容 API，GitHub 已获 12700 Star。
colibri 大模型推理本地部署 MoE GLM

MoE 路由为什么不稳定，以及怎么稳定

MoE 路由为什么不稳定，以及怎么稳定
2026-08-30 15:21:47
MoE 路由为什么总不稳定：路由波动有具体数字（40.9% token 训练 20% 仍无稳定目标专家），路由坍塌与负载不均是常见工程坑。文章讲清 top-k 显式路由的局限，以及 z-loss、蒸馏路由器冻结、潜空间路由、DeepSeek 动态偏置、共享专家五条稳定化路线的取舍与适用场景。
StableLatentMoE MoE 大模型架构 token

通义千问 Qwen3.8-27B 深度解析：Max 级旗舰权重首次开源，270 亿参数 Dense 模型如何在家用显卡上跑出旗舰性能

通义千问 Qwen3.8-27B 深度解析：Max 级旗舰权重首次开源，270 亿参数 Dense 模型如何在家用显卡上跑出旗舰性能
2026-08-17 18:44:06
深度拆解阿里 Qwen3.8-27B：2.4T 旗舰与 27B 开源版的关系、MoE 架构细节、Dense 模型设计、vLLM/Ollama/昇腾部署实战、性能实测，以及完整的本地 RAG 代码示例。Apache 2.0 开源，家用显卡可跑。
Qwen3.8 通义千问大模型 MoE Dense架构 vLLM Ollama 本地部署

DeepSeek V4 Pro 深度拆解：1.6万亿参数MoE与百万上下文，从 CSA/HCA 分层注意力到 Agent 实战的完整指南（2026）

DeepSeek V4 Pro 深度拆解：1.6万亿参数MoE与百万上下文，从 CSA/HCA 分层注意力到 Agent 实战的完整指南（2026）
2026-08-13 23:12:57
深度拆解 DeepSeek V4 Pro：1.6万亿参数MoE、49B激活、CSA/HCA分层注意力、百万上下文成本结构、OpenAI/Anthropic双协议兼容与Agent代码实战，附15条生产踩坑清单。
DeepSeek V4 Pro MoE 长上下文 Agent 大模型

OpenVINO 2026.3 深度拆解：从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南

OpenVINO 2026.3 深度拆解：从推理工具到「让大模型在 16GB 内存跑起来」的工程实践完全指南
2026-08-13 08:43:23
深度拆解OpenVINO 2026.3：磁盘卸载让300亿MoE模型在16GB内存运行、懒加载权重降低内存峰值、HuggingFace Transformers 5.5兼容、GenAI新流水线、EAGLE-3推测解码扩展，配完整Python/C++代码示例与15条生产踩坑清单。
OpenVINO AI推理 Intel 深度学习模型部署 CPU推理 GPU推理 MoE 磁盘卸载大模型

Intel OpenVINO 2026.3 深度拆解：当推理工具包决定拥抱 Agentic AI——从 MoE 磁盘卸载到 GenAI 三条流水线全链路实战

Intel OpenVINO 2026.3 深度拆解：当推理工具包决定拥抱 Agentic AI——从 MoE 磁盘卸载到 GenAI 三条流水线全链路实战
2026-08-12 14:45:58
深度拆解 Intel OpenVINO 2026.3：MoE 磁盘卸载让 300 亿参数模型跑在 16GB 内存、三条 GenAI 新流水线（多模态 Omni/ASR/嵌入生成）、FP8 量化和持续批处理全链路实战，配完整 Python 代码与 15 条生产踩坑清单
OpenVINO Intel AI推理 MoE GenAI 边缘计算模型压缩 FP8量化持续批处理推测解码

OpenVINO 2026.3 深度拆解：从 MoE 磁盘卸载到 FP8 量化，Intel 的端侧 AI 推理全家桶又升级了

OpenVINO 2026.3 深度拆解：从 MoE 磁盘卸载到 FP8 量化，Intel 的端侧 AI 推理全家桶又升级了
2026-08-10 11:46:27
深度拆解 Intel OpenVINO 2026.3 四大核心更新：MoE 磁盘卸载让 300B 模型跑在 16GB 机器上、Linux 懒加载消除权重复制、FP8 量化新能力、三条 GenAI 新流水线，配完整代码实战与性能数据对比
OpenVINO Intel AI推理 MoE FP8量化端侧部署 NNCF LLM CPU推理

AirLLM深度拆解：用分层流式推理打破显存壁垒——从4GB显卡跑通70B大模型的工程极限到MoE时代的新坐标

AirLLM深度拆解：用分层流式推理打破显存壁垒——从4GB显卡跑通70B大模型的工程极限到MoE时代的新坐标
2026-08-09 08:42:54
深度拆解AirLLM：用分层流式推理打破显存壁垒，从4GB显卡跑通70B大模型的工程原理到MoE时代的新坐标，配完整代码示例与实战指南。
AirLLM LLM推理显存优化 MoE Transformer Python AI部署

Intel OpenVINO 2026.3 深度拆解：让 300 亿参数 MoE 模型跑进 16GB 内存的工程实践

Intel OpenVINO 2026.3 深度拆解：让 300 亿参数 MoE 模型跑进 16GB 内存的工程实践
2026-08-09 03:16:31
深度拆解 Intel OpenVINO 2026.3：MoE 模型磁盘卸载（16GB 运行 30B MoE）、FP8 量化、NNCF、持续批处理、至强 6+ AMX 加速、Omni 多模态流水线等核心新特性，含可运行代码与十大生产踩坑清单。
OpenVINO Intel AI推理模型部署 LLM MoE FP8量化持续批处理异构计算 NPU CPU优化

Qwen3.8-Max 深度拆解：当阿里决定「用 2.4 万亿参数只激活 4%」——从稀疏 MoE 路由到混合注意力分层，一个 PaperBench 全球第一的旗舰模型如何用「极致稀疏化 + 自主进化」重新定义国产大模型的终极形态

Qwen3.8-Max 深度拆解：当阿里决定「用 2.4 万亿参数只激活 4%」——从稀疏 MoE 路由到混合注意力分层，一个 PaperBench 全球第一的旗舰模型如何用「极致稀疏化 + 自主进化」重新定义国产大模型的终极形态
2026-08-06 06:42:51
深度拆解阿里Qwen3.8-Max旗舰大模型：2.4T MoE架构、混合注意力分层、16天自主编程、125小时论文复现，PaperBench全球第一的技术内幕
Qwen3.8-Max MoE 混合注意力大模型阿里千问 AI Agent PaperBench 自主编程

DeepSeek V4 Flash 深度拆解：当后训练决定「不改架构只改脑子」——从 DSA2 混合注意力到 98% 缓存命中，一个 13B 激活参数的轻量模型如何用「后训练革命」在 9 项 Agent 基准上全面超越自家 1.6 万亿旗舰预览版

DeepSeek V4 Flash 深度拆解：当后训练决定「不改架构只改脑子」——从 DSA2 混合注意力到 98% 缓存命中，一个 13B 激活参数的轻量模型如何用「后训练革命」在 9 项 Agent 基准上全面超越自家 1.6 万亿旗舰预览版
2026-08-05 22:19:15
深度拆解DeepSeek V4-Flash正式版：13B激活参数如何通过后训练革命在9项Agent基准上超越1.6万亿旗舰预览版，98%缓存命中实现/bin/zsh.03单任务成本，DSA2混合注意力架构全面解析
DeepSeek V4-Flash MoE DSA2 Agent 开源大模型稀疏注意力后训练成本优化国产算力

Qwen3.8-Max 深度拆解：当阿里决定「把 2.4 万亿参数的 Max 模型开源」——从 MoE 架构到 16 天自主编程，一个首次开源的旗舰大模型如何用「激活 95B 跑出 2.4T 效果」重新定义开源模型的终极形态

Qwen3.8-Max 深度拆解：当阿里决定「把 2.4 万亿参数的 Max 模型开源」——从 MoE 架构到 16 天自主编程，一个首次开源的旗舰大模型如何用「激活 95B 跑出 2.4T 效果」重新定义开源模型的终极形态
2026-08-05 18:47:19
深度拆解阿里Qwen3.8-Max：2.4万亿参数MoE旗舰，首次开源Max级权重，100万token上下文，16天自主编程oh-my-cli项目，Gated DeltaNet混合注意力架构，Arena全球第二，Apache 2.0完全可商用
Qwen3.8 Qwen 阿里大模型 MoE 开源人工智能 Apache 2.0 自主编程 oh-my-cli

DwarfStar 4 深度拆解：当 Redis 之父决定「给 284B 大模型造一个专属引擎」——从 Metal GPU 到磁盘 KV 缓存，一个 10K Star 的极简推理栈如何用 One Model One Engine 哲学重新定义本地 AI 推理的终极形态

DwarfStar 4 深度拆解：当 Redis 之父决定「给 284B 大模型造一个专属引擎」——从 Metal GPU 到磁盘 KV 缓存，一个 10K Star 的极简推理栈如何用 One Model One Engine 哲学重新定义本地 AI 推理的终极形态
2026-08-05 12:17:17
深度拆解Redis创始人antirez打造的DeepSeek V4 Flash专用本地推理引擎DwarfStar 4：One Model One Engine哲学、非对称量化策略、磁盘KV缓存、双协议兼容层，附完整架构分析与性能基准
DwarfStar DeepSeek 本地推理 MoE Metal Apple Silicon antirez Redis AI推理开源

Qwen3.8-Max 深度拆解：当阿里决定「把 2.4 万亿参数的旗舰模型开源」——MoE 稀疏路由、百万 Token 上下文与自主编码能力如何重新定义开源大模型的终极形态

Qwen3.8-Max 深度拆解：当阿里决定「把 2.4 万亿参数的旗舰模型开源」——MoE 稀疏路由、百万 Token 上下文与自主编码能力如何重新定义开源大模型的终极形态
2026-08-05 05:46:24
深度拆解阿里Qwen3.8-Max：2.4万亿参数MoE旗舰模型，950亿激活参数，100万Token上下文，原生多模态，自主编码16天265次提交，Arena全球第二，Max级模型首次开源
Qwen3.8 MoE 开源大模型阿里千问混合专家 100万Token 自主编码多模态 2.4万亿参数

DeepSeek V4 Flash 深度拆解：当一个「轻量级」模型单日吞掉8万亿Token——静态知识分离、MoE稀疏路由与百万上下文如何重新定义AI推理的经济底线

DeepSeek V4 Flash 深度拆解：当一个「轻量级」模型单日吞掉8万亿Token——静态知识分离、MoE稀疏路由与百万上下文如何重新定义AI推理的经济底线
2026-08-05 04:13:52
深度拆解DeepSeek V4 Flash：284B总参数13B激活参数的MoE架构如何通过静态知识分离和两级路由器实现单日8万亿Token调用量，百万token上下文+极致定价重新定义AI推理经济底线
DeepSeek V4 Flash MoE 静态知识分离稀疏路由百万Token上下文 AI推理开源大模型成本优化

Kimi K3 深度拆解：当月之暗面决定「把开源模型的天花板从 1.6T 抬到 2.8T」——KDA 注意力、Stable LatentMoE 与自进化 GPU 内核如何重新定义 3 万亿级开源大模型的终极形态

Kimi K3 深度拆解：当月之暗面决定「把开源模型的天花板从 1.6T 抬到 2.8T」——KDA 注意力、Stable LatentMoE 与自进化 GPU 内核如何重新定义 3 万亿级开源大模型的终极形态
2026-08-05 03:45:07
深度拆解2.8万亿参数全球最大开源模型Kimi K3：KDA混合线性注意力机制、Stable LatentMoE稀疏专家路由、Attention Residuals选择性深度表示、Per-Head Muon逐头优化器，附完整架构分析与部署指南
Kimi K3 月之暗面开源大模型 KDA注意力 MoE 2.8万亿参数 AI Agent GPU内核优化

DwarfStar 4 深度拆解：当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s

DwarfStar 4 深度拆解：当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎：专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行，在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar Redis antirez DeepSeek MoE 本地推理 LLM 推理引擎 2-Bit量化 KV缓存 Apple Metal CUDA 开源

Qwen3.8 深度拆解：当阿里巴巴用 2.4 万亿参数 MoE 架构决定「干掉所有编程助手」——从 Gated DeltaNet 混合注意力到 100 万上下文 Token 的 Agent-First 大模型工程哲学

Qwen3.8 深度拆解：当阿里巴巴用 2.4 万亿参数 MoE 架构决定「干掉所有编程助手」——从 Gated DeltaNet 混合注意力到 100 万上下文 Token 的 Agent-First 大模型工程哲学
2026-08-04 09:16:35
深度拆解阿里巴巴2.4万亿参数Qwen3.8大模型：稀疏MoE架构、Gated DeltaNet混合注意力、100万上下文Token、编程+办公双引擎、完整部署代码与性能基准对比
Qwen3.8 阿里巴巴 MoE 大模型开源 2.4万亿参数 Gated DeltaNet 混合注意力 Agent 编程助手千问办公开源模型 vLLM

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 python sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调