端侧AI 相关技术文章

php mysql shell go vue css api接口对接支付接口对接

Muse Glimmer 端侧Agent革命：300亿参数模型如何在消费级GPU上跑出生产级性能（2026实战）

Muse Glimmer 端侧Agent革命：300亿参数模型如何在消费级GPU上跑出生产级性能（2026实战）
2026-08-13 18:50:11
深度拆解Meta 2026年8月发布的Muse Glimmer：300亿参数开放权重Dense模型，4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer 端侧AI 知识蒸馏 4bit量化 Agent本地部署 300亿参数 Meta Apache 2.0 llama.cpp Ollama

Meta Muse Glimmer 深度拆解：300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南（2026）

Meta Muse Glimmer 深度拆解：300亿参数端侧Agent模型的工程革命——从知识蒸馏到4bit量化的完整实战指南（2026）
2026-08-13 18:49:00
深度拆解Meta 2026年8月发布的Muse Glimmer：300亿参数开放权重Dense模型，4bit量化可在单张RTX 3090/4090上本地运行。涵盖架构设计、知识蒸馏、量化原理、本地部署实战与性能基准测试。
Muse Glimmer 端侧AI 知识蒸馏 4bit量化 Agent本地部署 300亿参数 Meta Apache 2.0 llama.cpp Ollama

Moonshine 深度解剖：比 Whisper 快 5 倍的端侧语音识别引擎——变长音频、卷积前端、RoPE 与实时流式 ASR 工程实战

Moonshine 深度解剖：比 Whisper 快 5 倍的端侧语音识别引擎——变长音频、卷积前端、RoPE 与实时流式 ASR 工程实战
2026-07-26 01:44:11
深度拆解 Moonshine 端侧语音识别引擎：为何扔掉梅尔频谱与30秒定长、直接吃原始波形按变长计算，配合卷积前端与RoPE做到比Whisper快5倍、体积仅27MB。含Python/ONNX推理、Silero VAD实时流式管线、int8量化与端侧部署优化Checklist。
Moonshine 语音识别 ASR 端侧AI Whisper 流式识别 ONNX RoPE 模型量化边缘计算

Google AI Edge Gallery 深度拆解：当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌（2026）

Google AI Edge Gallery 深度拆解：当手机成为大模型的「离线战场」——从 LiteRT 推理引擎到端侧 GenAI 的工程全貌（2026）
2026-07-18 12:44:38
深度拆解 Google AI Edge Gallery 开源项目：LiteRT 推理引擎架构、INT4 量化原理、多模态支持、模型转换实战、企业级落地场景，配完整 Kotlin 代码示例与性能优化指南。
Google AI Edge Gallery LiteRT 端侧AI 大模型 Android 量化多模态离线推理移动端部署 GenAI

BitNet 深度拆解：当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命（2026）

BitNet 深度拆解：当大模型被压到 1.58 bit——从三元权重、BitLinear 到 bitnet.cpp 的端侧推理革命（2026）
2026-07-17 14:24:55
深度拆解微软 BitNet：1.58-bit 三值量化、Absmean/Absmax、BitLinear、bitnet.cpp 子矩阵内核，附 PyTorch 手写实现与 CPU 端侧推理性能实测。
BitNet 1-bit LLM 大模型推理模型量化端侧AI bitnet.cpp

小米 MiMo UltraSpeed 深度解析：当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越

小米 MiMo UltraSpeed 深度解析：当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度，从O(n²)困境到极致跨越的完整技术指南。
SWA Sliding Window Attention LLM推理小米MiMo 推理优化 Transformer PagedAttention 量化推理端侧AI

WiFi 感知革命：RuView 如何用 9 美元的 ESP32 实现「透视眼」——CSI 空间智能完全指南（2026）

WiFi 感知革命：RuView 如何用 9 美元的 ESP32 实现「透视眼」——CSI 空间智能完全指南（2026）
2026-05-30 17:44:37
深度解析 GitHub 68K Star 开源项目 RuView，从物理层原理到 Rust 工程实现，完整拆解 $9 ESP32 如何实现穿墙感知、呼吸心率监测、姿态估计的 CSI 空间智能系统
ESP32 WiFi CSI 空间感知 Rust Candle 端侧AI 智能家居无接触监测

DeepSeek-R1边缘推理实战：从云端独占到本地智能的范式转移

DeepSeek-R1边缘推理实战：从云端独占到本地智能的范式转移
2026-05-19 12:42:27
2026年，边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理，从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案，提供可直接落地的代码和可量化的性能数据。
DeepSeek R1 边缘计算 AI推理模型蒸馏量化 llama.cpp Ollama 端侧AI

MiniCPM-V 4.6 手机实测：1.3B参数跑满端侧推理，输入框还没缩回结果就出来了

MiniCPM-V 4.6 手机实测：1.3B参数跑满端侧推理，输入框还没缩回结果就出来了
2026-05-13 17:56:16
MiniCPM-V 4.6手机实测体验：输入框还没缩回结果就出来了。1.3B参数推理版token消耗仅为Qwen3.5-0.8B的1/43，TTFT高清大图75.7ms快2.2倍，LLaVA-UHD v4架构视觉编码运算量降低55.8%。
MiniCPM-V 面壁智能端侧AI 手机AI 多模态

MiniCPM-V 4.6：参数砍到1.3B，多模态小钢炮拿下同级第一

MiniCPM-V 4.6：参数砍到1.3B，多模态小钢炮拿下同级第一
2026-05-13 17:38:45
面壁智能发布MiniCPM-V 4.6，参数量仅1.3B，1B级多模态评测第一。仅用Qwen3.5-0.8B的2.5%token量即超越对方。LLaVA-UHD v4架构创新，视觉编码运算量降低55.8%，手机断网秒级响应。
MiniCPM-V 面壁智能多模态端侧AI 密度定律

Google AI Edge Gallery：手机离线跑大模型时代来了，2.2万Star端侧AI神器

Google AI Edge Gallery：手机离线跑大模型时代来了，2.2万Star端侧AI神器
2026-05-09 07:36:45
Google开源AI神器AI Edge Gallery斩获2.2万Star，支持iOS和Android手机离线运行Gemma 4等大模型，提供AI Chat、Ask Image、Audio Scribe、Agent Skills四大功能，消费级入口形态让普通用户轻松体验端侧AI
端侧AI 手机大模型离线推理 Gemma 4 Google开源 iOS Android

Mano-P + Cider：4B模型本地操控Mac，端侧GUI Agent新时代

Mano-P + Cider：4B模型本地操控Mac，端侧GUI Agent新时代
2026-05-07 13:34:32
明略科技开源Mano-P（4B量化模型本地操控Mac）和Cider（MLX推理加速框架）。476 tokens/s预填充，76 tokens/s解码，峰值内存4.3GB，完全本地运行数据不出设备，离线长任务自主规划
GUI Agent 端侧AI Apple Silicon MLX 视觉理解本地运行 Mano-P Cider

2026年端侧AI千亿参数突破深度解析：从量化技术到NPU架构，手机如何跑赢云端大模型

2026年端侧AI千亿参数突破深度解析：从量化技术到NPU架构，手机如何跑赢云端大模型
2026-04-22 03:52:11
深度解析2026年端侧AI千亿参数突破的技术原理：从INT4量化到MoE架构，从存算一体NPU到动态内存优化，揭示手机如何跑赢云端大模型的核心工程密码。
AI 端侧AI 大模型量化 NPU

LiteRT-LM：Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析

LiteRT-LM：Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构：分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比，提供生产级部署实战指南。
Google 端侧AI LiteRT-LM WebGPU 量化 KV Cache TensorFlow Lite LLM推理

大家都在搜索什么？

devops 易支付一个官网+多少钱统一接受回调统一回调 python sub node 宝塔日志 mysql shell ElasticSearch css vue api接口对接 2025 支付接口对接 go php php回调