程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
编程
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
2026-07-24 07:44:31 +0800 CST
view 211
KTransformers 通过 CPU/GPU 异构计算,让一块 RTX 5090(32GB 显存)能跑起 100B+ MoE 大模型,且无需量化压缩,保持原精度 FP16。实测比 llama.cpp Q8_0 快 4.5 倍。本文深度拆解其专家细粒度卸载、异步预取、DMA 优化等核心技术,以及实战部署指南。
KTransformers
LLM推理
MoE
异构计算
DeepSeek
SGLang
CPU Offload
本地部署
GPU优化
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
编程
llama.cpp 架构深度拆解:从 GGML 到 GGUF、量化内核到跨平台推理栈,一文吃透本地 LLM 推理工程化
2026-08-01 08:18:35 +0800 CST
view 177
深度拆解 llama.cpp 全栈架构:从 GGML 到 GGUF 格式演进、K-Quant 量化内核原理、ggml 张量计算图层、libllama 推理逻辑层、10+ 硬件后端调度,以及生产调优实战与踩坑清单。
llama.cpp
GGUF
GGML
量化
本地LLM
CPU推理
GPU加速
跨平台
K-Quant
WebNN + WebGPU + WASM 三端融合:2026年浏览器端AI推理的终极架构——从零构建生产级推理引擎
编程
WebNN + WebGPU + WASM 三端融合:2026年浏览器端AI推理的终极架构——从零构建生产级推理引擎
2026-06-27 07:12:19 +0800 CST
view 460
2026年WebNN、WebGPU、WASM三端融合的浏览器端AI推理架构深度实战。从环境探测、模型加载、推理执行到性能优化,完整代码实现生产级推理引擎。
WebNN
WebGPU
WASM
浏览器AI推理
ONNX Runtime
NPU加速
端侧推理
Warp 开源深度实战:从 Rust GPU 渲染到 AI Agent 原生集成——一个 60+ Crate 终端项目的架构全链路解析
编程
Warp 开源深度实战:从 Rust GPU 渲染到 AI Agent 原生集成——一个 60+ Crate 终端项目的架构全链路解析
2026-05-06 22:06:17 +0800 CST
view 796
Warp终端2026年4月开源,AGPL v3协议,60+ Cargo crate。深度解析Block-Based输出模型、WarpUI GPU渲染框架、AI Agent原生集成(23种Action类型、9种上下文、MCP协议)、Oz云代理平台架构。含源码级代码示例和编译调试指南。
Warp
Rust
AI Agent
终端
GPU渲染
MCP
开源
WarpUI
PlayCanvas 深度实战:当浏览器遇上 WebGPU——从 WebGL 后时代到生产级 3D 游戏引擎的完全指南(2026)
编程
PlayCanvas 深度实战:当浏览器遇上 WebGPU——从 WebGL 后时代到生产级 3D 游戏引擎的完全指南(2026)
2026-06-09 16:51:07 +0800 CST
view 631
深入剖析 PlayCanvas 游戏引擎如何整合 WebGPU 技术,从 Compute Shader 粒子系统到 3D Gaussian Splatting 革命性渲染,带你掌握浏览器端 3D 游戏开发的最新技术栈。
WebGPU
PlayCanvas
3D游戏引擎
WebGL
Compute Shader
Gaussian Splatting
前端图形渲染
OpenAI Codex 2026 全面深度实战:从安装到成为你的「AI 编程队友」
编程
OpenAI Codex 2026 全面深度实战:从安装到成为你的「AI 编程队友」
2026-05-26 15:39:03 +0800 CST
view 881
2026年5月OpenAI Codex迎来史上最大更新:CLI、移动端、Chrome插件全面上线。本文从零开始,全面解析Codex的核心用法,通过10个实战案例教你把它变成真正的「AI编程队友」。
OpenAI
Codex
AI编程
ChatGPT
GPT-5
AI Agent
自动化
开发工具
CLI
WebAssembly 升级一等公民:2026年浏览器端的范式革命与工程实战指南
编程
WebAssembly 升级一等公民:2026年浏览器端的范式革命与工程实战指南
2026-07-10 16:47:35 +0800 CST
view 172
深度解析2026年WebAssembly成为Web一等编程语言的范式革命,涵盖原生DOM操作、多语言支持、多线程计算、WebGPU协同、性能优化与工程实战,配完整Rust/Go/Python代码示例
WebAssembly
WASM
WebGPU
Rust
Go
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
编程
RLX 深度拆解:MIT 如何用纯 Rust 写出一个「编译器+运行时合一」的 ML 框架——从 JAX 形状的张量 IR 到 15 种硬件后端的全栈工程哲学
2026-08-04 01:43:34 +0800 CST
view 116
深度拆解MIT RLX纯Rust ML编译器架构:统一IR贯穿图优化到内核调度、15种硬件后端支持、JAX形自动微分、INT8量化感知训练、FPGA综合、Iroh NAT穿透分布式训练,附完整代码示例与性能优化实战指南
RLX
Rust
ML编译器
张量IR
自动微分
边缘计算
WebGPU
CUDA
Apple Silicon
量化部署
开源
NVIDIA Vera Rubin 深度实战:当 GPU 集群变成了一台超级计算机——从 7 芯片协同到 NVLink 6 全互联、从 MoE 推理 10 倍能效到 AI 工厂架构的开发者完全指南(2026)
编程
NVIDIA Vera Rubin 深度实战:当 GPU 集群变成了一台超级计算机——从 7 芯片协同到 NVLink 6 全互联、从 MoE 推理 10 倍能效到 AI 工厂架构的开发者完全指南(2026)
2026-06-21 14:55:20 +0800 CST
view 648
Vera Rubin 平台深度实战:7芯片协同架构、NVLink 6全互联、MoE推理10倍能效、Vera CPU异构计算、开发者部署优化完全指南
NVIDIA
Rubin
GPU
AI
HBM4
NVLink
MoE
Warp 深度拆解:当一个 52K Star 的终端决定「成为 IDE」——从 Rust 重写到 Agentic Development Environment 的架构革命如何重新定义命令行的未来
编程
Warp 深度拆解:当一个 52K Star 的终端决定「成为 IDE」——从 Rust 重写到 Agentic Development Environment 的架构革命如何重新定义命令行的未来
2026-08-04 02:14:36 +0800 CST
view 112
深度拆解Warp 52K Star开源AI终端架构:Rust重写核心引擎、自研WarpUI声明式框架、GPU加速渲染管线、Block-based输出信息架构、三层AI集成与Oz多智能体编排平台、Warp Drive团队协作Runbook、Agent-First开源模式,附完整代码示例与性能基准对比
Warp
Rust
终端
AI
ADE
开发者工具
开源
命令行
GPU渲染
智能体
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 519
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
编程
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
2026-07-23 08:13:30 +0800 CST
view 260
2026年四大主流大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从核心技术优化、吞吐量延迟、算力成本、部署适配性四大维度开展极致测评,为企业技术选型提供精准参考。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
PagedAttention
FlashAttention
量化推理
GPU推理优化
wasm-pack 1.0 深度解析:Rust WASM 端侧计算的内存管理与性能调优实战
编程
wasm-pack 1.0 深度解析:Rust WASM 端侧计算的内存管理与性能调优实战
2026-04-19 08:16:43 +0800 CST
view 748
深度解析 wasm-pack 1.0 发布后 Rust WASM 的内存管理与性能调优实战,涵盖零拷贝传递、内存泄漏防护、WebGPU 结合等技术要点。
WebAssembly
wasm-pack
Rust
性能优化
内存管理
WebGPU
前端架构
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
编程
shimmy v2.3.0 深度解析:纯 Rust WebGPU 推理引擎如何让 GGUF 模型跑满你的每一块 GPU
2026-07-23 11:45:35 +0800 CST
view 187
深度解析纯 Rust WebGPU 推理引擎 shimmy v2.3.0:GGUF 原生加载、OpenAI API 兼容、KV Cache 量化、Flash Attention 等效实现,配 Tauri 桌面应用集成实战与性能基准测试。
shimmy
WebGPU
Rust
GGUF
LLM
llama.cpp
推理引擎
WebAssembly
Warp 终端深度实战:从 GPU 渲染引擎到 AI Agent Mode——Rust 重构终端的架构级拆解与生产级部署指南(2026)
编程
Warp 终端深度实战:从 GPU 渲染引擎到 AI Agent Mode——Rust 重构终端的架构级拆解与生产级部署指南(2026)
2026-06-02 06:23:52 +0800 CST
view 596
Warp终端2026年4月开源后的深度技术拆解:从GPU渲染引擎、Block数据模型、SumTree编辑器到AI Agent Mode和MCP协议集成,逐层拆解Rust重构终端的架构设计与生产级部署实践
Warp
Rust
终端
AI Agent
GPU渲染
MCP
开源
AMD ROCm 7.14 正式版深度解析:从技术预览到生产级 AI 基础设施的完整蜕变
编程
AMD ROCm 7.14 正式版深度解析:从技术预览到生产级 AI 基础设施的完整蜕变
2026-07-23 12:16:06 +0800 CST
view 259
深度解析 AMD ROCm 7.14 正式版:TheRock 构建系统、Ryzen AI Max PRO 400 硬件支持、PyTorch 2.12 + JAX 0.10.0 框架支持、HIPify CUDA 迁移实战与 vLLM 推理部署完整指南。
ROCm
AMD GPU
HIP
CUDA迁移
PyTorch
JAX
MI350P
Ryzen AI Max
ROCm 7.14
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
编程
vLLM 2026 推理引擎全解:从 PagedAttention 到分离式 Prefill,如何把大模型跑出 GPU 极限性能
2026-06-29 17:16:04 +0800 CST
view 548
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
编程
AMD ROCm 7.14 正式版发布:TheRock 构建系统 × Ryzen AI Max PRO 400 × PyTorch 2.12 生产级实战
2026-07-23 12:17:54 +0800 CST
view 240
深度解析 AMD ROCm 7.14 正式版:TheRock 模块化构建系统、Ryzen AI Max PRO 400 统一内存架构、PyTorch 2.12+JAX 0.10.0 框架支持,配 HIPify 迁移实战与 vLLM 推理部署完整指南。
ROCm
AMD GPU
HIP
CUDA迁移
PyTorch
JAX
MI350P
Ryzen AI Max
Newton 深度拆解:当 NVIDIA 联合迪士尼与 DeepMind 决定「干掉 CPU 物理仿真」——基于 Warp 的 GPU 加速引擎如何用可微分物理重新定义机器人学习的未来
编程
Newton 深度拆解:当 NVIDIA 联合迪士尼与 DeepMind 决定「干掉 CPU 物理仿真」——基于 Warp 的 GPU 加速引擎如何用可微分物理重新定义机器人学习的未来
2026-08-04 11:16:41 +0800 CST
view 116
深度拆解NVIDIA联合迪士尼研究院和Google DeepMind开源的Newton GPU加速物理仿真引擎:基于Warp的GPU原生架构、可微分物理、Hydroelastic接触模型、OpenUSD集成、4096环境并行训练,附完整代码示例与性能基准对比
Newton
NVIDIA
Warp
物理仿真
GPU加速
机器人
Disney Research
DeepMind
可微分物理
OpenUSD
MuJoCo
Linux Foundation
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
编程
万字长文拆解 vLLM 0.18:PagedAttention 如何用操作系统思维颠覆大模型推理
2026-06-29 17:17:00 +0800 CST
view 339
2026年vLLM 0.18深度解析:PagedAttention显存管理、EAGLE3推测解码、连续批处理、分离式Prefill、FP4量化,附生产级部署代码与Benchmark对比
vLLM
LLM推理
PagedAttention
推测解码
EAGLE3
FP4量化
CUDA
GPU性能优化
DSpark深度解析:DeepSeek如何用半自回归推测解码将大模型推理速度提升85%
编程
DSpark深度解析:DeepSeek如何用半自回归推测解码将大模型推理速度提升85%
2026-07-05 13:43:59 +0800 CST
view 391
深度解析DeepSeek联合北大发布的DSpark推理加速框架,详解半自回归推测解码、动态推测窗口、置信度调度三大核心创新,在DeepSeek-V4上实现60%-85%推理速度提升。
DeepSeek
DSpark
推测解码
推理加速
大模型优化
半自回归
GPU加速
Qdrant 深度实战:当 Rust 写的向量数据库统治 AI 检索层——从 HNSW 到 GPU 加速、从混合搜索到生产级 K8s 部署的完全指南(2026)
编程
Qdrant 深度实战:当 Rust 写的向量数据库统治 AI 检索层——从 HNSW 到 GPU 加速、从混合搜索到生产级 K8s 部署的完全指南(2026)
2026-07-17 13:21:10 +0800 CST
view 169
2026年深度实战 Qdrant v1.13+:Rust 编写的高性能向量数据库核心架构、HNSW 算法原理与参数调优、GPU 加速索引构建、稀疏+密集混合搜索与 RRF 融合、Docker/Kubernetes StatefulSet 生产部署、Go 高性能客户端实战、AI Agent 记忆系统完整实现,12000字完全指南。
Qdrant
向量数据库
Rust
HNSW
GPU
RAG
AI
混合搜索
分布式
量化压缩
Kubernetes
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
编程
LLM推理框架2026选型完全指南:从vLLM到TensorRT-LLM,一次讲透四大引擎的架构哲学与生产级实战
2026-06-02 09:36:52 +0800 CST
view 763
从vLLM到TensorRT-LLM,一次讲透vLLM、SGLang、TensorRT-LLM、llama.cpp四大LLM推理框架的架构哲学、核心原理、生产级部署实战与选型决策树。
LLM
vLLM
TensorRT-LLM
llama.cpp
SGLang
推理优化
GPU
Qdrant v1.13+ 深度实战:Rust 向量引擎 + GPU 加速 + 混合搜索 + K8s 全栈指南——2026 年 AI 检索层最优解
编程
Qdrant v1.13+ 深度实战:Rust 向量引擎 + GPU 加速 + 混合搜索 + K8s 全栈指南——2026 年 AI 检索层最优解
2026-07-17 13:22:42 +0800 CST
view 217
2026年深度实战 Qdrant:Rust 编写的高性能向量数据库核心架构、HNSW 算法与参数调优、GPU 加速索引构建、稀疏+密集混合搜索、RRF 融合、Kubernetes StatefulSet 生产部署与 AI Agent 记忆系统实战。
Qdrant
Rust
HNSW
GPU
RAG
AI
混合搜索
分布式
量化压缩
Kubernetes
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
5
6
...
14
下一页