程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Rust 1.94 深度解析:6倍编译提速背后的工程革命,从 Eddy 后端到 Axum 微服务网关实战
编程
Rust 1.94 深度解析:6倍编译提速背后的工程革命,从 Eddy 后端到 Axum 微服务网关实战
2026-04-26 03:12:23 +0800 CST
view 851
Rust 1.94深度解析:Eddy编译后端实现6倍编译提速,fast-build模式详解,29项RISC-V特性稳定化,结合Axum+Tokio构建云原生微服务网关实战
Rust
编译优化
Axum
微服务网关
Tokio
云原生
零信任
RISC-V
OmniRoute 深度实战:一个端点聚合237家AI模型,省95% Token的本地网关架构全解析
编程
OmniRoute 深度实战:一个端点聚合237家AI模型,省95% Token的本地网关架构全解析
2026-07-09 10:14:24 +0800 CST
view 573
深度解析开源AI网关OmniRoute:一个端点聚合237家模型,RTK+Caveman双层压缩节省95% Token,含架构分析、代码实战、性能实测完整指南
AI网关
OmniRoute
Token压缩
OpenAI API
Claude Code
AI编程
开源工具
OmniRoute深度解析:一个端点掌控237家AI服务商,RTK+Caveman双层压缩节省95%Token
编程
OmniRoute深度解析:一个端点掌控237家AI服务商,RTK+Caveman双层压缩节省95%Token
2026-07-09 11:15:31 +0800 CST
view 425
深入解析OmniRoute技术架构:一个端点聚合237家AI服务商,RTK+Caveman双层压缩节省95%Token,支持Claude Code/Cursor/Codex等24+工具
AI网关
OmniRoute
Token压缩
OpenAI API
Claude
Hermes Agent 深度拆解:110K Star 背后的「自进化」架构哲学——当一个 AI Agent 决定「越用越聪明」后,闭环学习、三层记忆与 400+ 技能的工程实战
编程
Hermes Agent 深度拆解:110K Star 背后的「自进化」架构哲学——当一个 AI Agent 决定「越用越聪明」后,闭环学习、三层记忆与 400+ 技能的工程实战
2026-08-03 08:43:47 +0800 CST
view 115
深度拆解Hermes Agent 110K Star自进化AI Agent架构:闭环学习五阶段、三层记忆系统(情景/语义/程序性)、400+技能生态、工具自注册+Toolset组合、多平台统一网关、SQLite+FTS5状态持久化,附完整代码示例与生产部署指南
Hermes Agent
Nous Research
AI Agent
自进化
闭环学习
记忆系统
Skill
Python
多平台网关
开源
OmniRoute 深度解析:237家AI提供商的智能网关——从架构原理到生产级部署的完整技术指南(2026)
编程
OmniRoute 深度解析:237家AI提供商的智能网关——从架构原理到生产级部署的完整技术指南(2026)
2026-07-04 12:13:30 +0800 CST
view 757
OmniRoute 深度解析:开源AI网关,连接237家AI提供商(90+免费),RTK+Caveman压缩节省15-95% token,17种路由策略,4层自动降级,从架构原理到生产部署。
OmniRoute
AI网关
LLM路由
AI编程
Token压缩
成本优化
开源
2077
OpenClaw 深度拆解:当 33 万 Star 的开源 AI Agent 决定「住在你的机器上」——Gateway、Skill、LCM 三层架构如何重新定义「个人 AI 助手」
编程
OpenClaw 深度拆解:当 33 万 Star 的开源 AI Agent 决定「住在你的机器上」——Gateway、Skill、LCM 三层架构如何重新定义「个人 AI 助手」
2026-08-03 16:43:09 +0800 CST
view 150
深度拆解OpenClaw 33万Star开源AI Agent架构:Gateway多通道消息网关、Agent智能体层、Skill可插拔技能系统、LCM无损上下文管理DAG存储、插件化设计、多平台接入50+通信平台,附完整代码示例与性能优化实战指南
OpenClaw
AI Agent
Gateway
Skill
LCM
Lossless Context Management
插件系统
多通道网关
本地优先
开源
HTTPSMS:用Android手机做SMS网关,HTTP API收发短信+端到端加密
编程
HTTPSMS:用Android手机做SMS网关,HTTP API收发短信+端到端加密
2026-06-21 07:21:58 +0800 CST
view 495
HTTPSMS 是开源短信网关服务,用 Android 手机做 SMS 网关,通过 HTTP API 收发短信。支持 AES-256 端到端加密、速率控制、Webhook 推送、Docker 自托管,提供 6+ 语言 SDK。
SMS
网关
Android
开源
Go
Kotlin
HTTP API
自托管
端到端加密
2FA
OpenClaw 架构全解析:Gateway+Agent+Skill 三层协同如何让 AI 助手真正「住在你的机器上」——从 33 万 Star 到无损记忆系统的工程实践
编程
OpenClaw 架构全解析:Gateway+Agent+Skill 三层协同如何让 AI 助手真正「住在你的机器上」——从 33 万 Star 到无损记忆系统的工程实践
2026-08-03 16:46:25 +0800 CST
view 145
深度拆解OpenClaw 33万Star开源AI Agent架构:Gateway多通道消息网关、Agent智能体层、Skill可插拔技能系统、LCM无损上下文管理DAG存储、插件化设计、多平台接入50+通信平台,附完整代码示例与性能优化实战指南
OpenClaw
AI Agent
Gateway
Skill
LCM
Lossless Context Management
插件系统
多通道网关
本地优先
开源
OmniRoute 深度实战:一个开源 AI 网关如何用 RTK+Caveman 双层压缩算法省掉你 95% 的 Token 账单
编程
OmniRoute 深度实战:一个开源 AI 网关如何用 RTK+Caveman 双层压缩算法省掉你 95% 的 Token 账单
2026-07-10 10:47:32 +0800 CST
view 302
深度拆解 OmniRoute:237家AI提供商聚合、RTK+Caveman双层压缩算法(节省15-95%Token)、四级断路器自动故障转移,从架构设计到生产部署的完整实战指南
OmniRoute
AI网关
RTK压缩
Caveman
Token优化
开源
AI Agent
TypeScript
OmniRoute 深度拆解:免费无限用 Claude/GPT/Gemini?用 28K Stars 的开源 AI 网关给所有 AI 编程工具装上「永不掉线」引擎
编程
OmniRoute 深度拆解:免费无限用 Claude/GPT/Gemini?用 28K Stars 的开源 AI 网关给所有 AI 编程工具装上「永不掉线」引擎
2026-07-28 00:45:12 +0800 CST
view 208
深度拆解 28.8K Stars 的开源项目 OmniRoute:一个本地 AI 网关,支持 290+ Provider、500+ 模型,通过智能路由、自动故障转移和 RTK+Caveman 双层 Token 压缩,让 AI 编程工具永不掉线且成本可控。
OmniRoute
AI网关
智能路由
Token压缩
AI编程
OpenAI
Anthropic
免费API
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
编程
2026 大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 性能与成本终极较量
2026-07-23 08:13:30 +0800 CST
view 317
2026年四大主流大模型推理框架深度对比:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9。从核心技术优化、吞吐量延迟、算力成本、部署适配性四大维度开展极致测评,为企业技术选型提供精准参考。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
PagedAttention
FlashAttention
量化推理
GPU推理优化
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
编程
vLLM V1 深度拆解:当一个 LLM 推理引擎决定「从零重写」——PagedAttention、分离式推理与 LMCache 如何重新定义大模型服务的性能天花板
2026-08-03 09:43:58 +0800 CST
view 149
深度拆解vLLM V1引擎四大核心架构:PagedAttention V2融合块表与前缀树缓存、分离式推理Prefill/Decode架构、KV Connector标准化接口、LMCache三层KV Cache管理,附完整部署配置与性能基准测试
vLLM
PagedAttention
LMCache
分离式推理
大模型推理
KV Cache
推理引擎
LLM Serving
GPU优化
开源
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
编程
小米 MiMo UltraSpeed 深度解析:当 SWA 架构重塑 LLM 推理——从 O(n²) 困境到 1000 tokens/s 的极致跨越
2026-06-15 21:20:49 +0800 CST
view 309
深入解析小米MiMo UltraSpeed如何通过SWA架构在通用GPU上突破1000 tokens/s推理速度,从O(n²)困境到极致跨越的完整技术指南。
SWA
Sliding Window Attention
LLM推理
小米MiMo
推理优化
Transformer
PagedAttention
量化推理
端侧AI
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
编程
2026 大模型推理框架选型实战:从 vLLM、TGI 到 TensorRT-LLM 的全链路架构拆解与性能防线
2026-08-12 11:14:56 +0800 CST
view 8
深度拆解 2026 年四大主流推理框架 vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9 的核心技术、性能对比与选型指南,涵盖 PagedAttention、Continuous Batching、量化优化、分布式推理与生产踩坑清单。
vLLM
TensorRT-LLM
TGI
DeepSpeed-MII
大模型推理
KV Cache
PagedAttention
推理优化
量化
分布式推理
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
编程
vLLM 深度实战:当 PagedAttention 遇上生产级 LLM 推理——从内存革命到分布式部署的完全指南(2026)
2026-06-10 10:17:56 +0800 CST
view 540
深度解析 vLLM 的核心架构 PagedAttention 和 Continuous Batching,从内存管理原理到生产级分布式部署的完全指南。
vLLM
LLM推理
PagedAttention
GPU优化
大模型部署
AI推理
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
编程
Cloudflare 统一推理层深度实战:当一个API连通12家供应商70+模型——从AI Gateway到边缘智能体、从自动故障转移到多模态推理的生产级完全指南(2026)
2026-06-22 04:23:24 +0800 CST
view 492
2026年4月Cloudflare发布统一推理层,一个API连通12家供应商70+模型。本文深度解析AI Gateway架构、边缘推理优化、多模态支持、智能体集成,附带完整代码示例,打造生产级AI应用。
Cloudflare
AI推理
边缘计算
AI Gateway
统一推理层
AI基础设施
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
编程
OpenAI Jalapeño 深度解析:9个月流片的AI推理芯片如何把成本砍掉一半,英伟达GPU帝国的裂痕
2026-06-29 21:14:35 +0800 CST
view 367
深度解析OpenAI首款自研AI推理芯片Jalapeño:9个月流片、推理成本降低50%、每瓦性能超越英伟达GPU。从架构设计、内存优化、数据流优化到产业链合作,全方位解读这款芯片如何重塑AI推理市场格局。
OpenAI
Jalapeño
AI芯片
ASIC
推理芯片
英伟达
GPU
博通
Broadcom
LLM推理
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
案例
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎,Mac上跑出468 token/s
2026-05-10 08:40:22 +0800 CST
view 829
Redis之父antirez亲自下场!为DeepSeek V4 Flash打造专属推理引擎ds4.c,C+Metal从头编写,Mac Studio M3 Ultra上预填充468 token/s。关键优化:非对称量化(MoE专家层2-bit)、KV缓存搬硬盘、内置OpenAI/Anthropic双API。128GB Mac可跑,专为coding agent优化。
DeepSeek
AI推理
Mac
Redis
antirez
Metal
本地推理
MoE
GGUF
C语言
Apple Silicon
Claude Code
OpenAI API
Anthropic API
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
编程
DiffusionGemma 深度实战:当 Google 用「扩散」颠覆自回归——从离散文本扩散原理到 MoE 架构、本地推理加速与生产级部署的完全指南(2026)
2026-06-16 18:52:52 +0800 CST
view 566
Google DeepMind联合NVIDIA发布DiffusionGemma——基于离散文本扩散的实验性开源模型。本文深入解读26B MoE架构、双向注意力机制、本地推理4倍加速原理,附完整代码示例和部署实战。
Google
DiffusionGemma
扩散模型
MoE
开源LLM
本地推理
AI推理加速
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
编程
SGLang 深度拆解:当 LLM 推理引擎决定「干掉全部慢吞吞的 GPU 服务器」——从 RadixAttention 到 GB300 NVL72 的 25 倍飞跃,一个 27K Star 的 Python 框架如何重新定义大模型推理的终极形态
2026-08-04 19:22:29 +0800 CST
view 115
深度拆解SGLang 27K Star开源LLM推理框架:RadixAttention基数树前缀缓存实现3-8倍加速、自研FlashInfer CUDA Kernel、Prefill-Decode分离架构、GB300 NVL72上25倍性能飞跃、DFlash投机采样、多LoRA热切换,附完整部署与调优指南
SGLang
LLM推理
RadixAttention
FlashInfer
GPU加速
大模型部署
推理引擎
PagedAttention
PD分离
投机采样
CUDA
开源
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
编程
DwarfStar 4 深度拆解:当 Redis 之父决定「干掉全部通用推理引擎」——一个专用 MoE 推理栈如何用 2-Bit 量化和磁盘 KV 缓存在 MacBook 上跑出 26 tok/s
2026-08-04 22:46:33 +0800 CST
view 113
深度拆解Redis创始人antirez打造的DwarfStar 4本地推理引擎:专用MoE推理栈、非对称2-Bit量化、磁盘KV缓存、SSD流式加载、多机流水线并行,在128GB MacBook上跑出26 tok/s的284B模型推理
DwarfStar
Redis
antirez
DeepSeek
MoE
本地推理
LLM
推理引擎
2-Bit量化
KV缓存
Apple Metal
CUDA
开源
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
编程
DFlash 深度实战:块扩散模型如何实现 6 倍无损加速——从自回归瓶颈到并行生成的范式跃迁
2026-05-23 11:16:44 +0800 CST
view 615
深度解析UC San Diego Z Lab提出的DFlash(Block Diffusion for Flash Speculative Decoding),详解块扩散草稿模型如何突破自回归瓶颈,在Qwen3-8B上实现6倍无损加速的架构原理、训练方法与生产级实战代码
LLM推理,投机解码,块扩散模型,大模型加速,DFlash,Speculative Decoding,UC San Diego,PyTorch,深度学习,AI推理优化
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
编程
vLLM 与 SGLang 深度横评:两种推理范式的工程哲学对决
2026-07-24 06:14:45 +0800 CST
view 303
深度对比vLLM与SGLang两大LLM推理引擎:PagedAttention vs RadixAttention,Continuous Batching原理,吞吐与延迟实战选型指南
vLLM
SGLang
LLM推理
PagedAttention
RadixAttention
Continuous Batching
GPU优化
推理引擎
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
编程
vLLM 0.5 深度拆解:当 PagedAttention 重塑 LLM 推理内存——从 OS 分页思想到 MoE 分布式推理的工程全貌(2026)
2026-07-18 13:17:37 +0800 CST
view 199
深度拆解 vLLM 0.5 的 PagedAttention 核心原理、连续批处理架构、MoE 推理优化、分布式部署策略,以及 2026 年四大推理框架生产级性能横评。
vLLM
PagedAttention
LLM推理
ContinuousBatching
MoE
FusedMoE
量化
分布式推理
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
11
下一页