程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Kubernetes v1.36 与 Istio 环境模式深度解析:云原生网络架构的范式革命——从 Ingress NGINX 退役到 AI 推理网关
编程
Kubernetes v1.36 与 Istio 环境模式深度解析:云原生网络架构的范式革命——从 Ingress NGINX 退役到 AI 推理网关
2026-04-16 04:41:31
view 841
深入解析 Kubernetes v1.36 重大变革:Ingress NGINX 退役、Gateway API 崛起、Istio 环境模式多集群支持、AI 推理网关等云原生网络架构的范式革命
Kubernetes
Istio
云原生
Gateway API
服务网格
Ambient Mode
AI推理
多集群
OpenAI Jalapeño 芯片深度解析:从"借道英伟达"到"自建帝国",一颗"辣椒"如何重塑 AI 算力格局
编程
OpenAI Jalapeño 芯片深度解析:从"借道英伟达"到"自建帝国",一颗"辣椒"如何重塑 AI 算力格局
2026-06-27 10:43:27
view 376
2026年6月24日OpenAI发布首款自研AI推理芯片Jalapeño,从架构设计到流片仅用9个月。本文深度解析这颗ASIC的技术架构、数据流设计、AI辅助芯片工程、对英伟达的影响以及整个AI算力产业格局的重塑。
OpenAI,Jalapeño,AI芯片,ASIC,博通,Broadcom,LLM推理,AI基础设施,半导体,大模型
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
编程
1.58-bit 大模型极限量化实战:从 BitNet 三值权重到单颗 CPU 跑起 100B 模型
2026-07-21 16:20:29
view 281
2026极限量化实战:BitNet三值权重、absmean/absmax量化、BitLinear实现、带宽数学与bitnet.cpp内核优化,单CPU跑100B模型。
BitNet
1.58-bit
大模型量化
LLM
端侧推理
bitnet.cpp
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
编程
BitNet 深度实战:微软 32K Star 的 1-bit LLM 推理框架——从三值量化原理到 CPU 原生推理的全链路架构解析
2026-05-07 03:35:48
view 644
深度解析微软 BitNet 1-bit LLM 推理框架,从三值量化数学原理到 bitnet.cpp 内核优化,再到 CPU 原生推理实战部署的全链路架构解析
BitNet
1-bit LLM
量化
CPU推理
微软
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
编程
AI编程Agent用10小时凿开CUDA护城河:推理战场的底层软件革命与程序员的真实机遇
2026-08-10 14:47:15
view 156
深度拆解AI编程Agent用10小时为非英伟达芯片搭建底层软件栈的事件:从CUDA三层架构本质、Infinity Ignition Agent原理、推理战场竞争格局、到验证生态护城河,结合DeepSeek TileLang路径对比,给出程序员视角的机遇分析。
CUDA
AI Agent
推理芯片
Infinity
Ignition
d-Matrix
底层软件
GPU Kernel
芯片适配
护城河
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14
view 421
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
编程
DeepSeek-R1边缘推理实战:从云端独占到本地智能的范式转移
2026-05-19 12:42:27
view 651
2026年,边缘AI不再只是云端模型的精简版。本文深入剖析DeepSeek-R1 CPU版的技术原理,从模型蒸馏、量化技术的底层原理到生产环境的完整部署方案,提供可直接落地的代码和可量化的性能数据。
DeepSeek
R1
边缘计算
AI推理
模型蒸馏
量化
llama.cpp
Ollama
端侧AI
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
编程
深度长文:LLM 推测解码(Speculative Decoding)工程化实战——从原理到3倍加速的完整实现
2026-07-26 17:15:22
view 289
深度长文实战 Speculative Decoding 推测解码技术:从拒绝采样原理、草稿模型选型到 vLLM 生产部署,包含完整代码实现、性能基准测试和 DSpark 等前沿变体解析,不修改模型不牺牲质量即可实现 2-3 倍推理加速。
Speculative Decoding
LLM推理加速
推测解码
vLLM
DSpark
当 WASM 遇上 WebGPU:浏览器端 AI 推理的第三次革命——用 Web 技术重写本地智能的心智模型
编程
当 WASM 遇上 WebGPU:浏览器端 AI 推理的第三次革命——用 Web 技术重写本地智能的心智模型
2026-07-15 14:17:19
view 386
深度拆解 2026 年 WebGPU、WASM 与 WebNN 融合技术:三层计算模型、WGSL 编写、GEMM 量化推理、KV Cache、算子融合,配完整代码与性能基准。
WebGPU
WASM
WebNN
浏览器AI
WGSL
端侧推理
WebLLM
前端工程化
ds4 (DwarfStar) 深度实战:当 Redis 之父学会「大模型量化」——从非对称 2-bit 量化到磁盘 KV 缓存的生产级完全指南(2026)
编程
ds4 (DwarfStar) 深度实战:当 Redis 之父学会「大模型量化」——从非对称 2-bit 量化到磁盘 KV 缓存的生产级完全指南(2026)
2026-06-15 00:18:14
view 890
深度剖析 Redis 之父 antirez 的最新项目 ds4 (DwarfStar),专为 DeepSeek V4 Flash 设计的本地推理引擎。涵盖非对称 2-bit 量化、磁盘 KV 缓存、Metal/CUDA 优化、内置 Coding Agent 等核心技术。
ds4
DwarfStar
antirez
Redis
大模型推理
MoE架构
量化
RISC-V 深度拆解:当开源指令集学会「造芯」——NVIDIA SiFive 联姻、Linux 7.2 默认支持与 NumPy RVV 优化如何重写芯片战争格局
编程
RISC-V 深度拆解:当开源指令集学会「造芯」——NVIDIA SiFive 联姻、Linux 7.2 默认支持与 NumPy RVV 优化如何重写芯片战争格局
2026-07-15 16:17:47
view 666
深度拆解 2026 年 RISC-V 生态关键技术突破:NVIDIA SiFive 战略合作、Linux 7.2 默认支持国产芯片、灵睿智芯 P100 v1、RISC-V Vector 扩展优化,配完整代码实战与性能对比。
RISC-V
RV-Vector
RVV
NVIDIA
SiFive
向量计算
SIMD
LLVM向量化
NumPy
国产芯片
Linux内核
AI推理
异构计算
当 Redis 之父遇上 DeepSeek V4 Flash:ds4.c 如何用 900 行代码重写本地大模型推理
编程
当 Redis 之父遇上 DeepSeek V4 Flash:ds4.c 如何用 900 行代码重写本地大模型推理
2026-07-15 18:15:32
view 420
Redis创始人antirez开源ds4.c:用C语言+Metal GPU手写DeepSeek V4 Flash推理引擎,26 tok/s性能,2-bit MoE量化,KV缓存磁盘分层管理
ds4.c
DeepSeek V4 Flash
Metal推理
Redis之父
MoE量化
KV缓存分层
PageIndex:无向量推理驱动 RAG 革命,AI 检索如何告别向量嵌入依赖
编程
PageIndex:无向量推理驱动 RAG 革命,AI 检索如何告别向量嵌入依赖
2026-08-11 13:27:39
view 179
深度拆解 PageIndex 无向量推理检索框架:从传统向量 RAG 的切块陷阱与 Embedding 失真问题出发,详细解析树形索引构建、LLM 推理定位、精确答案提取的全链路架构,含完整 Python 代码实战、性能对比与生产选型指南。
PageIndex
RAG
向量数据库
推理检索
AI
LLM
检索增强生成
无向量
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
编程
oMLX 深度解析:Apple Silicon 原生的本地大模型推理服务器——从分层 KV 缓存到菜单栏级 AI 编码伴侣
2026-05-21 22:30:11
view 1076
深入解析 oMLX 的分层 KV 缓存架构(热 RAM + 冷 SSD)、Copy-on-Write 优化、与 Claude Code 的深度集成,以及 Apple Silicon 原生的推理性能优化。
oMLX
Apple Silicon
本地大模型
KV缓存
MLX
推理服务器
TimesFM 深度实战:当 Google Research 把基础模型带进时间序列——从预训练解码器到零样本推理、从多周期建模到生产级预测完全指南(2026)
编程
TimesFM 深度实战:当 Google Research 把基础模型带进时间序列——从预训练解码器到零样本推理、从多周期建模到生产级预测完全指南(2026)
2026-06-21 03:24:16
view 623
TimesFM 2.5深度解析:Google Research开源的时间序列基础模型,200M参数、16K上下文、零样本推理。从Patch机制、RevIN归一化到LoRA微调、生产部署,10000字完整技术指南。
TimesFM
时间序列预测
Google Research
基础模型
零样本推理
Transformer
概率预测
llmfit 深度拆解:Rust 写就的本地大模型选型神器——一行命令把"显存够不够跑"从玄学变成算术
编程
llmfit 深度拆解:Rust 写就的本地大模型选型神器——一行命令把"显存够不够跑"从玄学变成算术
2026-08-18 08:15:14
view 197
llmfit 是一款 Rust 编写的本地大模型选型工具,一行命令自动检测硬件配置,精确计算显存占用,给出 Fit 评分和速度估算,支持 Ollama、llama.cpp、MLX 等多运行时,配可运行代码与最佳实践。
llmfit
Rust
TUI
本地大模型
LLM推理
Ollama
llama.cpp
模型选型
量化
Apple Silicon
GPU
显存计算
MLX
命令行工具
Serial Scaling Hypothesis 深度解析:当 GPU 遇上「天生串行」问题——从复杂度理论到 AI 推理新范式的完全指南(2026)
编程
Serial Scaling Hypothesis 深度解析:当 GPU 遇上「天生串行」问题——从复杂度理论到 AI 推理新范式的完全指南(2026)
2026-06-15 13:52:24
view 441
深度解析 ICLR 2026 论文 Serial Scaling Hypothesis:为什么某些问题堆再多 GPU 也无法加速?从复杂度理论揭示 AI 推理新范式,探讨 Chain-of-Thought、推理时计算的工程实践。
AI
深度学习
推理时计算
复杂度理论
ICLR2026
Mojo 1.0 深度拆解:被高通收购后的 Modular 如何用 Python 超集撬动 AI 硬件霸权——从 MLIR 编译链路到 MAX 推理框架的全链路实战
编程
Mojo 1.0 深度拆解:被高通收购后的 Modular 如何用 Python 超集撬动 AI 硬件霸权——从 MLIR 编译链路到 MAX 推理框架的全链路实战
2026-08-18 09:13:33
view 178
深度拆解 Mojo 1.0:Chris Lattner 主导的 AI 统一编程语言,MLIR 编译链路、GPU 跨厂商编程模型、MAX 推理框架,配可运行代码与生产部署实战。
Mojo
Mojo 1.0
Modular
AI编程语言
MLIR
GPU编程
高通
MAX推理框架
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
编程
ds4 深度解析:Redis 作者的最后一战?—— DwarfStar 4 本地推理引擎的技术革命
2026-05-15 17:47:40
view 1069
深入解析 antirez(Redis 作者)新开源项目 ds4:DwarfStar 4 本地推理引擎,专门为 DeepSeek V4 Flash 打造,支持 Metal/CUDA 后端,2-bit 量化可在 96GB 内存 MacBook 上运行 284B 参数模型。
AI推理
本地部署
DeepSeek
Redis
Apple Silicon
CUDA
Metal
MoE
量化
Ollama 融资 6500 万美元背后:2026 年本地大模型运行时生态深度拆解——为什么「极简主义」赢了
编程
Ollama 融资 6500 万美元背后:2026 年本地大模型运行时生态深度拆解——为什么「极简主义」赢了
2026-07-16 11:45:03
view 434
从 Ollama 6500 万美元融资事件切入,深度拆解 2026 年本地大模型运行时生态:Ollama、llama.cpp、LocalAI、LiteBox、vLLM 的架构设计、性能对比、API 设计、适用场景,配完整代码实战与生产部署踩坑指南。
Ollama
本地大模型
llama.cpp
LocalAI
LiteBox
本地LLM
推理引擎
量化
GGUF
MCP
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
编程
当 C/C++ 遇上 Rust:llama.cpp 与 LiteBox 深度架构对比——2026 年本地 LLM 推理框架的心智模型之战
2026-07-16 12:50:04
view 332
深度对比 llama.cpp 与 LiteBox 两大本地 LLM 推理框架:GGUF 格式设计、K-Quant 量化内核、KV cache 管理、多后端抽象、并发架构,配完整代码实战与性能实测数据。
llama.cpp
LiteBox
GGUF
量化
KV cache
本地LLM
推理框架
Rust
C/C++
模型压缩
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
编程
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
2026-06-21 08:54:17
view 856
Ollama 0.30 深度解析:双引擎推理架构、Gemma 4 QAT、Cohere2 MoE、ollama launch 生态与生产级部署完全指南
Ollama
LLM
本地推理
AI编程
llama.cpp
MLX
Gemma
开源
DwarfStar 4深度解析:Redis之父如何用500行C代码重塑本地大模型推理
编程
DwarfStar 4深度解析:Redis之父如何用500行C代码重塑本地大模型推理
2026-06-29 01:19:31
view 376
Redis创始人antirez开源项目DwarfStar 4深度解析:如何用5000行C代码为DeepSeek V4 Flash打造专用推理引擎,实现Mac上26 tok/s的本地大模型推理体验。
AI推理
本地大模型
DeepSeek
C语言
Metal
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
编程
NATS 深度实战:当云原生遇到了「零延迟」消息引擎——从 Pub/Sub 到 JetStream 持久化、从边缘计算到 AI 推理总线的生产级完全指南(2026)
2026-06-21 10:55:40
view 600
NATS深度实战:从Pub/Sub到JetStream持久化,从边缘计算到AI推理总线,生产级完全指南(2026)
NATS
消息队列
云原生
微服务
AI推理
边缘计算
JetStream
Pub/Sub
Request/Reply
Queue Groups
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
python
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
上一页
1
...
8
9
10
11
12
...
54
下一页