程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
Nushell 0.111 深度解析:用 Rust 重写 Shell,让命令行终于有了数据类型
编程
Nushell 0.111 深度解析:用 Rust 重写 Shell,让命令行终于有了数据类型
2026-05-12 01:44:53 +0800 CST
view 525
深度解析Nushell 0.111核心架构:结构化数据管道替代POSIX字符串流、IR优化器实现管道融合与谓词下推带来3-10倍性能提升、栈式虚拟机执行器保证类型安全与即时错误反馈,附DevOps实战、插件开发与渐进迁移指南
Nushell,Shell,Rust,命令行,结构化数据,数据管道,终端工具,DevOps,CLI,编程工具
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
编程
大模型推理引擎 2026 终极对决:vLLM vs SGLang,从 PagedAttention 到 RadixAttention,一次把 LLM 部署讲透(深度实战)
2026-07-13 05:12:59 +0800 CST
view 62
深度对比 vLLM 与 SGLang 两大 LLM 推理引擎:从 KV Cache、PagedAttention、RadixAttention、连续批处理、分块预填充、推测解码、P/D 分离到量化部署,配可直接运行的生产级代码与基准测试。
vLLM
SGLang
LLM推理
大模型部署
PagedAttention
RadixAttention
vLLM 2026 深度解析:从 PagedAttention 到多节点分布式推理的全链路技术实战
编程
vLLM 2026 深度解析:从 PagedAttention 到多节点分布式推理的全链路技术实战
2026-05-03 15:13:07 +0800 CST
view 607
2026年深度解析vLLM核心架构,从PagedAttention进化到多节点分布式推理,涵盖SIG社区组织、v1架构重写、生产部署实战与性能优化全链路指南。
vLLM
PagedAttention
LLM
推理优化
分布式
Kubernetes
Python
万字深度解析 MoneyPrinterTurbo:当 LLM 遇见视频自动化——从 5 步 Pipeline 到 100+ 模型接入的生产级实战(2026)
编程
万字深度解析 MoneyPrinterTurbo:当 LLM 遇见视频自动化——从 5 步 Pipeline 到 100+ 模型接入的生产级实战(2026)
2026-07-01 10:45:38 +0800 CST
view 170
深度解析MoneyPrinterTurbo开源项目:AI全自动短视频生成框架,涵盖5步Pipeline、100+LLM模型接入、9种TTS方案、FFmpeg视频合成与性能优化实战(2026)
MoneyPrinterTurbo
AI视频
LLM
视频自动化
短视频
开源项目
Python
FFmpeg
TTS
LiteLLM
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
编程
vLLM 深度解析:LLM 推理性能的终极引擎——从 PagedAttention 到生产级部署的完整技术内幕
2026-05-18 08:22:35 +0800 CST
view 628
全面解析 vLLM 推理引擎的核心架构,从 PagedAttention 原理到生产级部署实战,涵盖量化推理、多GPU并行、性能调优等完整技术栈
vLLM
LLM推理
PagedAttention
GPU优化
量化推理
深度解析
万字深度解析 Langfuse:当 LLM 应用遇见「全链路可观测性」——从 Tracing 架构到生产级 LLM Ops 的完整技术指南(2026)
编程
万字深度解析 Langfuse:当 LLM 应用遇见「全链路可观测性」——从 Tracing 架构到生产级 LLM Ops 的完整技术指南(2026)
2026-07-02 05:42:52 +0800 CST
view 198
2026年LLM应用可观测性完整指南:深度解析Langfuse架构、Tracing系统、ClickHouse存储、SDK集成、生产部署与性能优化,15+可运行代码示例
Langfuse
LLM
可观测性
Tracing
AI Engineering
LLM Ops
ClickHouse
Prompt Management
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
编程
把大模型装进机房:Ollama 本地推理工程化实战——量化、并发、缓存与生产部署一次讲透(2026)
2026-07-14 03:43:32 +0800 CST
view 47
深度拆解 Ollama 本地大模型推理工程化:从 GGUF 量化原理、MoE 专家调度、推理栈与 KV 缓存,到 Modelfile 定制、自量化、Python 客户端、FastAPI 生产服务、Docker 部署与性能调优,配完整可运行代码与 vLLM 对比。
Ollama
本地大模型
llama.cpp
GGUF量化
大模型部署
AI工程化
隐私计算
推理优化
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——从原理到生产级 AI 应用开发(2026)
2026-06-05 04:13:34 +0800 CST
view 375
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见「KV 缓存革命」——从 Transformer 注意力机制到多层存储分级、从 vLLM/SGLang 集成到生产级 PD 拆分的完整技术指南(2026)
2026-07-02 08:42:52 +0800 CST
view 183
深度解析 LMCache 开源项目:LLM 推理 KV 缓存管理层,涵盖架构设计、多级存储、Multiprocess 模式、非前缀复用、PD 拆分等核心技术,15+ 可运行代码示例。
LMCache
LLM推理
KV缓存
vLLM
SGLang
AI推理优化
GPU优化
分布式缓存
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
编程
Ollama 完全指南:本地大模型部署的事实标准——架构、实战与生产级部署(2026)
2026-06-05 04:13:52 +0800 CST
view 427
Ollama 本地大模型部署完全指南,从架构原理到生产级部署,涵盖 RAG 集成、性能优化、Docker/K8s 部署等核心内容。
Ollama
本地大模型
AI应用开发
Go语言
llama.cpp
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
编程
从PagedAttention到Prefix Caching:2026年LLM推理KV Cache优化工程实践
2026-07-07 16:15:25 +0800 CST
view 85
深入解析2026年大模型推理中的KV Cache优化技术栈:从PagedAttention虚拟分页管理、Prefix Caching缓存复用、Speculative Decoding并行验证,到INT8量化与Continuous Batching生产实践,配合代码示例与性能对比,助你系统性掌握LLM推理优化的核心要领。
LLM
KV Cache
PagedAttention
Prefix Caching
vLLM
推理优化
Speculative Decoding
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
编程
vLLM 2026 Q2 路线图深度解析:从 v1 架构重构到九大 SIG 技术演进——生产级 LLM 推理引擎的下一站
2026-05-05 19:01:32 +0800 CST
view 1054
深度解析 vLLM 2026年第二季度技术路线图,涵盖 v1 架构核心设计、九大 SIG 技术演进方向、生产级部署实战经验。
vLLM
LLM推理
架构设计
性能优化
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
编程
万字深度解析 LMCache:当 KV Cache 遇见分布式存储革命——从常数级显存到千亿Token并发的完整技术指南(2026)
2026-07-02 13:46:08 +0800 CST
view 198
深度解析 LMCache 开源 KV Cache 管理层项目:从三层存储架构、多后端支持、Disaggregated Prefill、CacheBlend、Segmented Prefill、P2P 共享到 Kubernetes 生产级部署的完整技术指南,含性能基准测试与代码实战
LMCache
KV Cache
LLM
vLLM
分布式
RDMA
Kubernetes
推理优化
Redis
NIXL
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 544
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
编程
LMCache 深度拆解:当 KV Cache 变成可复用资产——LLM 推理的「免费午餐」完整指南
2026-07-14 18:47:11 +0800 CST
view 35
深度拆解 LMCache 项目:从 Transformer Attention 机制出发,详细讲解 KV Cache 原理、三层存储架构、生产部署实战、Docker Compose 配置、CacheGen 压缩算法、PD 分离、跨实例 KV Cache 共享,以及与 vLLM/SGLang 的集成,配完整代码示例与性能调优指南。实测 DeepSeek 多轮对话 3~5 倍 TTFT 改善。
LMCache
KV Cache
LLM推理
vLLM
SGLang
推理优化
DeepSeek
分布式缓存
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
编程
万字深度解析 LMCache:当 LLM 推理遇见 KV Cache 革命——从 TTFT 优化到跨引擎 KV 复用、从 GPU/CPU/Disk 三级存储到分布式 P2P 共享的完整技术指南(2026)
2026-07-03 03:14:31 +0800 CST
view 152
深度解析LMCache KV Cache管理层:从TTFT优化原理、GPU/CPU/Disk三级存储架构、跨引擎KV复用、分布式P2P共享,到与vLLM深度集成的生产级部署实战,含完整代码和性能调优指南。
LMCache
LLM推理
KV Cache
vLLM
TTFT优化
GPU优化
AI推理加速
分布式缓存
DFlash 深度解析:块扩散模型如何让 LLM 推理加速 6 倍——2026 投机解码完全指南
编程
DFlash 深度解析:块扩散模型如何让 LLM 推理加速 6 倍——2026 投机解码完全指南
2026-05-28 19:39:07 +0800 CST
view 617
深入解析 DFlash 块扩散投机解码方案:如何让 Qwen3-8B 实现 6 倍无损加速,超越 EAGLE-3 与 llama.cpp,附 SGLang/vLLM/MLX 完整部署指南。
LLM推理
投机解码
块扩散
DFlash
推理加速
Transformer优化
GPU
CUDA
SGLang
vLLM
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
编程
Nushell 深度实战:30K Star 的结构化数据 Shell——从类型系统到插件架构的生产级全链路解析
2026-05-07 00:37:06 +0800 CST
view 552
深度解析 Nushell 的类型系统、结构化数据管道、Rust 多 Crate 架构、插件机制和生产实践,从 Bash 迁移到 Nu 的全链路实战指南
Nushell
Rust
Shell
结构化数据
管道
插件系统
类型系统
DevOps
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
编程
Ollama v0.20 Tool Calling 深度解析:让本地大模型真正「动起手来」——从协议原理到生产级多工具 Agent 系统实战
2026-07-03 08:43:53 +0800 CST
view 168
深度解析 Ollama v0.20 的 Tool Calling 能力:从 JSON Schema 协议原理、HTTP API 调用循环,到生产级多工具 Agent 系统的完整实战(天气查询/数据库查询/Web搜索),配套 LangChain4j 集成方案与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
生产级实战
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
编程
Ollama v0.20 Tool Calling 深度解析:本地 AI Agent 的最后一公里——JSON Schema 协议 × 生产级多工具实战 × 安全防护全指南
2026-07-03 08:44:52 +0800 CST
view 135
深度解析 Ollama v0.20 的 Tool Calling 能力,从 JSON Schema 协议原理到生产级多工具 Agent 实战,含安全防护与性能基准测试。
Ollama
AI Agent
Tool Calling
本地大模型
LangChain4j
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
编程
Ollama Tool Calling × 本地 AI Agent:JSON Schema 协议 × 生产级多工具系统 × 安全防护实战
2026-07-03 08:45:53 +0800 CST
view 149
深度解析 Ollama v0.20 Tool Calling,从协议原理到生产级多工具 Agent 实战,含天气查询、数据库查询、Web搜索三大实战案例与安全防护策略。
Ollama
AI Agent
Tool Calling
本地大模型
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
编程
【深度长文】Ollama v0.20 工具调用实战:本地大模型 + JSON Schema + 生产级 Agent 系统搭建指南(2026)
2026-07-03 08:47:18 +0800 CST
view 138
深度长文:Ollama v0.20 Tool Calling 从协议原理到生产级多工具 Agent 实战,含天气查询、数据库操作、Web搜索三大案例与安全防护策略(2026)。
Ollama
AI Agent
Tool Calling
本地大模型
生产级
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
编程
Ollama 深度拆解:当大模型变成「一个文件」——GGUF、4-bit 量化与 llama.cpp 计算图如何重写本地推理的心智模型
2026-07-15 08:45:14 +0800 CST
view 32
从工程师视角深度拆解 Ollama 与本地大模型推理引擎:GGUF 单文件格式、K-quant/IQ-quant 量化家族、内存带宽墙、llama.cpp 计算图与 KV Cache,配 Modelfile、Python/Go 流式客户端与自量化实战。
Ollama
llama.cpp
GGUF
本地推理
大模型量化
KV Cache
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
编程
vLLM 深度拆解:当 KV Cache 学会「分页」——用操作系统智慧重写 LLM 推理的心智模型
2026-07-15 10:13:07 +0800 CST
view 33
深度拆解 vLLM 核心架构:从 PagedAttention 分页内存管理、Continuous Batching 动态调度,到 Speculative Decoding、Prefix Caching 等高级特性,配完整代码示例与生产部署指南。
vLLM
PagedAttention
LLM推理
深度学习
GPU优化
Continuous Batching
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
6
7
8
9
10
...
23
下一页