程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
编程
SGLang vs vLLM:2026年大模型推理框架深度对比与选型指南
2026-04-08 15:51:53 +0800 CST
view 1555
深度对比SGLang与vLLM两大LLM推理框架,从架构设计、核心原理、性能实测、适用场景多维度解析,附2026年选型建议
LLM
SGLang
vLLM
推理优化
大模型
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
编程
分布式 LLM 推理架构深度实战:从 vLLM 单节点到 llm-d 多集群的生产级演进全链路解析
2026-05-09 03:39:58 +0800 CST
view 472
深度解析分布式 LLM 推理架构,从 vLLM 单节点到 llm-d 多集群的生产级演进。涵盖推理引擎层、编排调度层、Kubernetes 多机多卡部署实战、性能优化技巧及成本优化策略。
LLM
vLLM
分布式推理
Kubernetes
Ray
推理引擎
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
编程
LiteRT-LM:Google端侧大模型推理引擎的革命性架构——从TensorFlow Lite的困境到LLM原生推理的全链路解析
2026-04-19 22:17:39 +0800 CST
view 712
深入解析Google LiteRT-LM端侧LLM推理引擎的核心架构:分层内存池、KV Cache量化、算子融合、WebGPU运行时。与TensorFlow Lite、llama.cpp、MLX横向对比,提供生产级部署实战指南。
Google
端侧AI
LiteRT-LM
WebGPU
量化
KV Cache
TensorFlow Lite
LLM推理
智谱 GLM-5.1 深度解析:当开源模型突破「8小时自治」临界点
编程
智谱 GLM-5.1 深度解析:当开源模型突破「8小时自治」临界点
2026-04-09 00:53:51 +0800 CST
view 1190
2026年4月8日智谱发布GLM-5.1,744B参数MIT开源,SWE-bench Pro 58.4分超越Claude Opus 4.6,全球首个支持8小时长程自治的开源模型。
GLM-5.1
智谱AI
开源大模型
MoE
SWE-bench
长程自治
LLM
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
编程
Ollama 深度实战:当本地大模型成为生产级基础设施——从模型量化到高并发推理、从 REST API 到 Kubernetes 部署的完全指南(2026)
2026-06-20 01:25:22 +0800 CST
view 229
Ollama本地大模型生产级部署完全指南:从GGUF格式原理、INT4/INT8量化实战、REST API集成、多语言SDK(Python/Go/TypeScript)、GPU显存管理、Kubernetes+Helm生产部署、性能调优到RAG知识库构建,全流程深度实战。
Ollama
本地大模型
LLM部署
模型量化
GGUF
llama.cpp
REST API
Kubernetes
GPU
RAG
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
编程
Ollama 0.30 深度实战:当本地 LLM 推理有了双引擎——从 llama.cpp + MLX 双后端到 Gemma 4 QAT、从 Cohere2 MoE 到 ollama launch AI 编程助手生态的生产级完全指南(2026)
2026-06-21 08:54:17 +0800 CST
view 218
Ollama 0.30 深度解析:双引擎推理架构、Gemma 4 QAT、Cohere2 MoE、ollama launch 生态与生产级部署完全指南
Ollama
LLM
本地推理
AI编程
llama.cpp
MLX
Gemma
开源
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
案例
猛涨25K Star!LLMFit:一键检测你的电脑能跑哪些大模型
2026-05-06 07:35:19 +0800 CST
view 411
25K+Star的LLMFit一键检测你的电脑能跑哪些大模型,Rust编写支持NVIDIA/AMD/Intel/Apple Silicon,智能量化推荐Q8到Q2,四维评分系统,TUI+CLI双模式
LLM部署
硬件检测
量化推荐
Rust
终端工具
本地部署
Ollama
AI 编程助手瘫痪了吗?Karpathy Skills 与 CLAUDE.md 如何用数学约束驯服 LLM 的混乱天性——从四大失败模式到生产级行为规则的完全指南
编程
AI 编程助手瘫痪了吗?Karpathy Skills 与 CLAUDE.md 如何用数学约束驯服 LLM 的混乱天性——从四大失败模式到生产级行为规则的完全指南
2026-05-23 00:46:41 +0800 CST
view 291
深度剖析 AI 编码代理的四大核心失败模式(静默假设、过度工程、范围蔓延、缺乏验证),介绍 Karpathy Skills 项目如何用行为约束体系替代模糊提示,以及如何使用 CLAUDE.md 构建可维护的 AI 辅助开发流程。
AI编程
LLM
Karpathy Skills
CLAUDE.md
行为约束
提示工程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
编程
llama.cpp 深度实战:从 GGUF 量化到 CUDA 内核优化——纯 C/C++ 如何在 CPU/GPU 上榨出 LLM 推理的极限性能
2026-05-23 17:18:22 +0800 CST
view 1513
2026年深度拆解 llama.cpp 的核心架构:GGUF 格式原理、20+量化方法对比、KV Cache 优化、多硬件后端性能实测,与 Ollama/vLLM 完整横评。
llama.cpp
GGUF
量化
CUDA
Metal
LLM推理
C++
本地部署
性能优化
GGML
NVIDIA garak + SkillSpector 深度实战:当 AI Agent 学会「安全自检」——从 LLM 漏洞扫描到技能市场治理的完全指南(2026)
编程
NVIDIA garak + SkillSpector 深度实战:当 AI Agent 学会「安全自检」——从 LLM 漏洞扫描到技能市场治理的完全指南(2026)
2026-06-13 12:20:18 +0800 CST
view 407
深入剖析 NVIDIA garak 和 SkillSpector 两款 AI 安全工具,解读 arXiv:2606.01494 论文关于三方扫描器低重合度的发现,提供 Agent Skills 安全治理的完整指南。
NVIDIA
garak
SkillSpector
AI安全
LLM
Agent
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
编程
Ollama 本地大模型部署实战:从零到生产级应用的完全指南(2026)
2026-06-10 01:20:57 +0800 CST
view 270
2026年Ollama本地大模型部署完全指南:从架构原理、GGUF量化、ModelFile自定义、多语言集成(Python/JS/Go)、RAG实战到Docker/K8s生产部署,8500字深度长文。
Ollama
本地部署
大模型
LLM
生产级
GGUF
量化
从零构建企业级本地化RAG系统:Ollama与RAGFlow深度实战
编程
从零构建企业级本地化RAG系统:Ollama与RAGFlow深度实战
2026-06-29 01:46:19 +0800 CST
view 23
深入探讨如何基于Ollama和RAGFlow构建完全本地化的RAG系统,涵盖架构设计、部署实战、代码实现和性能优化。
RAG
Ollama
RAGFlow
本地部署
LLM
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
编程
2026 大模型推理优化:TensorRT-LLM v0.19 + Blackwell + 低比特量化实战手册
2026-04-09 03:15:44 +0800 CST
view 796
2026年TensorRT-LLM v0.19全面解析:Skip Softmax稀疏注意力、Paged KV Cache显存管理、INT8/INT4低比特量化完整实战,Blackwell架构适配指南,70B模型单卡部署方案
TensorRT-LLM
低比特量化
Blackwell
INT8
INT4
推理优化
NVIDIA
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
编程
caveman 深度解析:当 Claude Code 用「穴居人语言」砍掉 75% Token 消耗,AI 编程正式进入「极简主义」时代
2026-04-10 00:14:55 +0800 CST
view 1205
深度解析 caveman 开源项目:一个让 Claude Code 用「穴居人语言」说话的 skill,砍掉 75% Token 消耗同时保持 100% 技术准确率。
Claude Code
Token优化
AI编程
Prompt Engineering
LLM效率
开源工具
程序员工具
代码审查
Free Claude Code:让Claude Code接入任意模型,打破Anthropic绑定
编程
Free Claude Code:让Claude Code接入任意模型,打破Anthropic绑定
2026-04-29 12:20:38 +0800 CST
view 958
Free Claude Code是让Claude Code接入任意模型的代理层项目,打破Anthropic绑定,支持NVIDIA NIM/OpenRouter/DeepSeek/Ollama/LM Studio等后端,适合想降成本或本地部署AI编程环境的人。
Claude Code
AI编程
开源工具
OpenRouter
DeepSeek
Ollama
LM Studio
AI Coding
Anthropic
MarkItDown 深度解析:微软10万星开源工具如何重塑 LLM 时代的文档处理范式
编程
MarkItDown 深度解析:微软10万星开源工具如何重塑 LLM 时代的文档处理范式
2026-04-21 05:47:35 +0800 CST
view 501
深度解析微软开源工具MarkItDown:如何将PDF、Word、Excel等20+格式转换为结构化Markdown,为LLM和RAG场景提供高质量的文档预处理方案。涵盖架构设计、实战代码、性能优化与生产部署最佳实践。
MarkItDown
文档转换
LLM
RAG
Python
开源工具
微软
花3块钱、2小时训练一个64M的"小破模型",能干啥?
编程
花3块钱、2小时训练一个64M的"小破模型",能干啥?
2026-04-21 09:05:56 +0800 CST
view 402
MiniMind:从零手写完整LLM训练流水线,64M参数,2小时+3块钱训练完成,支持预训练+SFT+RLHF+工具调用,适合Multi-Agent/自动化/端侧集成
开源
LLM
PyTorch
模型训练
MiniMind
AI
工具调用
RLHF
MarkItDown 深度实战:从文档格式地狱到 LLM 数据管线的工程化完全指南(2026)
编程
MarkItDown 深度实战:从文档格式地狱到 LLM 数据管线的工程化完全指南(2026)
2026-06-04 19:15:39 +0800 CST
view 207
微软 MarkItDown 12.6万 Star 开源工具深度指南:从架构原理到生产级部署,解决文档预处理的最后一公里问题
MarkItDown
Python
文档处理
RAG
LLM
开源工具
用AI做失败复盘:一张提示词,让核心问题自动浮现
资讯
用AI做失败复盘:一张提示词,让核心问题自动浮现
2026-04-23 21:28:06 +0800 CST
view 399
本文探讨了失败复盘的正确方法,指出常见复盘误区(归咎外部、情绪化分析),并介绍了一套AI提示词,通过六步结构化流程(接收结果、澄清边界、确认动机、提取核心事实、单线深入、点出核心)引导用户从模糊感受转向具体事实,找到真正导致失败的行为断裂点。提示词设计为中立复盘引导者,不猜测心理,只基于事实链分析。实测在DeepSeek上效果理想,强调信息越具体分析越精准。
提示词工程
AI工具
复盘方法论
DeepSeek
LLM应用
自我提升
结构化思维
LangChain4j:把LangChain的能力带入Java世界,一个库搞定LLM集成、RAG、Agent
编程
LangChain4j:把LangChain的能力带入Java世界,一个库搞定LLM集成、RAG、Agent
2026-04-16 19:11:21 +0800 CST
view 477
LangChain4j是Java世界的LangChain,简化Java应用集成大语言模型,支持OpenAI/Claude/DeepSeek等模型,提供RAG、Agent、Tool Calling、Memory等完整能力,Apache 2.0协议。
Java
LangChain
AI
LLM
RAG
Agent
开源
工具调用
Headroom 深度实战:当上下文窗口成为AI Agent的成本黑洞——从Token爆炸到60-95%压缩率的生产级完全指南(2026)
编程
Headroom 深度实战:当上下文窗口成为AI Agent的成本黑洞——从Token爆炸到60-95%压缩率的生产级完全指南(2026)
2026-06-15 13:19:56 +0800 CST
view 214
深度解析开源项目Headroom:AI Agent的上下文压缩中间层,60-95% Token节省,CCR可逆压缩机制,六大压缩引擎架构分析,生产级部署指南。
AI Agent
Token压缩
上下文管理
LLM
Claude Code
Cursor
Headroom
Python
开源工具
工程实践
编程
MarkItDown 深度解析:微软开源的文档转换神器如何重塑 LLM 时代的知识处理流水线
2026-04-18 06:17:21 +0800 CST
view 431
深度解析微软开源的 MarkItDown 文档转换工具,从架构设计、源码实现到实战应用,揭秘它如何成为 LLM 时代知识处理的基础设施。
MarkItDown
微软开源
文档转换
LLM
RAG
Python工具
Markdown
PDF转换
Headroom 深度实战:让 AI Agent 的 Token 消耗暴降 60-95% 的上下文压缩层完全解析
编程
Headroom 深度实战:让 AI Agent 的 Token 消耗暴降 60-95% 的上下文压缩层完全解析
2026-06-29 05:12:24 +0800 CST
view 19
Headroom v0.5.18 完整实战:六层压缩管道深度拆解、SmartCrusher/CodeCompressor/Kompress-base算法原理、四种集成方式代码实战、性能基准验证、headroom learn跨Agent记忆共享。让Token消耗暴降60-95%。
AI Agent
Token压缩
Headroom
上下文管理
LLM优化
编程工具
Python
TypeScript
PydanticAI 深度实战:当 Python 类型系统遇见 AI Agent——从类型安全到生产级智能体工程完全指南(2026)
编程
PydanticAI 深度实战:当 Python 类型系统遇见 AI Agent——从类型安全到生产级智能体工程完全指南(2026)
2026-06-21 13:24:53 +0800 CST
view 121
PydanticAI深度实战:类型安全+依赖注入+评估驱动开发,从零构建生产级AI Agent,含完整代码示例和性能优化策略。
PydanticAI
Python
AI Agent
类型安全
生产级
LLM
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
2
3
4
...
35
下一页