程序员茄子
全部
编程
代码
资讯
案例
综合
联系我们
html在线编辑
登录注册
AI,自己全程接管维护
php
mysql
shell
go
vue
css
api接口对接
支付接口对接
最新
最热
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
编程
KTransformers 深度拆解:一块 RTX 5090 跑 100B+ 大模型,CPU/GPU 异构推理凭什么改写 LLM 本地部署规则
2026-07-24 07:44:31 +0800 CST
view 247
KTransformers 通过 CPU/GPU 异构计算,让一块 RTX 5090(32GB 显存)能跑起 100B+ MoE 大模型,且无需量化压缩,保持原精度 FP16。实测比 llama.cpp Q8_0 快 4.5 倍。本文深度拆解其专家细粒度卸载、异步预取、DMA 优化等核心技术,以及实战部署指南。
KTransformers
LLM推理
MoE
异构计算
DeepSeek
SGLang
CPU Offload
本地部署
GPU优化
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
编程
SGLang 深度解析:RadixAttention 如何重塑大模型推理的「结构化革命」
2026-06-30 11:16:18 +0800 CST
view 368
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
编程
LLM推理引擎终极对决:vLLM vs TensorRT-LLM深度解析与2026生产环境选型指南
2026-04-20 13:45:31 +0800 CST
view 946
深度对比vLLM与TensorRT-LLM两大LLM推理框架,从PagedAttention到Kernel Fusion,从量化技术到生产部署,助你做出正确的技术选型决策
LLM
vLLM
TensorRT-LLM
推理优化
大模型部署
量化技术
AI工程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
编程
SGLang 深度解析:RadixAttention 前缀缓存与结构化 LLM 推理革命——从 RAG/Agent 场景到生产级部署的完整指南
2026-06-30 11:17:15 +0800 CST
view 456
深度解析 SGLang 大模型推理框架:RadixAttention 前缀缓存、零开销 CPU 调度器、结构化输出约束、推测解码、PD 分离等核心技术,对比 vLLM/TensorRT-LLM 选型,提供完整代码示例与生产级部署实践
SGLang
大模型推理
RadixAttention
前缀缓存
结构化输出
推测解码
PD分离
vLLM
TensorRT-LLM
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
编程
LCLM 深度实战:当「潜在上下文」颠覆大模型记忆困境——从 8.8 倍速提升到工业级部署的完整指南(2026)
2026-06-17 08:57:22 +0800 CST
view 401
深入解析2026年LCLM潜在上下文语言模型,8.8倍速度提升背后的技术原理与工业级部署实战,含完整代码示例与性能对比。
大模型
上下文压缩
KV缓存
LCLM
Transformer
AI优化
推理加速
当「潜在上下文」颠覆大模型记忆困境:LCLM 8.8 倍速提升完整拆解与工业部署指南(2026)
编程
当「潜在上下文」颠覆大模型记忆困境:LCLM 8.8 倍速提升完整拆解与工业部署指南(2026)
2026-06-17 08:57:46 +0800 CST
view 410
深入解析2026年LCLM潜在上下文语言模型,8.8倍速度提升背后的技术原理与工业级部署实战,含完整代码示例与性能对比。
大模型
上下文压缩
KV缓存
LCLM
Transformer
AI优化
推理加速
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
编程
Unsloth 深度实战:从 Triton 内核优化到 70% 显存压缩——2026 年 LLM 本地微调的工业级完全指南
2026-05-23 20:00:37 +0800 CST
view 598
深度剖析 Unsloth 如何通过手写 Triton 内核、智能显存管理和 LoRA/QLoRA 优化,实现训练速度 2-5 倍提升、显存占用降低 70% 的技术奇迹。
LLM
微调
Unsloth
LoRA
深度学习
Headroom 深度实战:当 Netflix 工程师用「上下文压缩」掀翻 AI 成本底牌——从 CCR 可逆机制到跨 Agent 记忆的生产级完全指南(2026)
编程
Headroom 深度实战:当 Netflix 工程师用「上下文压缩」掀翻 AI 成本底牌——从 CCR 可逆机制到跨 Agent 记忆的生产级完全指南(2026)
2026-06-11 15:20:19 +0800 CST
view 771
Netflix工程师开源的AI上下文压缩工具Headroom,能在保持答案质量的前提下将Token消耗压缩60-95%,累计节省70万美元成本。本文深度剖析其架构设计、CCR可逆机制、跨Agent记忆共享与生产级集成实践。
AI编程
Token压缩
上下文管理
LLM优化
OpenSource
Transformers.js v4 深度解析:WebGPU 原生化让 AI 推理在 Node/Bun/Deno 中真正起飞
编程
Transformers.js v4 深度解析:WebGPU 原生化让 AI 推理在 Node/Bun/Deno 中真正起飞
2026-04-12 04:55:32 +0800 CST
view 1097
深度解析 Transformers.js v4 的 WebGPU 原生化架构:如何用 C++ 重写 WebGPU Runtime、与 ONNX Runtime 深度集成、在 Node/Bun/Deno 中实现原生 GPU AI 推理。包含代码实战、性能对比与生产部署指南。
JavaScript
AI
WebGPU
Transformers
HuggingFace
Node.js
Bun
Deno
ONNX
OpenSSH 10.4 深度实战:当后量子加密正式落地——从 CRYSTALS-Kyber 混合密钥交换、安全修复到生产级升级完全指南
编程
OpenSSH 10.4 深度实战:当后量子加密正式落地——从 CRYSTALS-Kyber 混合密钥交换、安全修复到生产级升级完全指南
2026-07-12 12:16:50 +0800 CST
view 431
深度解析 OpenSSH 10.4:后量子密钥交换 ML-KEM-768 混合架构、CVE-2026-3154/3155 高危漏洞修复、sshd -G 行为变更、跨发行版升级实战与生产级性能基准测试。
OpenSSH
后量子加密
ML-KEM
Kyber
SSH安全
CVE修复
密钥交换
密码学
服务器安全
Linux运维
DevOps
量子计算
Openship 深度拆解:桌面控制平面 + 零 YAML,自托管部署平台的新范式
编程
Openship 深度拆解:桌面控制平面 + 零 YAML,自托管部署平台的新范式
2026-07-24 19:44:05 +0800 CST
view 337
深度拆解 GitHub Trending 开源项目 Openship:桌面控制平面的安全创新、零配置栈检测原理、内置邮件/CDN/备份的全家桶设计、MCP 原生 AI Agent 接口,以及与 Coolify/Dokploy/Kamal 的横向选型对比。
Openship
自托管
CI/CD
部署平台
Docker
DevOps
MCP
开源
Vercel替代
PaaS
JoyAI-Video-Edit 深度拆解:当京东决定「让视频边播边改」——从流式推理引擎到帧级实时编辑,一个今天刚开源的模型如何用「720P/30fps」重新定义视频创作的终极形态
编程
JoyAI-Video-Edit 深度拆解:当京东决定「让视频边播边改」——从流式推理引擎到帧级实时编辑,一个今天刚开源的模型如何用「720P/30fps」重新定义视频创作的终极形态
2026-08-05 16:46:18 +0800 CST
view 183
深度拆解京东开源的实时流式视频编辑模型JoyAI-Video-Edit:720P/30fps实时推理、滑动窗口注意力机制、帧间一致性约束、四大编辑能力(全局风格/局部替换/局部删除/字幕编辑),OpenVE-Bench全面领先,覆盖电商直播到具身智能的完整应用生态
JoyAI-Video-Edit
京东
视频编辑
流式推理
Diffusion Transformer
实时编辑
OpenVE-Bench
开源
AI视频
多模态
nginx 1.29.8 深度解析:从 max_headers 到 OpenSSL 4.0 兼容,一次性吃透本次版本全部升级点
编程
nginx 1.29.8 深度解析:从 max_headers 到 OpenSSL 4.0 兼容,一次性吃透本次版本全部升级点
2026-04-12 12:56:27 +0800 CST
view 1614
2026年4月7日nginx发布1.29.8版本,新增max_headers指令防御Slowloris攻击,全面兼容OpenSSL 4.0,修复Early Hints多响应处理异常和字符集解析漏洞。
nginx
nginx1.29
OpenSSL
Web安全
反向代理
服务器运维
性能优化
nginx 1.29.8 深度解析:max_headers安全加固、OpenSSL 4.0兼容、协议层Bug修复全攻略
编程
nginx 1.29.8 深度解析:max_headers安全加固、OpenSSL 4.0兼容、协议层Bug修复全攻略
2026-04-12 12:56:42 +0800 CST
view 1009
2026年4月7日nginx发布1.29.8版本,新增max_headers指令防御Slowloris攻击,全面兼容OpenSSL 4.0,修复Early Hints多响应处理异常和字符集解析漏洞。
nginx
nginx1.29
OpenSSL
Web安全
反向代理
服务器运维
性能优化
Kotlin原生AI Agent框架新标杆:JetBrains官方Koog如何让JVM生态优雅拥抱AI智能体
编程
Kotlin原生AI Agent框架新标杆:JetBrains官方Koog如何让JVM生态优雅拥抱AI智能体
2026-05-11 19:11:17 +0800 CST
view 757
Koog是JetBrains官方推出的Kotlin原生AI Agent框架,让JVM开发者用熟悉的协程和DSL构建生产级AI智能体,支持JVM/JS/Wasm/iOS多平台。
Kotlin
JVM
AI Agent
JetBrains
Koog
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
编程
2026大模型推理框架终极对决:vLLM 0.5 vs TGI 2.0 vs TensorRT-LLM 1.8 vs DeepSpeed-MII 0.9——谁才是生产级部署的真正王者?
2026-06-23 08:22:26 +0800 CST
view 630
深度对比2026年四大主流大模型推理框架:vLLM 0.5、TGI 2.0、TensorRT-LLM 1.8、DeepSpeed-MII 0.9,从核心架构、性能压测、成本分析到代码实战的完全指南。
vLLM
TensorRT-LLM
大模型推理
性能优化
DeepSpeed
TGI
OpenSSL 4.0 深度解析:ECH 加密握手与后量子密码学的双重革命
编程
OpenSSL 4.0 深度解析:ECH 加密握手与后量子密码学的双重革命
2026-05-12 01:18:07 +0800 CST
view 906
深度解析OpenSSL4.0三大核心升级:ECH加密整个TLS握手消除SNI隐私泄露、ML-DSA-MU与RFC8998后量子国密混合算法套件实现量子安全、cSHAKE可定制哈希函数防止重放攻击,附完整C/Python/Go多语言迁移实战与ECH部署指南
OpenSSL,TLS,ECH,后量子密码学,ML-DSA-MU,RFC8998,SM2,SM3,SM4,cSHAKE,隐私保护,国密算法,迁移指南
Kimi K2.6 开源:12小时连续编码,300个Agent并行,4000次工具调用
编程
Kimi K2.6 开源:12小时连续编码,300个Agent并行,4000次工具调用
2026-04-21 11:06:57 +0800 CST
view 819
Kimi K2.6 开源版发布:SWE-Bench Pro 58.6,多项榜单压GPT-5.4和Claude Opus 4.6,支持300个并行sub-agent、12小时持续编码、4000次工具调用,开源SOTA位置稳固
Kimi
K2.6
开源
SWE-Bench
Agent
Swarm
长程编码
AI编程
模型开源
HuggingFace
Moonshot
Koog 深度解析:JetBrains 如何用工程化思维重新定义 JVM AI Agent 框架
编程
Koog 深度解析:JetBrains 如何用工程化思维重新定义 JVM AI Agent 框架
2026-04-13 04:23:36 +0800 CST
view 792
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
JetBrains Koog 框架深度解析:构建企业级 JVM AI Agent 的工程实践
编程
JetBrains Koog 框架深度解析:构建企业级 JVM AI Agent 的工程实践
2026-04-13 04:24:23 +0800 CST
view 723
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
从零理解 JetBrains Koog:企业级 JVM AI Agent 框架的设计与实现
编程
从零理解 JetBrains Koog:企业级 JVM AI Agent 框架的设计与实现
2026-04-13 04:25:09 +0800 CST
view 793
深入解析 JetBrains 推出的 Koog 框架,了解其如何为 JVM 生态带来可预测、容错、企业级就绪的 AI Agent 开发能力
AI
Agent
JVM
Java
Kotlin
Koog
JetBrains
2026 LLM 推理框架深度拆解:当 vLLM 0.5 决定「让 PagedAttention 吞掉最后一块显存碎片」——从 PagedAttention 到 FlashAttention 3.0,四大推理框架如何用「算子融合 + 量化混合 + 动态批处理」重新定义大模型推理的终极形态
编程
2026 LLM 推理框架深度拆解:当 vLLM 0.5 决定「让 PagedAttention 吞掉最后一块显存碎片」——从 PagedAttention 到 FlashAttention 3.0,四大推理框架如何用「算子融合 + 量化混合 + 动态批处理」重新定义大模型推理的终极形态
2026-08-06 06:16:32 +0800 CST
view 194
深度拆解2026年四大主流LLM推理框架:vLLM 0.5 PagedAttention进化、TGI 2.0流式输出优化、TensorRT-LLM 1.8算子融合、DeepSpeed-MII 0.9自动优化,含完整架构分析、代码实战、性能基准测试与成本计算
LLM
vLLM
TensorRT-LLM
推理框架
PagedAttention
量化
GPU
H100
大模型
DeepSpeed
TGI
Moonshine 深度解剖:27M 参数挑战 Whisper——可变长度推理、RoPE 与毫秒级流式延迟的边缘 ASR 工程真相
编程
Moonshine 深度解剖:27M 参数挑战 Whisper——可变长度推理、RoPE 与毫秒级流式延迟的边缘 ASR 工程真相
2026-07-25 13:44:10 +0800 CST
view 168
深度拆解 Moonshine 边缘端语音识别模型:可变长度推理如何免除 Whisper 的 30 秒填充税、RoPE 与卷积波形前端的架构决策、34ms 流式延迟原理,附 Python/ONNX/浏览器三条部署路线与量化调优实战。
Moonshine
语音识别
ASR
Whisper
边缘计算
RoPE
ONNX
INT8量化
流式识别
开源
Anthropic 在 Claude 内部发现了"意识前厅":J空间如何重写 AI 可解释性与安全格局
编程
Anthropic 在 Claude 内部发现了"意识前厅":J空间如何重写 AI 可解释性与安全格局
2026-07-13 15:14:42 +0800 CST
view 247
2026年7月Anthropic重磅论文解读:Claude内部自发涌现的J空间(雅可比空间)与人类全局工作空间高度相似,从神经科学理论到五大因果实验,从AI可解释性突破到安全范式革命,一次把大模型内部黑箱讲透。
Claude
Anthropic
J空间
全局工作空间
AI可解释性
AI安全
大模型
意识科学
Transformer
AGI
红队测试
大家都在搜索什么?
devops
易支付
一个官网+多少钱
统一接受回调
统一回调
sub
node
宝塔日志
mysql
shell
ElasticSearch
css
vue
api接口对接
2025
支付接口对接
go
php
php回调
回调
上一页
1
...
14
15
16
17
18
...
124
下一页