官方资料观点观察

NVIDIA 谈显存紧张:涨价期如何让每字节多干活

NVIDIA 博客称更大的模型、更长的上下文和 agent 应用正加大 GPU 显存压力,同时供应收紧、价格上涨,并预计近期持续;文章介绍其与内存厂商合作和全栈协同设计。同日开发者博客另有一篇讲 HBM 优化的五种做法。

Amr Elmeleegy原始发布
01

为什么值得留

理解推理成本上涨的一个来源:显存是瓶颈也是成本大头。

02

可以从这里开始

自己跑推理的,查一下当前部署的 KV cache 占用,看长上下文是否在吃掉大部分显存。

03

阅读时留意

是厂商观点和推广;「价格上涨、近期持续」没有给数字;具体优化手段和效果节选未见。

OnBalls 导读整理于 2026.11.06。只读收件箱保存的摘要(较完整,约三句);同日的 HBM 五种做法一文只读到半句,未单独选。

同一方向,继续读

这个方向的精选
部署与监控观点观察

NVIDIA Vera CPU:agent 的工具调用也吃 CPU

NVIDIA 博客介绍 Vera CPU,论点是 agent 不只生成回答,还要搜索、查数据库、写和测代码、执行操作,这些步骤跑在 CPU 上,任务过程中在 GPU 推理和 CPU 执行之间来回;agent 规模化后需要高吞吐的 CPU。

官方资料