云霞资讯网

“买显存送核心”,AI芯片竞赛进入“内存为王”!智能体大时代,中国AI芯片有何机会?

曾经,云服务厂商买ai芯片,关注gpu(图形处理器)算力大小,而如今,可能更多的是看重显存大小,比如是40gb还是80gb。

甚至有人调侃“买显存送核心”,即买一张gpu算力卡,更看重的是显存带宽和容量,而不是gpu算力大小。

如今,内存芯片一两个月价格翻倍的大涨潮,正是对ai芯片进入“内存为王”的集中体现。

ai云基础设施厂商ppio相关专家告诉每经记者:“hbm(高带宽内存)及cowos(基板上晶圆、芯片)封装产生的成本已经超过纯gpu芯片,hbm成本已经‘碾压’核心,‘买显存送核心’已成为现实。”

某gpu芯片企业技术负责人李明(化名)对每经记者表示:“结合我们硬件设计与供应链经验,cowos封装gpu中,当前hbm显存成本已接近甚至超过gpu核心,是整卡成本最高的单一组件。”

懂芯创始人张慧娟告诉每经记者:“ai芯片的竞争已从单纯的算力竞赛,转向了内存带宽和内存容量的双重竞赛。hbm通过先进封装技术与gpu裸片集成在同一封装内,实现了计算与存储的紧耦合,极大地缓解了内存难题,越来越成为业界追捧的主要方向。”

2025年下半年以来,存储芯片持续涨价成了半导体行业最热门的话题。进入2026年,存储芯片仍保持上涨趋势,且涨幅惊人。

而这背后,是ai芯片已进入“内存为王”的时代。

2023年,chatgpt石破天惊,人类社会进入大模型时代。进入2026年,大模型已然从思考转向应用,智能体、skill以及“养虾”成了热门话题。

人工智能的发展,也对ai芯片有了新的要求。随着大模型参数的增加,训练和推理对显存(内存的一种)的需求也与日俱增。

张慧娟表示:“我们已经见证了模型参数量的指数级增长,从gpt-3的1750亿到万亿级moe(混合专家模型),直接推动了hbm需求的爆发。这也逐步造成,制约算力的瓶颈往往不是芯片算力本身,而是数据从内存传输到计算核心的速度,因为参数必须被加载到计算单元附近的高速存储介质中,计算单元才能以极低的延迟调用它们进行运算。”

李明认为:“大模型的参数量与内存需求之间存在着直接的正向关系。在2026年的技术背景下,虽然模型架构(如moe混合专家模型)和量化技术(quantization)在不断优化,但‘参数量越大,内存需求越高’依然是ai领域的基本物理定律。除了模型权重需要的静态显存占用以外,大模型运行时需要的kvcache和激活值等都会额外占用显存。在训练任务中,还需要额外显存来保存梯度和优化器状态等信息。”

但大模型对内存的强劲“渴望”,不仅仅局限于参数的增长。

智能体的快速发展,令ai推理对ai芯片的需求大增。业界普遍认为,未来ai推理对ai芯片的需求将大幅超越ai训练。

ppio专家表示:“大模型推理场景中,gpu内存主要用于两个方面,一是保存大模型的权重,另一个是推理过程中用于存储中间状态,也就是kvcache缓存。前者由大模型参数量决定,后者取决于会话的上下文长度。大模型发展至今,参数量已经趋于稳定,不会大幅增加。而会话的上下文长度还在持续增加,特别是agent(智能体)场景下,1百万token的上下文长度已成为主流。这样进一步增加对内存的开销,长上下文成为内存需求的主要因素。”

参数、长上下文,这两大因素的作用下,内存的重要性已然超越gpu计算核心。

不仅仅客户需求侧更加看重内存。在成本结构中,内存的成本也大幅高于纯粹的gpu核心。

ppio专家称:“一张gpu的成本构成主要分成三部分,一是hbm内存,容量越大成本越高;二是gpu核心(逻辑计算芯片);三是先进封装工艺(cowos)。高端gpu,由于hbm内存容量更大,其hbm的成本更高,以b200(英伟达gpu)为例,其总生产成本的构成中,hbm内存占比约45%,cowos封装及良率损失占比约34%,gpu核心芯片占比只有14%左右。”

即英伟达b200的成本结构中,45%源自向sk海力士、三星、美光等厂商购买hbm,14%源自台积电代工的gpu裸芯,34%源自台积电代工的cowos封装及良率损失。

而hbm由多层dram(动态随机存取存储器)堆叠而成。hbm需求大增,意味着sk海力士这类厂商将越来越多的dram产能用于制造hbm,相应用于消费级的dram产能便少了。

ppio专家表示:“三大存储巨头(三星、sk海力士、美光)已经将70%的产能转移到hbm上,用于消费电子的gddr产能反而会下降。因此我们首先看到消费领域的geforcegpu的价格普遍上涨,大内存gpu减产甚至停产,这是由于gddr内存减产以优先保障hbm内存导致的。”

那么,若未来存储行业产能提升,消费电子领域存储价格是否也将率先受到冲击?

张慧娟认为:“消费电子往往是最先感知到波动的领域。特别是对于存储来说,比如手机、pc(个人电脑)用的lpddr(低功耗内存)、ssd(固态硬盘)等接近于标准品,价格弹性大。一旦上游晶圆产能提升,最先反映在现货价上的是这些产品。”

李明认为:“未来存储产能提升后,最先受到影响的是消费电子用存储。消费级存储认证周期短、需求弹性大、替换灵活,新产能可快速导入消费端,价格波动也最为明显。而数据中心用存储认证流程通常需要6—18个月,新产能导入速度较慢,且存储厂商会优先保障数据中心的产能供给,因此它受产能提升的影响最晚、幅度最小。总体而言,产能提升的影响会先平抑消费端价格,再逐步传导至企业级市场。”

简而言之,存储产能提升后,将率先平抑消费端存储芯片价格。

值得一提的是,三星、sk海力士未来将有两座晶圆厂陆续投产,这将缓解内存“缺货涨价”吗?若p4l(三星电子)和m15x(sk海力士)提前投入运营,是否将对存储芯片价格带来冲击?

张慧娟认为:“p4l和m15x新增产能,很大程度上是为hbm和高性能ddr5(第五代计算机内存规格)准备的,而不是传统的ddr4(第四代计算机内存规格)或nand(闪存)。这些属于高端产能。”

其补充表示:“对hbm的价格冲击可能不大,甚至不会降价。因为ai芯片开发周期长,且市场处于供不应求的局面。新增产能是为了填平供需缺口,有望抑制价格进一步大涨,但难以带来大幅降价。对普通dram而言,假设hbm需求不及预期,或者厂商将部分产线切换回通用dram,那么会对消费电子内存价格带来压力。但目前看,晶圆厂更倾向于优先保证高利润的hbm生产。”

李明对每经记者表示:“从存储芯片供应链与gpu硬件配套的角度分析,三星p4l与sk海力士m15x即便提前投产,短期内对存储芯片价格的冲击也较为有限。核心原因在于,这两座工厂的新产能主要聚焦于hbm、先进制程ddr等高端存储产品,并未直接扩产消费级存储。”

李明补充表示:“当前ai需求呈爆发式增长,高端存储仍处于供需紧张状态,因此短期价格将维持高位。中长期来看,随着产能逐步释放,高端存储的供给压力会有所缓解,但新产能将优先配套ai与数据中心需求,普通消费级存储不会出现大幅降价,整体呈现结构性缓和态势。此外,各大厂商的存储优化技术,也能进一步平衡供需,避免全品类存储价格出现大幅波动。”

ppio认为:“hbm的产能严重不足以及ai数据中心对gpu的旺盛需求是造成hbm内存成本远高于gpu核心的主要因素。市场的供需不平衡会促使更多内存厂商扩大生产,尤其是增加hbm的生产和供给,不过短期很难改变供需失衡的现状,未来hbm内存价格还将继续上涨,但趋势会放缓。”

在ai算力相对不稀缺而hbm短缺的背景下,中国ai芯片厂商有何机会?

据记者了解,国内ai芯片厂商除了自身产品和技术解决方案,还在基础软件层面联合各大人工智能基础设施公司、大模型厂商和互联网等生态伙伴一同研究例如低精度量化、专家预测加载等工程优化技术,来系统性地降低实际大模型部署和应用过程中对内存的需求。

即在工程化领域,中国工程师红利或将凸显。