云霞资讯网

【用NAND闪存填补AI领域短缺的DRAM】 发布会开头,铠侠内存事业部内存应用技术统括部技术统括部长松寺克树,对AI市场所处的现状以及为应对该现状而推出的自家产品线进行了讲解。 松寺氏首先展示的事实是:AI应用形式的变化正在引发数据量的爆炸式增长。直到大约3年前,AI还只是少数先进用户使用的工 ​

【用NAND闪存填补AI领域短缺的DRAM】

发布会开头,铠侠内存事业部内存应用技术统括部技术统括部长松寺克树,对AI市场所处的现状以及为应对该现状而推出的自家产品线进行了讲解。

松寺氏首先展示的事实是:AI应用形式的变化正在引发数据量的爆炸式增长。直到大约3年前,AI还只是少数先进用户使用的工具,数据和生成物也仅限于文本。但如今几乎所有人都在使用AI,处理的数据也扩展到了图像、音频、视频等多模态领域。而未来,随着AI调用AI的“Agentic AI(代理型AI)”时代的到来,预计数据量还将进一步增加。

另一方面,用于运行AI的内存容量却是有限的。2026年DRAM的总容量约为50EB(Exabyte),而闪存则高达1,000EB,两者存在相当大的差距。从单芯片的最大容量来看,DRAM为32Gb,而闪存已达到2Tb,容量层面的差距正在持续扩大。

因此,铠侠构想出用闪存去填补DRAM无法提供的领域。以往人们普遍认为,闪存的延迟比DRAM大,且写入次数受限,不适合作为主内存的替代品。然而观察实际的访问模式发现,被频繁读取和写入的数据仅占整体的20%左右,其余80%的数据几乎不被访问。在这种状态下,如果将SSD放置在几乎与内存同等的层级上,就能在填补DRAM容量不足的同时,将性能下降降至最低。

然而,传统的NAND闪存存在延迟问题,无法像DRAM那样处理。为此,铠侠开发了实现低延迟/高耐久的闪存“XL-FLASH”。其读取延迟降至5μs以下,擦写次数达到了15万次。虽然15万次的擦写次数听起来可能较少,但据称这是基于5年的使用期限进行设计的。

虽然XL-FLASH本身实现了较短的读取延迟,但仍留有程序(写入)和擦除耗时较长的课题。因此,该公司通过开发隐蔽该耗时的专用控制器,实现了低于10μs的超低延迟,并与可由CPU直接读取的CXL接口相结合,将其转化为了产品。关于隐蔽延迟的具体机制,铠侠表示目前暂不公开。

在使用CXL内存模块、相同容量(仅DRAM为225GB的环境 vs DRAM 148GB + XL-FLASH 77GB的环境)进行对比时,后者维持了95%以上的性能。而从成本层面来看,相比仅使用DRAM的环境,后者实现了2倍的容量,并展示出了能发挥1.3倍性能的数据。

将NAND闪存这类非易失性内存用作DRAM的构想,过去曾有 NVDIMM-P 规格。那是将NAND闪存连接到主板上的DIMM插槽中。但实际上基于该规格的产品迟迟未能问世,在此期间更容易设计的CXL标准崛起,因此如今CXL成为了主流。

此外,铠侠指出,在SSD的演进过程中,未来提高NAND闪存的电力效率至关重要。数据中心的电力受到限制,不仅需要提高比特密度,还要求在电力受限下展现出高性能。此外,大容量SSD需要堆叠大量的Die(晶圆裸片),芯片数量越多,越容易因接口导致性能下降。

为此,在第10代BiCS FLASH中,铠侠采用了CBA(CMOS directly Bonded to Array)技术,即分别制造逻辑电路和内存单元阵列的晶圆并进行键合,以此进行了改进。据介绍,通过该技术,每个封装的容量最大达到了4TB,读取电力效率提升至2倍,写入电力效率提高了40%。

🔗: 网页链接