ARTICLE DETAIL / 01 深度阅读

从事实、背景与趋势出发,整理一份更值得慢下来阅读的内容。

READ
WITH
FOCUS
当前位置 乐虎(中国)官网 - 新鲜感,游戏从这里开始 新闻中心 Marvell要用光,终结存储末日
FEATURED REPORT

Marvell要用光,终结存储末日

本篇体育资讯由乐虎官方游戏网站整理:

公众号记得加星标⭐️,第一时间看推送不会错过。

Celestial AI 实现远距离高带宽存储器 (HBM) 的梦想即将成为现实,这是 Marvell Technology 与系统集成商 Penguin Solutions 合作构建光子存储结构的一部分。

今年 2 月,Marvell 以 35 亿美元的价格从Celestial AI收购了该光纤通道架构的底层技术。

该架构包含一个内存扩展模块,该模块包含两组总计 72 GB 的 HBM3e 内存堆叠,并支持八通道 DDR5 内存,这些内存堆叠在一个硅光子中介层上,双向带宽为 7.

2 Tbps(900 GB/s)。

“我们在这个设备中提供的是我们称之为光子结构存储模块的东西……我们把这些模块提供给 Penguin,他们负责制造盒子、进行所有电源管理、编写软件以及所有管理层,”Marvell 光子结构业务高级副总裁 Preet Virk 告诉El Reg。

Penguin 首批基于该技术的设备将支持 16 个这样的内存模块,最高可达 16 TB DDR5 和 1 TB HBM,未来的系统能够扩展到 DDR5 容量的两倍。

每个设备通过 Marvell 设计的光纤交换器分配 57.

6 Tbps 的带宽,最多可支持 16 台服务器,可通过网络接口卡、共封装 (CPO) 或近封装 (NPO) 光模块实现。

如果您还不熟悉,CPO 模块通常直接集成到计算或交换 ASIC 中,而 NPO 模块则是一种折衷方案。

它们通过电气方式连接到主机(无论是 CPU、GPU 还是其他 ASIC),并通过光学方式连接到网络的其余部分。

NPO 有望在英伟达和 AMD 的下一代机架式系统中发挥重要作用,因为它比将光子芯片直接集成到 CPU 或 GPU 中具有更好的可维护性和更小的故障影响范围。

据称,通过 Penguin 开发的软件层,每个系统都可以访问整个共享内存空间,类似于连接到网络附加存储的系统可以访问设备的全部容量。

about image

据我们了解,目前很多此类功能都是通过兼容 CXL 3.

1 的网卡和主机 CPU(例如 AMD 最新推出的 Venice CPU)实现的。

然而,Virk 告诉我们,对于基于 NPO 和 CPO 的内存,可以完全绕过 CXL。

这项技术的意义显而易见。

如果内存可以在多台服务器之间共享和池化,那么每台服务器就不需要那么多自己的DRAM,从而可能节省一些成本。

Virk表示,除了促进通信之外,该软件还支持多种内存分层模式,客户可以通过这些模式将资源开放给连接的系统。

这些模式大多遵循典型的CXL内存分层规范,但有一个例外:HBM直通缓存模式。

Virk称,该模式可以让用户以DDR5的容量获得HBM的性能。

这种模式本质上是将HBM视为读/写缓存。

频繁访问的文件会先写入HBM并从中读取,然后在过期后才被推送到标准的DDR5内存中。

Marvell 和 Penguin 将这款新型内存设备定位为基于存储的键值 (KV) 缓存卸载的替代方案。

人工智能推理会生成大型 KV 缓存,用于跟踪聊天会话和长时间运行的代理的模型状态。

根据上下文长度,这些缓存的重新计算成本可能很高,而且内存占用也很大。

因此,不活跃的键值缓存通常会被卸载到DRAM或闪存中,因为存储和复制它们比在会话恢复时重新计算它们要快得多。

Marvell认为,通过将键值缓存直接从HBM卸载到这些内存设备,客户可以获得更高的性能和内存利用率。

除了 AI 相关工作负载之外,这项技术还有可能减少单个系统所需的 DRAM 数量,我们今年早些时候更深入地探讨了这一概念,Meta 已经在自己的数据中心中采用了这一概念。

Marvell预计Penguin的第一代光子结构内存扩展系统将于明年下半年上市。

更多体坛动态,关注乐虎官方游戏网站。

返回资讯列表
分享这篇内容让更多人看到有价值的信息
TRENDING NOW / 03

热点内容

编辑团队正在关注的内容方向。

又一部《人世间》?34集年代大剧,刘浩存主演,要收视长虹了

又一部《人世间》?34集年代大剧,刘浩存主演,要收视长虹了

年代剧最怕什么,怕导演端着,怕演员绷着,怕满屏都是「我们在拍一部严肃作品」的劲儿。真把日子拍出烟火气的,近些年也就《人世间》让人看得又哭又笑,像把自己家的事搬上了电视。 好家伙,李路又动手了。 《美顺与长生》 ,34 集,1978 年北大荒的麦田开场。黄轩演的赵长生还是个半大孩子,一柄锈镰刀下去,命捡回来了,心智永远停在了孩童时代。刘浩存演的刘美顺,16 岁从东北山村远嫁北京,进门第一晚面对的就是

敬一丹的硬笔字迹真飒!好亲切!写柳公权玄秘塔,是悬腕写还是伏案写?如何鉴定这幅书法的真伪?

敬一丹的硬笔字迹真飒!好亲切!写柳公权玄秘塔,是悬腕写还是伏案写?如何鉴定这幅书法的真伪?

敬一丹的硬笔字迹真飒!好亲切!写柳公权玄秘塔,是悬腕写还是伏案写?如何鉴定这幅书法的真伪? 写字的姿势无外乎两种:一种是站姿,另一种是坐姿。 先说站姿:既然是站姿,就只能是一种选择,即悬腕,又 悬肘,从书写角度来说,站姿是最有利于写毛笔书法的姿势, 因为只有采取站姿时,人体的肘腕配合度是最好的,唯有 站姿时,书者的视线和纸形成的角度最合理,这种视线下完成 的作品造成的视线差最小,所以,如果你打算成

8部惊悚片组团赴AFM,暗网棋局与杀人鼠同台

8部惊悚片组团赴AFM,暗网棋局与杀人鼠同台

新西兰销售公司Black Mandala及其旗下厂牌Red Owl将带着 8部 类型片前往美国电影市场(AFM),其中Black Mandala负责4部,Red Owl带来4部独立长片,题材覆盖恐怖、心理惊悚、超自然与黑暗奇幻。 打头阵的是英国恐怖片《Rise of the Rats》,由斯蒂芬·罗奇执导。故事跟随朋克女孩凯拉·索恩希尔,她与关系疏远的父亲一同前往父亲长大的村庄迪奇菲尔德。那里的鼠

英伟达跌倒,国产替代吃饱!

英伟达跌倒,国产替代吃饱!

今天凌晨,美媒又曝出了黄仁勋出轨女下属的消息,随后,《华尔街日报》报道称,英伟达正准备罢免首席执行官黄仁勋。英伟达董事会计划最快于当地时间今日召开专项董事会议,对黄仁勋的去留问题开启投票表决。 这一消息,直接导致了英伟达股价在盘后交易中一度暴跌9%。 全球的投资者都知道,黄仁勋对于英伟达的重要性,所以投资者选择了用脚投票…… 今天,华尔街的投资机构,纷纷调低了英伟达的目标价,都在担心一旦黄仁勋被罢

祝贺!中国队收获7张奥运门票,13枚金牌遥遥领先,统治力无敌

祝贺!中国队收获7张奥运门票,13枚金牌遥遥领先,统治力无敌

2026年射击世锦赛在多哈落幕,作为世界射击赛场的传统强队,中国队最终以13金6银8铜的成绩夺得金牌榜、奖牌榜榜首,比排名第二的意大利队多出10枚金牌,展现出超强统治力。而在奥运项目中,中国队也拿到了6金5银5铜,刷新队伍在世锦赛奥运项目的历史最好成绩,成功斩获7个奥运席位,包括男女10米气步枪、男女10米气手枪、飞碟女子双向及男子飞碟多向等。 不过,中国队在部分单项也意外遭遇滑铁卢,尤其是男子2