ai发展驱动高效能运算需求提升，仰赖hbm与cxl优化硬件效能｜trendforce集邦咨询-yb体育app官网

trendforce集邦咨询：ai发展驱动高效能运算需求提升，仰赖hbm与cxl优化硬件效能

根据trendforce集邦咨询最新发表的服务器报告指出，近几年受到新兴应用的激励，加速了人工智能及高效能运算的发展，且伴随着仰赖机器学习及推论的需求提升，建构出的模型复杂度也随着需求的精细程度有所增加，因此在计算时须处理的数据量亦随之增大。在此情境下，庞大的数据处理量受硬件效能局限，导致使用者在设备的建置面临了效能、容量、延迟度以及成本间的取舍问题，从而刺激hbm（high bandwidth memory）及cxl（compute express link）的出现。功能上来说，hbm为新形态存储器，主要协助更多元、高复杂运算而需要的i/o作辅助，而cxl则为使存储器资源共享的协定，提供xpu更为便捷的应用。

现行dram架构垂直堆栈，hbm突破现有yb体育app官方下载的解决方案的频宽限制

为了不受限于传统存储器的频宽束缚，存储器原厂开发了hbm，其结构为基本逻辑颗粒上连接数层的dram裸晶，而dram裸晶之间以硅通孔及微凸块3d堆栈达到高频宽设计，层数又以4层及8层为主流。而以现行世代来看，hbm2e为目前最新的量产世代，单层16gb的裸晶堆栈4层或8层，使得单颗容量分别为8gb及16gb，频宽可达410-460gb/s，而下一代hbm3已进入机构件送样阶段，可望于2022年量产。

根据trendforce集邦咨询观察，2021年hbm位元需求占整体dram市场仍未达1%，主要包含两大原因：首先是消费级应用因成本考量下几乎未采用hbm，其次是服务器市场中作为ai功能的建置低于1%，即服务器搭载相关ai运算卡的比重仍小于1%，且多数存储器仍使用gddr5(x)、gddr6来支持其算力。

展望未来，虽然hbm仍在发展期，但随着应用对ai的依赖度增加（包含模型复杂化来优化ai精准度），需要hbm的加入来支援硬件。其中，以与ai最相关的fpga和asic来看，fpga产品有英特尔（intel）的stratix、agilex-m以及赛灵思（xilinx）的versal hbm导入hbm；而asic方面，多数数据中心在ai的建置中，逐渐以自研的asic芯片作为发展方向，例如谷歌（google）的tpu、腾讯（tencent）的邃思、百度（baidu）的昆仑皆使用hbm。再者，英特尔（intel）的server cpu sapphire rapids亦规划于2022年底释出带hbm的高端版本。trendforce集邦咨询认为，hbm有助于突破ai发展中受限的硬件频宽瓶颈，未来市场上将出现更多相关应用。

高速运算催生的新协定，cxl将更有效整合系统中的运算资源

cxl则是基于pcie gen5规格演变的协定，让cpu及其他加速器（例如gpu、fpga等之间）建立高速、低延迟的互联性，使其各自的存储器模拟成一个共享的空间，允许存储器资源共享，从而降低系统成本并获得更高的性能，因此有利于解决ai及hpc的工作负载。

而市场上类似概念的存储器资源共享协定并非只有cxl提出，英伟达（nvidia）的nvlink、超威半导体（amd）及赛灵思（xilinx）的gen-z，皆凸显大厂对系统资源整合的重视。然而，trendforce集邦咨询认为，cxl能由众多协定中脱颖而出的主要原因，来自于其协定为英特尔提出，而该公司在cpu市场占有高采用率的优势，英特尔cpu支援的号召能使得cxl及其相关硬设备商得以自上而下的统合，因此相继获得超威半导体、arm、英伟达、谷歌、微软、facebook、阿里巴巴、戴尔等公司的加入，成为目前呼声最高的存储器协定。

在允许cpu及其他硬件进行存储器资源整合下，利于降低各硬件间的通信延迟，也能提高ai及hpc发展需要的计算性能。为此，英特尔将在下一代服务器cpu sapphire rapids中支援cxl，而存储器原厂亦规划支援cxl的产品方案，其中，三星（samsung）宣布将推出支援cxl的ddr5模块，用以扩张服务器存储器容量，满足ai运算需要的庞大存储器需求。未来cxl亦有机会推及至nand flash的方案支援，使得dram及nand flash双双受惠。

hbm及cxl交互合作有利于ai发展，实际应用于2023年将更有能见度

trendforce集邦咨询认为，cxl导入将随着未来cpu内建cxl功能而普及化，而未来ai服务器的硬件建置，将能见到更多同时采用hbm及cxl的设计。其中hbm能分别增加cpu及加速器各自的频宽，加速数据处理速度；cxl则建立彼此间沟通的高速互联性，两者交互有助于扩展ai算力从而加速ai发展。

在存储器资源共享下，模型的设计能摆脱硬件瓶颈，持续往更复杂的架构建设。trendforce集邦咨询预估，随着支援cxl的英特尔cpu sapphire rapids导入达一定覆盖率，以及存储器原厂陆续量产更高频宽的hbm3及具备cxl功能的dram与ssd，2023年可望于市场上见到更多hbm及cxl合作使用的应用。