华泰证券:大模型训练所需算力每3-4个月增长1倍 需求有望进一步大幅增长

据OpenAI,大模型训练所需算力每3-4个月增长1倍,增速远超摩尔定律(18-24个月/倍)。

智通财经APP获悉,华泰证券发布研究报告称,算力是制约中国发展以ChatGPT为代表的大模型主要瓶颈之一。据OpenAI,大模型训练所需算力每3-4个月增长1倍,增速远超摩尔定律(18-24个月/倍)。随着GPT-4等下一代大模型出现,算力需求还有望进一步大幅增长。中国发展高性能计算,应加大在:1)异构计算芯片架构;2)先进封装方面的投入。

华泰证券主要观点如下:

算力是制约中国发展大模型的主要瓶颈

该行认为算力是制约中国发展以ChatGPT为代表的大模型主要瓶颈之一。据OpenAI,大模型训练所需算力每3-4个月增长1倍,增速远超摩尔定律(18-24个月/倍)。随着GPT-4等下一代大模型出现,算力需求还有望进一步大幅增长。该行认为美国对华出口限制,主要造成中国先进工艺发展短期受限、国产替代方案或推高大模型训练成本/时间两大影响。中国发展高性能计算,应加大在:1)异构计算芯片架构;2)先进封装方面的投入。

影响1:先进工艺对提升芯片性能至关重要,中国大陆发展短期受限

发展先进制程意义在于持续提升晶体管密度,提升芯片性能、降低功耗。根据WikiChip,台积电5nm芯片每平方毫米晶体管数量是10nm3.3倍,16nm5.9倍,3nm晶体管密度有望比5nm提升70%,性能提升11%,功耗降低27%。美国限制16/14nm及以下先进逻辑工艺技术及设备向中国出口,对中国先进制程短期发展造成较大阻力。进入3nm制程以下,目前主流FinFET将走向物理极限,GAAFET将成为主流技术,但美国对中国禁售相关EDA软件。同时,荷兰EUV及先进DUV光刻设备目前均无法对中国出口。

影响2:A100进口限制阻碍大模型发展,国内替代方案或推高成本

22年8月美国限制英伟达、AMD对华出口高端GPU芯片,尽管后来有替代版本A800推出,但由于对高速互联总线的带宽做部分裁剪,在使用性能和功耗上面仍与A100有部分差距。目前H100性能是A100的4.5倍,而A800理论性能相比A100降低约1/3,随着算力需求不断增加,国内由于A100以上芯片的进口限制导致大模型训练时间/成本或显著提升,客观上阻碍了我国大模型的发展。因中国企业进行14nm以下半导体代工受到技术及设备限制,及美国限制海外代工企业为中国设计企业生产性能超过A100的芯片,短期内,中国芯片公司能够生产超过A100的AI芯片的难度也较高。

路径1:异构计算蓬勃发展,关注GPU,DPU,存算一体等不同路径

面对先进制程昂贵成本和日趋接近物理极限,仅靠工艺改进难以满足算力膨胀需求。异构计算从计算架构出发,充分利用计算资源并行分布,将不同制程/架构、不同指令集、不同功能硬件进行组合,成为解决算力瓶颈更为经济的方式。目前主流异构包括1)GPU,2)DPU,3)存算一体,4)自适应加速器等路径。目前中国异构计算正蓬勃发展。

路径2:先进封装助力超越摩尔定律,国内公司积极布局2.5/3D等领域

先进封装是一系列通过把采用不同工艺的小芯片相结合,提升芯片互联密度及通信带宽,从而大规模提升芯片性能的技术,实现超越摩尔定律。AMD于2015年,在业界内率先采用2.5DChiplet设计的芯片,通过把存储和计算芯片在平面上连接,大幅提高系统性能,从而实现对英特尔市场地位挑战。该行看到Chiplet作为长期趋势,有望提升芯片测试需求及IP可复用性。

风险提示:1)AI技术落地不及预期。2)本研报中涉及到未上市公司或未覆盖个股内容,均系对其客观公开信息的整理,并不代表本研究团队对该公司、该股票的推荐或覆盖。

智通声明:本内容为作者独立观点,不代表智通财经立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。更多最新最全港美股资讯,请点击下载智通财经App
分享
微信
分享
QQ
分享
微博
收藏