英伟达宣告“黄氏定律” :AI晶片性能10年成长 1000倍

点击蓝字 关注我们 

今日要闻

Nvidia 官方近日发布一篇文章：解释他们相信 AI 晶片的效能，能如 CEO 黄仁勳提出的黄氏定律（Huang’s Law）：在 10 年内能让单个 GPU 在推理性能实现 1000 倍以上的增长。

近年来，科技界一直在争论“摩尔定律（Moore’s law）是否已死？”的话题，就连在人工智慧晶片领域独佔鳌头的辉达（Nvidia）执行长黄仁勳，也曾多次公开表示“摩尔定律已死”，而 AI 将能成为克服摩尔定律困境的解药。

半个多世纪以来被半导体业界视为黄金法则的“摩尔定律”是由半导体巨头 Intel 共同创办人 Golden Moore 所提出，其核心主要是：“积体电路上可容纳的电晶体数目，约每隔两年便会增加一倍”，即随著晶片制程变得越来越小、晶片的效能每两年就会提高一倍。

01

Nvidia 解释“黄氏定律”

看好 AI 推理性能会大幅成长，Nvidia 官方最近发布一篇文章，再次向大众提出这项新兴法则：黄氏定律（Huang’s Law）。

该公司首席科学家 Bill Dally 在 8 月底的《Hot Chips 2023》的演讲中表示，Nvidia 团队在过去十年中，让单个 GPU 在 AI 推理的性能实现 1,000 倍以上的提升，这是一个令人震惊的成长。他相信鉴于对生成式 AI 大型语言模型的强大需求，该模型每年都以一个数量级的规模成长。

02

Nvidia 将遵循黄氏定律，10 年内晶片效能获 1000 倍成长

Dally 在 8 月的演讲中提到，与摩尔定律不同，晶片制程缩小对 Nvidia 晶片发展几乎没有影响。他表示，尽管 Nvidia  在过去十年中将 GPU 从 28 奈米转到了 5 奈米的半导体节点，但制程的缩小的技术仅让晶片性能成长了 2.5 倍。之所以 Nvidia 能在过去十年中见证了晶片性能的 1000 倍增长，关键在于优先考虑单个“堆叠”内的创新，而非晶片开发。

小编列举了在过去帮助 Nvidia 实现 1000 倍效能增长到重点措施，包括：引入 Hopper 架构和 Transformer 引擎的新数学动态组合提供高级指令帮助 GPU 用更少的精力执行更多的工作

Nvidia Ampere 架构增加了结构稀疏性，其简化 AI 模型中的权重而不影响模型准确性NVLink 帮助 GPU 互联和 Nvidia 网路技术进步等。

03

最后，小编信心喊话，尽管“摩尔定律”带来的好处正在减少，但他相信黄氏定律仍将继续存在，并为行业带来崭新机会。