华为一句 “突破冯・诺依曼” 直接引爆全网,有人高呼技术革命,也有人认为只是宣传噱头。9 月 17 日全联接大会,华为发布 Peerium 计算架构,目标让百万级处理器协同工作,逻辑上合并成一台计算机。
简单说就是现代计算机底层框架:运算、存储、输入输出分离,几乎所有电脑、手机都基于这套理论。但这套架构的前提,是单台计算机。
训练大模型动辄上万张算力卡,但传统集群算力利用率仅 20%。大部分显卡不是在计算,而是在等待数据传输、节点同步,大量算力白白浪费。
核心来自嵌套 BSP 并行理论,这个理论本身并不新鲜。华为的亮点:
一句话:过去靠软件模拟多机合一,华为尝试用硬件实现。
英伟达优先在单机柜内做高密度高速互联,追求低时延;华为依靠光互联,把算力扩展到整个机房甚至跨机房,用空间换集群规模,弥补制程短板。两条路线,只是手里的资源不一样。
它并没有真正推翻冯・诺依曼体系,论文本身也归类在并行冯・诺依曼架构之下。 目前只是架构方案,缺少大规模工程验证。百万卡集群的故障容错、数据一致性都是巨大难题,论文给出的性能数据,第三方实测差距明显。
这套架构最大价值,不是颠覆计算机底层理论,而是给出一套系统级算力优化方案,用国内光通信产业链优势,缓解算力集群利用率低的痛点。但能不能落地跑通,还需要时间检验。
你觉得这是国产算力的重大突破,还是概念大于实际?欢迎评论区聊聊。