据Theinformation知情人士消息透露，谷歌正在研发一款新型服务器芯片，该芯片将直接集成其Gemini人工智能模型的蓝图（blueprint ），从而使公司能够更高效地向用户提供人工智能模型服务。
众所周知，在AI崛起的前些年，人工智能以通用的GPU为主。在看到GPU的机会，诸如TPU、NPU、LPU以及类似Crebras这样的芯片纷纷到来。不过，在过去很长一段时间内，GPU的地位无人撼动。
然而，在谷歌和亚马逊这些打造自己模型和基础设施的企业的推动下，AI芯片的格局发生了动摇。特别是随着AI的加速落地之后，AI芯片找到了新的机会，就连谷歌在做TPU的时候也分别面向推理和训练打造产品。但是，这些产品依然没有脱离传统的通用芯片特性。
现在，随着谷歌将模型写进芯片里，AI芯片发生了巨变，传统规则正在被打破。
谷歌做了一颗什么芯片？
据介绍，谷歌计划利用这款非正式名称为“Frozen v2”的新芯片，解决人工智能计算能力严重短缺的问题。这一问题引发了公司内部的紧张局势，并迫使谷歌云拒绝了一些外部客户的合作。
相信正是在这一背景下，谷歌开始探索一种新的AI芯片路线：不再单纯追求更强的通用计算能力，而是让芯片与特定模型深度结合，通过软硬件协同提升AI计算效率。
消息人士表示，“Frozen”这个名字来源于将部分模型永久蚀刻到硅片上的理念。工程师们仍在确定新芯片的主要功能以及各个组件的协同工作方式。知情人士表示，谷歌计划最早于2028年部署该芯片。
事实上，谷歌并不是第一次尝试通过专用硬件提升AI效率。早在2016年，谷歌就推出了张量处理单元（TPU），希望摆脱对通用GPU的依赖。但TPU与英伟达GPU一样，本质上仍然是一种通用AI加速器，需要支持大量不同类型的模型和算法。
这意味着，无论是GPU还是TPU，都需要在运行过程中不断根据模型结构、计算任务以及数据流进行动态调度。例如，在大模型推理过程中，芯片需要处理大量矩阵运算、内存访问以及模型调度任务，而这些通用能力虽然提供了更大的适应范围，但也带来了额外的计算开销。
而Frozen项目采取的是完全不同的思路。
它试图将部分Gemini模型的计算逻辑、推理流程甚至决策机制直接固化到芯片中，使硬件能够“理解”特定模型的运行方式，从而减少运行时的调度开销。换句话说，传统AI芯片更像是一台通用计算机，而Frozen更接近于为某个AI模型打造的“专用机器”。
这种模式类似于过去芯片行业中的ASIC（专用集成电路）路线。相比GPU等通用架构，ASIC往往能够在特定任务上实现更高性能和更低功耗，但代价是灵活性降低。一旦算法路线发生重大变化，专用芯片可能面临重新设计的问题。
这也是Frozen项目最大的挑战。
由于芯片设计周期通常需要数年时间，而AI模型迭代速度远快于传统半导体产业，如果未来Gemini模型架构发生变化，Frozen芯片可能无法充分发挥性能。因此，谷歌需要在“专用化效率”和“模型持续演进能力”之间找到平衡。
据知情人士透露，谷歌将能够对芯片进行修改，包括更新模型权重——也就是决定模型如何生成答案的参数。这意味着Frozen并非完全固定不变，而是试图在硬件固化和模型更新之间建立一种新的折中方案。
如果这一路线成功，Frozen可能代表AI芯片发展的一个重要方向：随着大模型架构逐渐稳定，芯片设计将从“支持所有模型”转向“围绕主流模型进行深度优化”。
类似趋势其实已经开始出现。当前AI产业竞争的核心，已经从单纯比拼芯片峰值算力，转向模型、软件、芯片和系统的整体协同。英伟达依靠CUDA生态构建GPU优势，而谷歌则希望通过Gemini模型、TPU以及未来Frozen芯片形成更加紧密的软硬件闭环。
据参与研发人员预测，Frozen芯片发布后，按照单位功耗处理token数量计算，其效率可能达到谷歌现有最新AI芯片的6至10倍。如果这一目标实现，它不仅能够缓解谷歌自身AI计算资源压力，也可能改变未来AI基础设施的竞争方式。
进入Taalas坚持的赛道
其实在谷歌这次消息爆出之前，Taalas就做出了将模型写进芯片的决定。
按照他们在官网中所说，人工智能模型正在改变世界。作为软件，它们对计算能力的要求极高。我们需要将效率提高1000倍。这个目标对于我们目前最先进的通用计算机来说还远远不够。
为了实现这一目标，Taalas表示，我们需要认识到以下几点：
模型不应在传统计算机上进行模拟；（The model should not be simulated on a traditional computer）
它是计算机本身；（It is the computer）
体现在原生硬件里；（Embodied in native hardware）
最佳的硬连接芯片；（Optimal，Hard Wired，Silicon）
人类语言是它的软件；（Human language are its software）
Taalas制作硬件模型；（Taalas makes hardcore models）
在他们看来，任何AI模型都可以通过Taalas Foundry升级为Hardcore模型。Hardcore模型支持微调，其配套应用程序使用人类语言编写。
在这种思路推动下，该公司推出了其首款产品HC1——一款针对开源 Llama 3.1 8B 语言模型进行优化的芯片。从参数上看，该芯片采用台积电的N6工艺制造。其面积为815平方毫米，已接近目前芯片光罩尺寸的极限。每颗HC1芯片封装内包含530亿个晶体管，其中大部分很可能用于ROM和SRAM存储器。据Bajic称，HC1卡的功耗约为200瓦，而一台配备十张HC1卡的双路X86服务器的功耗则高达2500瓦。
按照Taalas 公司所说，该芯片每秒可生成 17000 个输出tokens，是英伟达 H200 显卡的 73 倍。此外，该处理器在提供如此高性能的同时，功耗仅为后者的十分之一。
顺便一提，由于 HC1 卡速度极快，无需批量处理查询即可实现低延迟推理，这意味着 Taalas 设备的带宽压力很低。低到即使将多张卡并联运行更大的模型，PCI-Express 总线也完全够用。Taalas 将在今年晚些时候允许客户使用流水线并行技术将工作负载分配到多张 HC 卡上。事实上，到今年夏天，Taalas 将推出一款硬编码到 HC 芯片中的 Llama 3.1 模型，该模型包含 200 亿个参数。
为特定人工智能模型定制芯片可以提高效率，部分原因在于它允许工程师去除冗余组件。例如，现成的显卡可能包含比人工智能模型所需更多的DRAM。定制芯片可以将未使用的RAM替换为额外的晶体管，从而使模型运行得更快。
对于大多数人工智能项目而言，开发完全定制的处理器成本过高。据 Taalas 公司称，其工程师通过仅定制构成芯片的 100 多个层中的两个层来降低成本。大多数处理器中，只有少数几层包含晶体管。其余层则容纳辅助组件，例如在不同芯片区域之间传输数据的导线。通常，包含导线的层位于晶体管附近。
Taalas芯片中的定制层采用了一种名为掩码ROM调用架构的技术。ROM是一种存储器，用户只能向其中写入一次数据。之后，用户可以读取数据，但不能对其进行编辑。 据报道，每个掩码 ROM 调用结构模块可以存储 4 位数据。Taalas 的架构仅使用单个晶体管来处理这些数据。该晶体管执行矩阵乘法运算，即人工智能模型用于做出决策的数学计算。
Taalas 设计的一大优势在于它无需使用高带宽内存模块 (HBM)。HBM 是集成在显卡上的内存芯片，用于存储 AI 模型的数据。在 HBM 和芯片之间传输信息需要较长时间，这会降低处理速度。Taalas 表示，他们的方案不仅避免了这种延迟，还省去了支持芯片 HBM 模块所需的各种辅助组件。
值得一提的是，到今年年底，Taalas 将推出一款前沿的大型语言模型——可能是 Llama，也可能是
选定模型深耕是必然选择？
在选定模型深耕方面，初创公司Etched也是先驱。
据介绍，这家由哈佛辍学生Gavin Uberti（首席执行官 ）和 Robert Wachen（总裁）成立的公司成立于2024 年。该公司创始人表示，早在 2023 年，他们提交了一份长达 30 页的备忘录，论证人工智能最终需要的是专用芯片，而不仅仅是通用 GPU。但他们拜访的每一位主要投资者都拒绝了他们的投资。
但后来，随着AI的进展，他们找到了机会，热度也随之增加。公司也于于去年12月完成最近一轮融资，对Etched的估值达到50亿美元。参与此次融资的包括与台积电相关的创业投资基金VentureTech Alliance，以及十几位其他投资人，其中包括Geoffrey Hinton、李飞飞和Andrej Karpathy。
知情人士透露，该公司将在由现有投资者Jane Street领投的新一轮融资中，估值翻两番，达到约 200 亿美元。
回到他们的产品本身，从相关报道可以看到，Etched团队坚信Transformer芯片将主导人工智能领域，这也让他们的愿景清晰明确：打造一款在运行Transformer模型方面能够超越通用GPU的芯片，从而彻底革新人工智能行业。
在最近的新闻稿中，Etched表示，公司计划采用台积电的N4P工艺生产其推理芯片。N4P工艺是台积电五纳米工艺的升级版，性能比原工艺提升11%。据Etched称，其首批原型芯片已于今年早些时候下线。
Etched 还为其芯片配备了其他几项性能优化。
GPU每秒执行的计算越多，消耗的功率就越大，进而导致其运行温度升高。超过一定阈值后，过高的热量会导致故障。显卡通过在接近峰值频率时降低时钟频率来缓解这个问题。这种被称为“热节流”的机制会降低运算速度。
Etched公司开发了一种名为LVI的技术，可以减少对过热降频的需求。该公司表示，其芯片能够在不降低时钟频率的情况下，以“峰值80%以上的浮点运算能力”运行万亿参数的AI模型。这显著提升了推理速度。Etched公司称，其芯片的浮点运算密度（衡量性能的指标）比市面上现有的AI处理器高出数倍。
该公司计划将其芯片作为机架式推理设备的一部分进行交付。该系统采用安装在定制电路板上的多个芯片。Etched 还开发了定制冷板，这种组件在液冷系统中发挥着重要作用。冷板是一块扁平的金属片，可以将芯片产生的热量导入机架的冷却液中。
Etched 的设备混合使用了 SRAM 和 HBM 内存。AI 芯片使用 SRAM（目前市场上速度最快的 RAM）来存储工作负载中最关键的数据。其他信息则被发送到 HBM 内存，HBM 内存虽然速度稍慢，但容量却显著提升。
机架中的人工智能芯片通常需要能够访问彼此内存中的数据。Etched 的设备采用定制互连技术来实现这种数据传输。据该公司称，该设备具有系统级共享内存池，与早期技术相比，其请求处理延迟更低。
Etched公司目前正在加紧提高芯片产量，并计划于今年夏季交付首批芯片机架。该公司在六月底的时候透露，已收到价值超过10亿美元的客户订单。
写在最后
从GPU到TPU，再到谷歌Frozen和Etched，可以看到，AI芯片正在进入一个新的发展阶段。
过去，芯片竞争的核心是提升通用计算能力，GPU凭借强大的灵活性成为AI时代的基础设施。但随着大模型进入规模化应用阶段，推理成本、能耗和效率逐渐成为关键挑战，围绕特定模型进行软硬件协同优化，正在成为新的探索方向。
当然，这并不意味着GPU时代即将结束。AI仍处于快速演进阶段，通用芯片依然具备不可替代的价值。但随着模型架构逐渐成熟，专用AI芯片有望成为未来基础设施的重要组成部分。
未来，AI芯片竞争或许不再是GPU与ASIC之间的简单替代，而是形成新的分工：GPU负责支撑模型创新，专用芯片负责提升成熟模型的部署效率。
更重要的是，Frozen所代表的并不仅是一颗芯片的变化，而是AI产业竞争逻辑的变化——未来，模型可能反过来定义芯片，软件、算法与硬件之间的边界将进一步融合。而这，也可能成为下一轮AI芯片竞争的核心方向。
简体中文
English