芝能智芯出品

在2025年Google Cloud Next大會上，Google正式發(fā)布了其第七代張量處理單元（TPU），代號“Ironwood”。

作為Google迄今為止性能最強大的AI芯片，Ironwood專為AI推理任務設計，標志著AI技術從傳統(tǒng)的“反應式”模型向“主動式”智能體的轉型。相較于2018年的第一代TPU，Ironwood的推理性能提升了3600倍，效率提高了29倍。

單芯片配備192GB高頻寬內(nèi)存（HBM），峰值算力達4614 TFLOPs，并支持1.2Tbps的芯片間互連（ICI）帶寬。

相較于前代Trillium，其能效提升了兩倍，最高配置的9216顆芯片集群總算力高達42.5 Exaflops，超過全球最大超級計算機El Capitan的24倍，Ironwood預計將于今年晚些時候通過Google Cloud向客戶開放，為開發(fā)者提供前所未有的AI計算能力。

Part 1

Ironwood的技術架構與創(chuàng)新

Ironwood是Google基于5納米工藝打造的第七代TPU，其硬件規(guī)格在AI芯片領域樹立了新標桿。

每顆芯片配備192GB的高頻寬內(nèi)存（HBM），峰值算力達到4614 TFLOPs，并通過1.2Tbps的芯片間互連（ICI）帶寬實現(xiàn)高效的分布式計算。

與前代Trillium相比，Ironwood在內(nèi)存容量、算力及通信能力上均有顯著提升，為處理大規(guī)模AI工作負載奠定了堅實基礎。

● 高帶寬內(nèi)存（HBM）：Ironwood的HBM容量達到192GB，是Trillium的6倍（Trillium為32GB）。這一提升大幅減少了數(shù)據(jù)傳輸?shù)钠款i，使芯片能夠同時處理更大的模型和數(shù)據(jù)集。

對于需要頻繁訪問內(nèi)存的大型語言模型（LLM）或混合專家模型（MoE），Ironwood的高帶寬內(nèi)存尤為關鍵。此外，其HBM帶寬高達7.2TBps，是Trillium的4.5倍，確保了數(shù)據(jù)訪問的高速性，滿足現(xiàn)代AI任務對內(nèi)存密集型計算的需求。

● 峰值算力：單芯片4614 TFLOPs的峰值算力使Ironwood在執(zhí)行大規(guī)模張量運算時表現(xiàn)出色。這一算力水平支持復雜的AI模型訓練和推理任務，例如超大規(guī)模LLM或需要高精度計算的高級推理應用。相比之下，Trillium的單芯片算力僅為前代的幾分之一，Ironwood的提升幅度令人矚目。

● 芯片間互連（ICI）帶寬：Ironwood的ICI帶寬達到1.2Tbps，雙向帶寬是Trillium的1.5倍。高速ICI網(wǎng)絡確保了芯片間的低延遲通信，使多個TPU協(xié)同工作時能夠高效同步。這種設計特別適用于超大規(guī)模集群，例如9216顆芯片的TPU Pod配置，能夠充分發(fā)揮42.5 Exaflops的總算力。

● 在全球AI算力需求激增的背景下，能效已成為AI芯片設計的核心考量。

◎Ironwood的每瓦性能是Trillium的兩倍，整體能效接近2018年首款云TPU的30倍，得益于Google在芯片設計和散熱技術上的創(chuàng)新。

◎Ironwood通過優(yōu)化的架構設計，將能耗降至最低，同時保持高性能輸出。

◎在數(shù)據(jù)中心電力供應日益緊張的今天，這一特性為客戶提供了更經(jīng)濟高效的AI計算解決方案。例如，在處理相同規(guī)模的AI任務時，Ironwood的電力消耗僅為Trillium的一半，顯著降低了運營成本。

◎為應對高功率密度的挑戰(zhàn)，Ironwood采用了先進的液冷方案。與傳統(tǒng)的風冷相比，液冷技術能夠維持高達兩倍的性能穩(wěn)定性，確保芯片在持續(xù)高負載下仍能高效運行。

這一設計不僅延長了硬件壽命，還支持超大規(guī)模集群的可靠運行，例如9216顆芯片的TPU Pod，其功率接近10兆瓦。

● Ironwood引入了增強版的SparseCore和Google自研的Pathways軟件堆棧，進一步提升了其在多樣化AI任務中的適用性。

◎SparseCore是一款專用加速器，專為處理超大嵌入任務設計，例如高級排名和推薦系統(tǒng)中的稀疏矩陣運算。

Ironwood的SparseCore較前代進行了擴展，支持更廣泛的工作負載，包括金融建模、科學計算等領域。通過加速稀疏運算，SparseCore顯著提升了Ironwood在特定場景下的效率。

◎Pathways是Google DeepMind開發(fā)的機器學習運行時，支持跨多個TPU芯片的高效分布式計算。

通過Pathways，開發(fā)者可以輕松利用數(shù)千乃至數(shù)萬個Ironwood芯片的綜合算力，簡化超大規(guī)模AI模型的部署。這一軟件堆棧與Ironwood硬件的協(xié)同優(yōu)化，確保了計算資源的高效分配和任務執(zhí)行的無縫銜接。

Part 2

Ironwood的性能優(yōu)勢與應用場景

Ironwood的性能提升是其最引人注目的特點之一。相較于2018年的第一代TPU，其推理性能提高了3600倍，效率提升了29倍。

與前代Trillium相比，Ironwood的能效翻倍，內(nèi)存容量和帶寬大幅加。最高配置的9216顆芯片集群可提供42.5 Exaflops的算力，遠超全球最大超級計算機El Capitan的1.7 Exaflops。

Ironwood單芯片的4614 TFLOPs算力已足以應對復雜的AI任務，而9216顆芯片集群的42.5 Exaflops總算力更是前所未有。

相比之下，El Capitan的1.7 Exaflops顯得相形見絀。這種算力優(yōu)勢使Ironwood能夠輕松處理超大規(guī)模LLM、MoE模型及其他高計算需求的AI應用。

在AI算力成為稀缺資源的當下，Ironwood的高能效設計尤為重要。其每瓦性能是Trillium的兩倍，能夠在相同電力消耗下提供更多計算能力。這一特性不僅降低了運行成本，還響應了全球對綠色計算的號召。

● Ironwood的設計理念是從“反應式”AI轉向“主動式”AI，使其能夠主動生成洞察，而非僅被動響應指令。這種范式轉變拓寬了Ironwood的應用場景。

◎Ironwood的高算力和大內(nèi)存使其成為運行LLM的理想平臺。例如，Google的Gemini 2.5等前沿模型可以在Ironwood上實現(xiàn)高效訓練和推理，支持自然語言處理任務的高速執(zhí)行。

◎MoE模型因其模塊化設計需要強大的并行計算能力。Ironwood的ICI網(wǎng)絡和高帶寬內(nèi)存能夠協(xié)調(diào)大規(guī)模MoE模型的計算，提升模型的準確性和響應速度，適用于需要動態(tài)調(diào)整的場景。

◎在金融風控、醫(yī)療診斷等領域，Ironwood支持實時決策和預測。其強大的推理能力能夠快速分析復雜數(shù)據(jù)集，生成高精度的洞察，為用戶提供關鍵支持。

◎增強版的SparseCore使Ironwood在處理超大嵌入的推薦任務中表現(xiàn)優(yōu)異。例如，在電子商務或內(nèi)容平臺中，Ironwood能夠提升個性化推薦的質量和速度。

Google通過Ironwood推出了兩種TPU Pod配置（256顆和9216顆芯片），為客戶提供了靈活的AI計算資源。這一戰(zhàn)略布局增強了Google Cloud在AI基礎設施領域的競爭力。

Ironwood將于今年晚些時候通過Google Cloud開放，支持從小型AI任務到超大規(guī)模模型訓練的多樣化需求。256顆芯片的配置適合中小型企業(yè)，而9216顆芯片的集群則面向需要極高算力的客戶。

Google Cloud AI超級計算機架構優(yōu)化了Ironwood與Pathways等工具的集成，降低了開發(fā)者的使用門檻。

通過這一生態(tài)系統(tǒng)，Google不僅提供了硬件支持，還為AI創(chuàng)新打造了完整的解決方案。

小結

Ironwood作為Google第七代TPU，以其卓越的硬件規(guī)格和創(chuàng)新設計，開辟了AI“推理時代”的新篇章。192GB的HBM容量、4614 TFLOPs的單芯片算力以及42.5 Exaflops的集群性能，使其在算力、內(nèi)存和通信能力上遙遙領先。

增強版的SparseCore和Pathways軟件堆棧進一步擴展了其應用范圍，從LLM到推薦系統(tǒng)，再到金融和科學計算，Ironwood展現(xiàn)了無與倫比的靈活性。更重要的是，其兩倍于Trillium的能效和先進的液冷技術，為可持續(xù)AI計算提供了典范。

       原文標題 : Google首款TPU：為AI推理任務準備的Ironwood