Tensor Processing Unit (TPU) é uma unidade de processamento neural (NPU) e circuito integrado de aplicação específica (ASIC) desenvolvido pela Google para redes neurais e aprendizado de máquina. Os frameworks compatíveis com TPU são TensorFlow, JAX e PyTorch. A Google começou a usar TPUs internamente em 2015 e, em 2018, tornou-as disponíveis para uso de terceiros, tanto como parte de sua infraestrutura de nuvem quanto oferecendo uma versão menor do chip para venda.

Comparação entre TPUs e GPUs

Em comparação com uma unidade de processamento gráfico (GPU), as TPUs são projetadas para um grande volume de computação de baixa precisão (por exemplo, tão baixa quanto 8 bits) com mais operações de entrada/saída por joule, sem hardware para rasterização ou mapeamento de textura. Os ASICs TPU são montados em um conjunto de dissipadores de calor que pode ser encaixado em um compartimento de disco rígido dentro de um rack de datacenter, de acordo com Norman Jouppi.

Diferentes tipos de processadores são adequados para diferentes tipos de modelos de aprendizado de máquina. As TPUs são bem adequadas para redes neurais convolucionais (CNNs), enquanto as GPUs têm benefícios para algumas redes neurais totalmente conectadas, e as CPUs podem ter vantagens para redes neurais recorrentes (RNNs).

História

Em 2013, a Google recrutou Amir Salek para estabelecer capacidades de desenvolvimento de silício personalizado para os datacenters da empresa. Como fundador e chefe de Silício Personalizado para a Infraestrutura Técnica da Google e Google Cloud, Salek liderou o desenvolvimento do TPU original (o primeiro chip de produção da Google), TPUv2 (o primeiro chip de treinamento de deep learning de produção do setor), TPUv3, TPUv4, Edge-TPU e produtos de silício adicionais, incluindo VCU, IPU e OpenTitan. De acordo com Jonathan Ross, um dos engenheiros originais do TPU, e mais tarde fundador da Groq, três grupos separados na Google estavam desenvolvendo aceleradores de IA, sendo o TPU, um arranjo sistólico, o projeto que foi finalmente selecionado.

Norman P. Jouppi atuou como líder técnico e arquiteto principal do desenvolvimento da Tensor Processing Unit da Google, liderando o rápido projeto, verificação e implantação do primeiro TPU em produção em apenas 15 meses. Como autor principal do artigo seminal de 2017 "In-Datacenter Performance Analysis of a Tensor Processing Unit", apresentado no 44º International Symposium on Computer Architecture (ISCA 2017), Jouppi demonstrou que o TPU atingia desempenho 15–30 vezes maior e eficiência energética 30–80 vezes maior do que CPUs e GPUs contemporâneas, estabelecendo o TPU como uma plataforma fundamental para inferência de redes neurais em escala nos serviços de produção da Google.

A tensor processing unit foi anunciada em maio de 2016 na conferência Google I/O, quando a empresa afirmou que o TPU estava sendo usado dentro de seus datacenters há mais de um ano. O artigo de 2017 da Google que descreve sua criação cita multiplicadores de matrizes sistólicas de arquitetura semelhante construídos na década de 1990. O chip foi projetado especificamente para o framework TensorFlow da Google, uma biblioteca matemática simbólica usada para aplicações de aprendizado de máquina, como redes neurais."TensorFlow: Open source machine learning" "É um software de aprendizado de máquina usado para vários tipos de tarefas de percepção e compreensão de linguagem" — Jeffrey Dean, minuto 0:47 / 2:17 do clipe do Youtube No entanto, a partir de 2017, a Google ainda usava CPUs e GPUs para outros tipos de aprendizado de máquina. Outros designs de acelerador de IA estão surgindo de outros fornecedores também e visam os mercados embarcado e de robótica.

As TPUs da Google são proprietárias. Alguns modelos estão disponíveis comercialmente e, em 12 de fevereiro de 2018, o The New York Times informou que a Google "permitiria que outras empresas comprassem acesso a esses chips através de seu serviço de computação em nuvem". A Google afirmou que eles foram usados na série de partidas de Go AlphaGo versus Lee Sedol (humano versus máquina), bem como no sistema AlphaZero, que produziu programas de jogo de Xadrez, Shogi e Go apenas a partir das regras do jogo e depois venceu os programas líderes nesses jogos. A Google também usou TPUs para processamento de texto do Google Street View e foi capaz de encontrar todo o texto na base de dados do Street View em menos de cinco dias. No Google Fotos, uma única TPU pode processar mais de 100 milhões de fotos por dia. Também é usada no RankBrain, que a Google usa para fornecer resultados de pesquisa.

A Google fornece a terceiros acesso às TPUs através do serviço Cloud TPU como parte do Google Cloud Platform e através de seus serviços baseados em notebooks Kaggle e Colaboratory.

A Broadcom é co-desenvolvedora das TPUs, traduzindo a arquitetura e especificações da Google em silício fabricável. Ela fornece tecnologias proprietárias, como interfaces de alta velocidade SerDes, supervisiona o design ASIC e gerencia a fabricação e embalagem dos chips através de fundições terceirizadas como a Taiwan Semiconductor Manufacturing Company (TSMC), abrangendo todas as gerações desde o início do programa.

Em setembro de 2025, a Google está em negociações com várias "neoclouds", incluindo Crusoe e CoreWeave, sobre a implantação de TPU em seus datacenters. Em novembro de 2025, a Meta está em negociações com a Google para implantar TPUs em seus datacenters de IA.

Produtos

+Gerações da Tensor Processing Unit (TPU) v1 v2 v3 v4Fique ligado, mais informações sobre TPU v4 em breve , recuperado em 2020-08-06. v5eCloud TPU v5e Inference Public Preview, recuperado em 2023-11-06. v5pCloud TPU v5p Google Cloud. recuperado em 2024-04-09Cloud TPU v5p Training , recuperado em 2024-04-09. v6e (Trillium) v7 (Ironwood) v8t / v8i Data de introdução 2015 2017 2018 2021 2023 2023 2024 2025 2026 Nó de processo 28 nm 16 nm 16 nm 7 nm Não listado Não listado Não listado Não listado Não listado Tamanho do die (mm2) 331 < 625 < 700 < 400 300–350 Não listado Não listado Não listado Não listado Memória no chip (MiB) 28 32 32 (VMEM) + 5 (spMEM) 128 (CMEM) + 32 (VMEM) + 10 (spMEM) Não listado Não listado Não listado Não listado 384 (v8i) Velocidade do clock (MHz) 700 700 940 1050 Não listado 1750 Não listado Não listado Não listado Memória 8 GiB DDR3 16 GiB HBM 32 GiB HBM 32 GiB HBM 16 GB HBM 95 GB HBM 32 GB 192 GB HBM 216/288 GB HBM3e Largura de banda da memória 34 GB/s 600 GB/s 900 GB/s 1200 GB/s 819 GB/s 2765 GB/s 1640 GB/s 7,37 TB/s 6,5/8,6 TB/s Potência térmica de projeto (W) 75 280 220 170 Não listado Não listado Não listado Não listado Não listado Desempenho computacional (trilhões de operações por segundo) 23 45 123 275 197 (bf16)393 (int8) 459 (bf16)918 (int8) 918 (bf16)1836 (int8) 4614 (fp8) 12600 (v8t fp4)10100 (v8i fp4) Eficiência energética (teraOPS/W) Não listado Não listado Não listado 4,7 Não listado

Primeira geração TPU

A TPU de primeira geração é um mecanismo de multiplicação de matrizes de 8 bits, controlado por instruções CISC do processador hospedeiro através de um barramento PCIe 3.0. É fabricada em um processo de 28 nm com um tamanho de die ≤ 331 mm2. A velocidade do clock é de 700 MHz e tem uma potência térmica de projeto de 28–40 W. Possui 28 MiB de memória no chip e 4 MiB de acumuladores de 32 bits que recebem os resultados de um arranjo sistólico 256×256 de multiplicadores de 8 bits. Dentro do pacote TPU há 8 GiB de DDR3 SDRAM de 2133 MHz em dual-channel oferecendo 34 GB/s de largura de banda. As instruções transferem dados para ou do hospedeiro, realizam multiplicações de matrizes ou convoluções e aplicam funções de ativação.

Segunda geração TPU

A TPU de segunda geração foi anunciada em maio de 2017. A Google declarou que o design da TPU de primeira geração era limitado pela largura de banda da memória e que usar 16 GB de High Bandwidth Memory no design de segunda geração aumentou a largura de banda para 600 GB/s e o desempenho para 45 teraFLOPS. As TPUs são então organizadas em módulos de quatro chips com um desempenho de 180 teraFLOPS. Em seguida, 64 desses módulos são montados em pods de 256 chips com 11,5 petaFLOPS de desempenho. Notavelmente, enquanto as TPUs de primeira geração eram limitadas a inteiros, as TPUs de segunda geração também podem calcular em ponto flutuante, introduzindo o formato bfloat16 inventado pelo Google Brain. Isso torna as TPUs de segunda geração úteis tanto para treinamento quanto para inferência de modelos de aprendizado de máquina. A Google afirmou que essas TPUs de segunda geração estarão disponíveis no Google Compute Engine para uso em aplicações TensorFlow.

Terceira geração TPU

A TPU de terceira geração foi anunciada em 8 de maio de 2018. A Google anunciou que os próprios processadores são duas vezes mais potentes que as TPUs de segunda geração e seriam implantados em pods com quatro vezes mais chips que a geração anterior. Isso resulta em um aumento de 8 vezes no desempenho por pod (com até 1.024 chips por pod) em comparação com a implantação da TPU de segunda geração.

Quarta geração TPU

Em 18 de maio de 2021, o CEO da Google, Sundar Pichai, falou sobre as Tensor Processing Units TPU v4 durante seu discurso principal na conferência virtual Google I/O. A TPU v4 melhorou o desempenho em mais de 2 vezes em relação aos chips TPU v3. Pichai disse: "Um único pod v4 contém 4.096 chips v4, e cada pod tem 10 vezes a largura de banda de interconexão por chip em escala, em comparação com qualquer outra tecnologia de rede." Um artigo de abril de 2023 da Google afirma que a TPU v4 é de 5 a 87% mais rápida que uma Nvidia A100 em benchmarks de aprendizado de máquina.

Há também uma versão de "inferência", chamada v4i, que não requer resfriamento líquido.

Quinta geração TPU

Em 2021, a Google revelou que o layout físico da TPU v5 está sendo projetado com a assistência de uma nova aplicação de aprendizado por reforço profundo. A Google afirma que a TPU v5 é quase duas vezes mais rápida que a TPU v4, e com base nisso e no desempenho relativo da TPU v4 sobre a A100, alguns especulam que a TPU v5 é tão rápida quanto ou mais rápida que uma H100.

Semelhante à v4i ser uma versão mais leve da v4, a quinta geração tem uma versão "econômica" chamada v5e. Em dezembro de 2023, a Google anunciou a TPU v5p, que afirma ser competitiva com a Nvidia H100.

Sexta geração TPU

Em maio de 2024, na conferência Google I/O, a Google anunciou o Trillium, que ficou disponível em pré-visualização em outubro de 2024. A Google afirmou um aumento de desempenho de 4,7 vezes em relação à TPU v5e, através de unidades de multiplicação de matrizes maiores e uma velocidade de clock aumentada. A capacidade e a largura de banda da memória de alta largura de banda (HBM) também dobraram. Um pod pode conter até 256 unidades Trillium.

Sétima geração TPU

Em abril de 2025, na conferência Google Cloud Next, a Google apresentou a TPU v7. Este novo chip, chamado Ironwood, virá em duas configurações: um cluster de 256 chips e um cluster de 9.216 chips. O Ironwood terá uma taxa de desempenho computacional de pico de 4.614 TFLOP/s.

Oitava geração TPU

Em 22 de abril de 2026, a Google anunciou a oitava geração de suas Tensor Processing Units, consistindo de dois chips especializados: o TPU 8t e o TPU 8i. Esta é a primeira vez que a Google divide sua arquitetura TPU em designs separados otimizados para treinamento e inferência. Ambos os chips são hospedados em CPUs customizadas da Google baseadas em Arm, chamadas Axion, e utilizam resfriamento líquido de quarta geração.

TPU 8t