Groq chama seu processador de streaming de tensor de arquitetura (TSP). Dois anos, disse que recrutou oito das dez pessoas que desenvolveram a Unidade de Processamento Tensor do Google (TPU).
A empresa levantou US $ 62,3 milhões no financiamento.
A arquitetura do Groq é equivalente a uma operação de um Quadrillion por segundo, ou 1E15 OPS / s e capaz de até 250 trilhões de operações de ponto flutuante por segundo (chinelos).
"As principais empresas da GPU estão dizendo aos clientes que esperavam ser capazes de entregar um desempenho de Petaop dentro dos próximos anos; Groq está anunciando hoje ", diz Groq CEO Jonathan Ross," a arquitetura Groq é muitas múltiplas mais rápido do que qualquer outra coisa disponível para a inferência, em termos de baixa latência e inferências por segundo. Tivemos o primeiro silício de volta, os programas do primeiro dia, programas que funcionam na primeira semana, amostrados para parceiros e clientes em menos de seis semanas, com um silício indo em produção "
Com um software-primeira mentalidade, a arquitetura da TSP da Groq reivindica a flexibilidade de computação e o paralelismo massivo sem a sobrecarga de sincronização das arquiteturas tradicionais da GPU e da CPU.
A arquitetura do Groq pode suportar modelos tradicionais e novos de aprendizado de máquina, e está atualmente em operação em sites de clientes em sistemas x86 e não x86.
A arquitetura é projetada especificamente para os requisitos de desempenho da visão de computador, aprendizagem de máquinas e outras cargas de trabalho relacionadas à AI.
O planejamento de execução acontece em software, liberando imóveis de silício de outra forma dedicado à execução dinâmica de instruções.
O controle apertado fornecido por esta arquitetura fornece processamento determinístico que é especialmente valioso para aplicações em que a segurança e precisão são primordiais.
Em comparação com arquiteturas tradicionais complexas com base em CPUs, GPUs e FPGAS, o chip do Groq também simplifica qualificação e implantação, permitindo que os clientes implementem simplesmente os sistemas escaláveis e de alto desempenho.