Se puede suponer que el centro de datos de NVIDIA funciona de manera brillante. Los LLM (modelos de lenguaje grande) consumen mucho hardware y requieren GPU rápidas con mucha memoria. Si bien la mayoría de los modelos actualmente en uso han sido entrenados con aceleradores A100, la transición a los nuevos aceleradores H100 se está produciendo lentamente. Google ha equipado recientemente sus instancias A3 con estos aceleradores y también puede usarlos como un sistema compartido como la supercomputadora A3 con un total de 26,000 GPU H100.

Por otro lado, los aceleradores de GPU pueden proporcionar mucha potencia informática a resoluciones bajas (FP8, FP16, Bfloat16), pero también pueden hacer mucho a resoluciones altas (FP64). Sin embargo, la supercomputadora más rápida con GPU NVIDIA ocupa solo el cuarto lugar en la lista Top500.

NVIDIA quiere cambiar esto con su súper chip Grace. Esto se presentó en el GTC el año pasado y se anunciaron más detalles durante el verano. Grace CPU Superchip consta de dos chips, cada uno con 72 núcleos. Están conectados entre sí a través de NVLink-C2C (chip a chip). La interconexión logra un ancho de banda de 900 GB/s. Los chips Grace se basan en la arquitectura ARMv9 o el diseño Neoverse. El almacenamiento LPDDR5X alcanza un ancho de banda de 1 TB/s. Qué tan alta es la capacidad, solo se puede adivinar en este momento. Sin embargo, es muy probable que sea de 512 GB (8 x 32 GB).

Grace CPU Superchip está diseñado para aplicaciones de HPC e IA. Sin embargo, si el sistema se inclina hacia las aplicaciones de inteligencia artificial, entonces «Grace Hopper Superchip» debería ser la mejor opción.

Con Isambard 3, NVIDIA, junto con la Universidad de Bristol, anunció una supercomputadora que se dice que usa menos de 400 «Grace CPU Superchips». Se dice que logra una potencia de cálculo de 2 PFLOPS con un consumo de energía de solo 270 kW. el Lista Top Green500 Sin embargo, gestiona 31 kW por 2 PFLOPS.

El MareNostrum 5 de Barcelona también está previsto únicamente con el «Grace CPU Superchip». Venado con 10 EFLOPS de potencia de cómputo AI, ALPS con 20 EFLOPS y Shasheen-III con 7 EFLOPS también están planeados con el «Grace Hopper Superchip».

Para NVIDIA, uno de los nuevos anuncios de supercomputadoras de prestigio en territorio exeflops para el FP64 aún está pendiente. Pero el camino parece estar trazado. En lugar de depender de los procesadores de AMD y NVIDIA, NVIDIA puede cubrir todas las partes del mismo hardware con el «Grace CPU Superchip» y el Grace Hopper Superchip. La adquisición de Mellanox también significa que la infraestructura de la red es independiente y, por lo tanto, en un sitio apenas hay fábricas.