Desde hace un par de años que los ingresos de NVIDIA se estaban claramente disparando, la compañía ha estado tomando opciones de optimización más agresivas para mantener a distancia a sus rivales. Puede ser cierto en el frente del entrenamiento de modelos de IA, pero para la ejecución de esos modelos hay soluciones con mejor coste-rendimiento. Pero para acerlas más llamativas en inferencia, parece que las aceleradoras con la nueva NVHBM van a ser ideales.
NVHBM es básicamente «memoria de alto ancho de banda de NVIDIA». Es una versión optimizada de la especificación de HBM4e para NVLink, lo cual permite mejorar hasta un 30 % el ancho de banda en la comunicación entre las aceleradoras conectadas por ese conector NVLink. Eso suele tener más efecto en inferencia que en entrenamiento. A su vez, reduce hasta un 15 % el consumo, por lo que es una solución extremadamente interesante, porque el cómputo de IA es muy sensible al ancho de banda, y una reducción del consumo es una reducción de costes operativos para las empresas.
NVIDIA ofrecerá la NVHBM a sus socios integradores de NVLink Fusion, por lo que irán surgiendo diseños personalizados que permitirán más núcleos de cómputo en el mismo espacio. NVHBM toca también la parte física de la interconexión con la HBM.
Vía: Tom's Hardware.
