El Hot Chips 2026 está siendo interesante, aunque hasta que no estén todas las charlas en abierto no sabremos todo lo que se ha hablado en ellas. Entre esas charlas ha habido una de OpenAI en la que ha descrito su aceleradora Jalapeño, que es una ASIC desarrollada junto a Broadcom y de la que la compañía ha indicado que tiene un consumo de 700 W. Pero, a cambio, y es la gracia de estas ASIC, proporciona el mismo rendimiento que una aceleradora de 1400 W de NVIDIA.
Lo que están buscando como locos en el sector de la IA desde hace año y medio son soluciones que aportan mucha más eficiencia energética. No tanto para bajar el consumo sino para conseguir mucho más rendimiento con el mismo consumo energético, mientras construyen más centrales nucleares y otras energías limpias con que alimentar más y más centros de datos.
Jalapeño es el primer chip desarrollado por la propia OpenAI, o más bien codesarrollado por esa colaboración con Broadcom, que es una empresa que está sabiendo aprovechar el tirón de la IA. Broadcom tiene procesadores ARM económicos, pero no es ha sido nunca el foco principal de la compañía. Con los márgenes de beneficios que proporciona la IA, puede llegar a serlo en el corto plazo.
Otra ventaja de esta ASIC de OpenAI es que reduce prácticamente un 75 % la latencia, lo cual tiene un impacto muy grande en el cómputo, y la IA es todo cómputo, así que es parte de la mejora de rendimiento frente a los sistemas GB200 o GB300 de NVIDIA. Además, OpenAI dice que los modelos que está desarrollando ahora la mejora de rendimiento por vatio y latencia son mayores, ya que las pruebas mostradas son para los modelos conocidos.
El problema al que se sigue enfrentando NVIDIA es que sus aceleradoras son muy buenas para entrenamiento, pero lo que necesita el sector desde año y medio es opciones más rentables para inferencia. O sea, ejecución de los modelos entrenados. Eso abrió desde hace un par de años el camino a aceleradoras fuertemente orientadas a inferencia, y mucho más baratas para su rendimiento que las aceleradoras de NVIDIA. Jalapeño es una aceleradora para inferencia, no para entrenamiento, pero al final la inferencia es la mayor parte del cómputo que necesita hacer OpenAI, Anthropic o cualquier otra compañía de modelos de IA.
Vía: Tom's Hardware.
