Cerebras asegura que su WSE-3 es 75 veces más rápido que la solución más potente de AWS
Cerebras sigue iterando en su procesador a nivel de oblea y mostrando sus bondades. Ha demostrado que su servicio de inferencia basado en el Wafer Scale Engine de tercera generación (WSE-3) supera ampliamente a las soluciones de Amazon Web Services (AWS) en tareas de inteligencia artificial. En esta prueba, el WSE-3 ejecutó el modelo de lenguaje Llama 3.1, con 405 000 millones de parámetros, logrando generar 969 tókenes por segundo, un rendimiento 75 veces superior al de los servicios más rápidos de AWS usando aceleradoras. El tiempo hasta el primer token fue de solo 0.24 segundos, siendo un récord mundial.
Sigue leyendo