DeepSeek ha revolucionado el sector de la inteligencia artificial con una solución de IAG con razonamiento que es gratuita y a la altura de la o1 de OpenAI. Su coste de desarrollo, que se desconoce todavía pero en cuanto a hardware solo ha sido unos seis millones de dólares, abre la puerta a cientos o miles de empresas nuevas que quieran probar suerte comercializando una IAG que no tienen que entrenar. Así que, como he dicho varias veces desde la semana pasada, hemos pasado de la fase de entrenamiento a la fase de explotación —ejecución o inferencia, como se quiera llamar— en el sector, y AMD ha movido ficha para aprovecharse de ello.
Las aceleradoras de NVIDIA son muy buenas para entrenamiento, pero en esta fase hay soluciones muchísimo más competitivas en coste-rendimiento de AMD, Intel, Cerebras, Tenstorrent y un sinfín de empresas. No es necesaria la cara HBM en las aceleradoras para ejecutar las IA, a lo cual también se llama inferir. Así que AMD ha dado instrucciones de cómo instalar el modelo R1 de DeepSeek localmente, o una serie de versiones ligeras —pequeños modelos de lenguaje o SLM—, de menor precisión por contar con menos parámetros de entrada pero aptas para ejecutarse en entornos de poca memoria, como es una tarjeta gráfica de consumo.

Hay varios SLM que se pueden ejecutar incluso en un Ryzen AI HX 370 con 14 000 millones de parámetros, hasta en un Ryzen AI Max+ 395 con uno de 70 000 millones de parámetros si el equipo tiene 64 GB o 128 GB de RAM. El modelo original tiene más de 600 000 millones de parámetros, por lo que la pérdida de precisión va a ser importante en el modelo más pequeño, pero se va a poder seguir ejecutando localmente, que es la gracia del R1.
Según la compañía, el rendimiento que se consigue con una RX 7900 XTX con un SLM de 32 000 MP es superior al de una RTX 4090. Lo ha publicado en Twitter con las gráficas anteriores, y aunque no siempre gana, el menor coste de la RX 7900 XTX frente a una RTX 4090 es lo llamativo para las ventas de esta tarjeta gráfica para inferencias. Esto es lo que he venido diciendo en los últimos días, y que he dicho antes: hay mejores soluciones en el mercado en coste-rendimiento para inferencias que las tarjetas gráficas y aceleradoras de NVIDIA. Está por ver cómo se comporta frente a la RTX 5080, pero la 4090 puede ser mucho mejor en cómputo que en juegos que la 5080.
Parece que AMD va a aprovechar la oportunidad para vender más RX 7000, a la espera de las RX 9000. Más que probablemente también incentive la venta de sus Instinct para centros de datos, porque ya no estamos en la fase de entrenamiento, estamos en la de explotación en la que ya se puede hacer dinero fácilmente con las IAG por la brutal caída de costes de desarrollo de su entrenamiento. Básicamente ese coste de entrenamiento es de cero.
