Google TPU v6e vs AMD MI300X vs NVIDIA H100/B200: El benchmarking de hardware de Artificial Analysis muestra que NVIDIA logra una ventaja de ~5x en tokens por dólar sobre TPU v6e (Trillium), y una ventaja de ~2x sobre MI300X, en nuestra métrica clave de costo de inferencia. En nuestra métrica de costo de inferencia llamada Costo Por Millón de Tokens de Entrada y Salida a Velocidad de Referencia, vemos que los sistemas NVIDIA H100 y B200 logran un costo general más bajo que TPU v6e y MI300X. Para Llama 3.3 70B ejecutándose con vLLM a una Velocidad de Referencia Por Consulta de 30 tokens de salida/s, NVIDIA H100 logra un Costo Por Millón de Tokens de Entrada y Salida de $1.06, en comparación con MI300X a $2.24 y TPU v6e a $5.13. Este análisis se basa en los resultados de la Prueba de Carga del Sistema de Artificial Analysis para el rendimiento de inferencia del sistema a través de una gama de niveles de concurrencia, y datos de precios de instancias de GPU que recopilamos de una variedad de proveedores de nube de GPU. "Costo Por Millón de Tokens de Entrada y Salida a Velocidad de Referencia" utiliza el rendimiento del sistema que el sistema puede lograr mientras mantiene 30 tokens de salida por segundo por consulta, y divide el costo de alquiler del sistema por ese rendimiento (escalado a un millón de tokens). Los resultados completos a través de una gama de niveles de concurrencia y velocidad están disponibles en la página de Benchmarking de Hardware de Artificial Analysis. Contexto importante: ➤ Solo estamos reportando resultados para TPU v6e ejecutando Llama 3.3 70B porque este es el único modelo en nuestra página de hardware para el cual vLLM en TPU está oficialmente soportado. Reportamos resultados para sistemas NVIDIA Hopper y Blackwell, y ahora para AMD MI300X, a través de los cuatro modelos en nuestra página de hardware: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 y Llama 3.3 70B. ➤ Estos resultados se basan en lo que las empresas pueden alquilar ahora en la nube - los aceleradores de próxima generación MI355X y TPU v7 aún no están ampliamente disponibles. Tomamos el precio más bajo de un conjunto de referencia de proveedores de nube de GPU. TPU v6e tiene un precio de demanda de $2.70 por chip por hora, que es más barato que nuestro precio más bajo registrado para NVIDIA B200 ($5.50 por hora) pero similar al de NVIDIA H100 ($2.70 por hora) y AMD MI300X ($2 por hora). ➤ El TPU v7 de Google (Ironwood) estará disponible en las próximas semanas. Anticipamos que TPU v7 superará a v6e sustancialmente, dado los saltos en computación (918 TFLOPS a 4,614 TFLOPS), memoria (32GB a 192GB) y ancho de banda de memoria (1.6 TB/s a 7.4 TB/s). Sin embargo, aún no sabemos cuánto cobrará Google por estas instancias - por lo que el impacto en los costos implícitos por token aún no está claro. ➤ Nuestra métrica de Costo por Millón de Tokens de Entrada y Salida no se puede comparar directamente con los precios de API sin servidor. El costo implícito general por millón de tokens para un despliegue dado se ve afectado por la velocidad por consulta que deseas alcanzar (impulsada por el tamaño del lote/concurrencia) y la relación de tokens de entrada a salida. ➤ Estos resultados son todos para sistemas con 8 aceleradores - es decir, 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. También hemos publicado recientemente resultados actualizados de Blackwell - más análisis de estos vendrán pronto.

Google TPU v6e vs AMI MI300X vs NVIDIA H100/B200: El análisis de hardware de Artificial Analysis muestra que NVIDIA logra una ventaja de ~5x en tokens por dólar sobre TPU v6e (Trillium), y una ventaja de ~2x sobre MI300X, en nuestra métrica clave de costo de inferencia. En nuestra métrica de costo de inferencia llamada Costo Por Millón de Tokens de Entrada y Salida a Velocidad de Referencia, vemos que los sistemas NVIDIA H100 y B200 logran un costo general más bajo que TPU v6e y MI300X. Para Llama 3.3 70B a una Velocidad de Referencia Por Consulta de 30 tokens de salida/s, NVIDIA H100 logra un Costo Por Millón de Tokens de Entrada y Salida de $1.06, en comparación con MI300X a $2.24 y TPU v6e a $5.13. Este análisis se basa en los resultados de la Prueba de Carga del Sistema de Artificial Analysis para el rendimiento de inferencia del sistema a través de una variedad de niveles de concurrencia, y los datos de precios de instancias de GPU que recopilamos de una variedad de proveedores de nube de GPU. "Costo Por Millón de Tokens de Entrada y Salida a Velocidad de Referencia" utiliza el rendimiento del sistema que los sistemas pueden lograr mientras mantienen 30 tokens de salida por segundo por consulta, y lo divide por el costo de alquilar el sistema. Los resultados completos a través de una variedad de niveles de concurrencia y velocidad están disponibles en la página de Benchmarking de Hardware de Artificial Analysis. Contexto importante: ➤ Estos resultados se basan en lo que las empresas pueden alquilar ahora en la nube - los aceleradores de próxima generación MI355X y TPU v7 aún no están ampliamente disponibles. Tomamos el precio más bajo de un conjunto de referencia de proveedores de nube de GPU. TPU v6e tiene un precio de $2.70 por chip por hora en demanda, que es más barato que nuestro precio más bajo registrado para NVIDIA B200 ($5.50 por hora) pero similar al de NVIDIA H100 ($2.70 por hora) y AMD MI300X ($2 por hora). ➤ El TPU v7 (Ironwood) de Google estará disponible en las próximas semanas. Anticipamos que TPU v7 superará a v6e sustancialmente, dado los saltos en computación (918 TFLOPS a 4,614 TFLOPS), memoria (32GB a 192GB) y ancho de banda de memoria (1.6 TB/s a 7.4 TB/s). Sin embargo, aún no sabemos cuánto cobrará Google por estas instancias - por lo que el impacto en los costos implícitos por token aún no está claro. ➤ Nuestra métrica de Costo por Millón de Tokens de Entrada y Salida no se puede comparar directamente con los precios de API sin servidor. El costo implícito total por millón de tokens para un despliegue dado se ve afectado por la velocidad por consulta que deseas alcanzar (impulsada por el tamaño del lote/concurrencia) y la relación de tokens de entrada a salida. ➤ Solo estamos reportando resultados para TPU v6e ejecutando Llama 3.3 70B porque este es el único modelo mostrado en nuestra página de hardware que también está oficialmente soportado para vLLM en TPU. Reportamos resultados para sistemas NVIDIA Hopper y Blackwell, y ahora para AMD MI300X, a través de los cuatro modelos en nuestra página de hardware: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 y Llama 3.3 70B. ➤ Estos resultados son todos para sistemas con 8 aceleradores - es decir, 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. También hemos publicado recientemente resultados actualizados de Blackwell - más análisis de estos vendrán pronto.

¿Qué es Whisper Thunder? 👀👀👀