Google TPU v6e против AMD MI300X против NVIDIA H100/B200: Аппаратное тестирование Artificial Analysis показывает, что NVIDIA достигает преимущества примерно в 5 раз по количеству токенов на доллар по сравнению с TPU v6e (Trillium) и примерно в 2 раза по сравнению с MI300X по нашему ключевому метрику стоимости вывода. В нашей метрике стоимости вывода, называемой Стоимость за миллион входных и выходных токенов на референсной скорости, мы видим, что системы NVIDIA H100 и B200 достигают более низкой общей стоимости, чем TPU v6e и MI300X. Для Llama 3.3 70B, работающего с vLLM на референсной скорости 30 выходных токенов/с, NVIDIA H100 достигает стоимости за миллион входных и выходных токенов в $1.06, по сравнению с MI300X за $2.24 и TPU v6e за $5.13. Этот анализ основывается на результатах тестирования нагрузки системы Artificial Analysis для пропускной способности вывода системы при различных уровнях параллелизма и данных о ценах на экземпляры GPU, которые мы собираем от различных поставщиков облачных GPU. "Стоимость за миллион входных и выходных токенов на референсной скорости" использует пропускную способность системы, которую система может достичь, поддерживая 30 выходных токенов в секунду на запрос, и делит стоимость аренды системы на эту пропускную способность (масштабированную до миллиона токенов). Полные результаты по различным уровням параллелизма и скорости доступны на странице аппаратного тестирования Artificial Analysis. Важный контекст: ➤ Мы сообщаем результаты только для TPU v6e, работающего с Llama 3.3 70B, потому что это единственная модель на нашей аппаратной странице, для которой vLLM на TPU официально поддерживается. Мы сообщаем результаты для систем NVIDIA Hopper и Blackwell, а теперь и для AMD MI300X, по всем четырем моделям на нашей аппаратной странице: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 и Llama 3.3 70B. ➤ Эти результаты основаны на том, что компании могут арендовать сейчас в облаке - ускорители следующего поколения MI355X и TPU v7 еще не широко доступны. Мы берем самую низкую цену среди референсного набора поставщиков облачных GPU. TPU v6e стоит по запросу $2.70 за чип в час, что дешевле нашей самой низкой зафиксированной цены для NVIDIA B200 ($5.50 в час), но похоже на NVIDIA H100 ($2.70 в час) и AMD MI300X ($2 в час). ➤ TPU v7 (Ironwood) от Google станет общедоступным в ближайшие недели. Мы ожидаем, что TPU v7 значительно превзойдет v6e, учитывая скачки в вычислительной мощности (918 TFLOPS до 4,614 TFLOPS), памяти (32 ГБ до 192 ГБ) и пропускной способности памяти (1.6 ТБ/с до 7.4 ТБ/с). Однако мы еще не знаем, сколько Google будет брать за эти экземпляры - поэтому влияние на подразумеваемые затраты на токены пока неясно. ➤ Наша метрика Стоимость за миллион входных и выходных токенов не может быть напрямую сопоставлена с ценами на безсерверные API. Общая подразумеваемая стоимость за миллион токенов для данного развертывания зависит от скорости запроса, которую вы хотите достичь (определяемой размером пакета/параллелизмом) и соотношением входных и выходных токенов. ➤ Эти результаты все для систем с 8 ускорителями - т.е. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Мы также недавно опубликовали обновленные результаты Blackwell - больше анализа этих данных будет скоро.

Google TPU v6e против AMI MI300X против NVIDIA H100/B200: Аппаратное тестирование Artificial Analysis показывает, что NVIDIA достигает преимущества примерно в 5 раз по количеству токенов на доллар по сравнению с TPU v6e (Trillium) и примерно в 2 раза по сравнению с MI300X по нашему ключевому метрику стоимости вывода. В нашей метрике стоимости вывода, называемой Стоимость за миллион входных и выходных токенов на референсной скорости, мы видим, что системы NVIDIA H100 и B200 достигают более низкой общей стоимости, чем TPU v6e и MI300X. Для Llama 3.3 70B при референсной скорости 30 выходных токенов/с, NVIDIA H100 достигает стоимости за миллион входных и выходных токенов в $1.06, по сравнению с MI300X за $2.24 и TPU v6e за $5.13. Этот анализ основывается на результатах тестирования нагрузки системы Artificial Analysis для пропускной способности вывода системы при различных уровнях параллелизма и данных о ценах на экземпляры GPU, которые мы собираем от различных поставщиков облачных GPU. "Стоимость за миллион входных и выходных токенов на референсной скорости" использует производительность системы, которую системы могут достичь, поддерживая 30 выходных токенов в секунду на запрос, и делит ее на стоимость аренды системы. Полные результаты по различным уровням параллелизма и скорости доступны на странице аппаратного тестирования Artificial Analysis. Важный контекст: ➤ Эти результаты основаны на том, что компании могут арендовать сейчас в облаке - ускорители следующего поколения MI355X и TPU v7 еще не широко доступны. Мы берем самую низкую цену среди референсного набора поставщиков облачных GPU. TPU v6e стоит по запросу $2.70 за чип в час, что дешевле нашей самой низкой зафиксированной цены для NVIDIA B200 ($5.50 в час), но аналогично NVIDIA H100 ($2.70 в час) и AMD MI300X ($2 в час). ➤ TPU v7 (Ironwood) от Google станет общедоступным в ближайшие недели. Мы ожидаем, что TPU v7 значительно превзойдет v6e, учитывая скачки в вычислительной мощности (918 TFLOPS до 4,614 TFLOPS), памяти (32 ГБ до 192 ГБ) и пропускной способности памяти (1.6 ТБ/с до 7.4 ТБ/с). Однако мы еще не знаем, сколько Google будет брать за эти экземпляры - поэтому влияние на подразумеваемые затраты на токены пока неясно. ➤ Наша метрика стоимости за миллион входных и выходных токенов не может быть напрямую сопоставлена с ценами на безсерверные API. Общая подразумеваемая стоимость за миллион токенов для данного развертывания зависит от скорости запроса, которую вы хотите достичь (определяемой размером пакета/параллелизмом) и соотношением входных и выходных токенов. ➤ Мы сообщаем результаты только для TPU v6e, работающего с Llama 3.3 70B, потому что это единственная модель, показанная на нашей аппаратной странице, которая также официально поддерживается для vLLM на TPU. Мы сообщаем результаты для систем NVIDIA Hopper и Blackwell, а теперь и для AMD MI300X, по всем четырем моделям на нашей аппаратной странице: gpt-oss-120b, Llama 4 Maverick, DeepSeek R1 и Llama 3.3 70B. ➤ Все эти результаты относятся к системам с 8 ускорителями - т.е. 8xH100, 8xB200, 8xTPU v6e, 8xMI300X. Мы также недавно опубликовали обновленные результаты Blackwell - больше анализа этих данных будет скоро.

Что такое Whisper Thunder? 👀👀👀