AMD представила мощнейший ИИ-ускоритель Instinct MI300X и гибридный HPC-процессор Instinct MI300A

Компания AMD в рамках мероприятия Advance AI официально представила специализированный ускоритель вычислений Instinct MI300X, предназначенный для работы с огромными объемами данных для генеративного ИИ и высокопроизводительных вычислительных нагрузок. Это самый мощный ускоритель вычислений в арсенале AMD.
Источник изображений: AMD
В основе Instinct MI300X используется архитектура CDNA 3 и чиплетная компоновка с использованием кристаллов, выполненных по 5- и 6-нм техпроцессам. Для сборки чипов применяется продвинутая 3D-упаковка и TSV-монтаж. Базовый слой чипа представлен четырьмя кристаллами I/O Die с поддержкой 128-канального интерфейса памяти HBM3, 256 Мбайт кеш-памяти Infinity Cache, поддержкой 64 линий PCIe 5.0 и 64 линий PCIe 4.0.
Поверх кристаллов I/O Die установлены восемь кристаллов XCD, в каждом из которых содержится по 38 исполнительных блоков на архитектуре CDNA 3, что в сумме даёт 304 блока. Ускоритель оснащён 192 Гбайт памяти HBM3 с пропускной способностью в 5,3 Тбайт/с. Для объединения MI300X в кластеры предусмотрена поддержка шины Infinity Fabric четвёртого поколения. В целом в составе MI300X присутствуют 153 млрд транзисторов.
AMD сравнивает MI300X с ИИ-ускорителями NVIDIA H100. Последний имеет 80 Гбайт HBM3 со скоростью 3,35 Тбайт/с. AMD заявляет, что MI300X обеспечивает паритет в задачах обучения ИИ, но в 1,6 раза превосходит конкурента в инференс-задачах (работе уже обученных систем ИИ). Например, AMD обещает увеличение скорости работы большой языковой модели Llama 2 с 70 млрд параметров в 1,4 раза, по сравнению с H100, а в работе модели Bloom с 176 млрд параметров MI300X обеспечит пропускную способность в 1,6 раза выше.
Instinct MI300X можно будет объединять в системы из восьми ускорителей на одной плате. Такая платформа сможет конкурировать с системой NVIDIA H100 HGX, и при этом обеспечит более высокую производительность и значительно большой объём памяти, а последнее весьма важно для задач ИИ.
Компания AMD называет Instinct MI300X самыми мощными ускорителями ИИ-вычислений. Платформа AMD из восьми MI300X обеспечивает производительность в 10,4 Пфлопс в операциях FP16 / BF16. Для сравнения, HGX-платформа из NVIDIA H100 в тех же задачах обеспечивает производительность в 7,9 Пфлопс. А объём памяти HBM3 у решения AMD в 2,4 раза больше, чем у платформы конкурента.
AMD также представила новую программную платформу ROCm 6, оптимизированную для работы с ускорителями серии Instinct MI300. По словам компании, новое программное обеспечение улучшает работу ускорителей вычислений со специализированными библиотеками больших языковых моделей в 2,6 раза, а также привносит другие оптимизации, которые, в общем и целом, обеспечивают для MI300X в 8 раз…
Подробнее https://7ooo.ru/group/2023/12/07/579-amd-predstavila-moschneyshiy-ii-uskoritel-instinctmi300x-i-gibridnyy-hpc-processor-instinct-mi300a-grss-262929423.html