Представлен «монструозный» ИИ-процессор Cerebras WSE-3: у него 900 000 ядер
Кратко:
- Cerebras Systems анонсировала третье поколение чипа для AI — WSE-3 с 900 тысячами ядрами и возможностью обучения моделей до 24 трлн параметров.
- Объявленный WSE-3 отличается огромным размером кристалла в 46,225 мм² и предлагает 44 ГБ встроенной памяти SRAM. В производстве используется техпроцесс TSMC 5 нм.
Компания Cerebras Systems представила ИИ-процессор WSE-3, который претендует на звание самого мощного чипа для задач искусственного интеллекта.
Процессор Cerebras WSE-3 имеет размер кристалла 46 225 мм², и это в 57 раз больше, чем у модели H100 от компании NVIDIA (826 мм²). Оба чипа производятся по 5-нанометровому технологическому процессу. Однако, в отличие от H100 с 16 896 ядрами и 528 тензорными ядрами, который на данный момент считается лучшим ИИ-чипом, WSE-3 предлагает 900 000 оптимизированных под алгоритмы искусственного интеллекта ядер, что в 52 раза больше, чем у H100.
Чип получил 44 ГБ встроенной памяти SRAM с пропускной способностью 21 ПБ/сек. К сравнению, у того же процессора H100 пропускная способность памяти, объем которой в 800 раз меньше, составляет 0,003 ПБ/сек. Это в 7000 раз меньше. Намного выше у WSE-3 по сравнению с H100 и пропускная способность сети: 214 ПБ/сек против 0,0576 ПБ/сек.
Также разработчики раскрыли информацию о производительности своего детища — 125 петафлопс. NVIDIA H100 предлагает около 3958 терафлопс и около 4 петафлопс в пике, то есть здесь можно говорить о превосходствe WSE-3 примерно в 31,25 раза.
По сравнению с моделью WSE-2, новый ИИ-чип имеет в 2,25 больше ядер, в 2,4 раза больший объём памяти SRAM и гораздо бо́лее высокие скорости межсоединений. И, как утверждают в компании, всё это без изменений в габаритах процессора. На 54% больше у WSE-3 и транзисторов — четыре триллиона против 2,6 триллионов.
Новый чип предложен в различных конфигурациях внешней памяти: 1,5 ТБ, 12 ТБ и 1,2 ПБ. Благодаря такой мощности в одном кристалле WSE-3 может обучать модели ИИ, используя 24 триллионов параметров.