Следующее поколение больших языковых моделей DeepSeek, известное под названием V5, планируют предварительно обучать с использованием ускорителей Huawei Ascend 950.
Ранее китайские чипы применялись преимущественно для инференса моделей DeepSeek, то есть выполнения уже обученной нейросети. Если эти планы подтвердятся, V5 станет первой крупной моделью компании, изначально проходящей предварительное обучение на платформе Ascend. Это может стать важным шагом в расширении применения китайских вычислительных решений для разработки ИИ.
Источник изображения: Изображение сгенерировано в Midjourney
Линейка Huawei Ascend 950 включает две модели — 950PR и 950DT. Обе построены на архитектуре Da Vinci третьего поколения и рассчитаны на работу с большими ИИ-моделями. Ускоритель 950DT ориентирован на обучение и декодирование при инференсе. Он оснащён 144 ГБ памяти HBM собственной разработки Huawei, обеспечивает пропускную способность памяти 4 ТБ/с и межсоединений 2 ТБ/с. Также заявлена поддержка форматов FP8, MXFP8 и MXFP4. Производительность в MXFP4, согласно приведённым данным, в 4 раза выше, чем у предыдущего поколения в формате BF16.
Второй ускоритель, Ascend 950PR, предназначен прежде всего для этапа предварительного заполнения данных при инференсе. Он получил 128 ГБ встроенной памяти с пропускной способностью 1,6 ТБ/с, а заявленная вычислительная производительность достигает 1784 Тфлопс в формате FP4.
