Южнокорейская DeepX завершила разработку второго поколения ИИ-ускорителя DX-M2, рассчитанного на запуск больших языковых моделей непосредственно на устройствах — от роботов и дронов до ноутбуков. Чип сможет обрабатывать модели с 20–100 млрд параметров (при этом активными в конкретный момент могут быть около 3–20 млрд параметров) со скоростью 10–30 токенов в секунду в зависимости от модели. Энергопотребление при этом должно остаться на уровне всего 5 Вт. Компания уже передала проект микросхемы в производство, образцы ожидаются в марте 2027 года. Массовый выпуск намечен на осень 2027 года.
По сравнению с первым ускорителем DX-M1 пропускная способность памяти выросла втрое — с 50 до 150 ГБ/с. Энергоэффективность нейропроцессора (NPU, специализированного блока для выполнения задач искусственного интеллекта) DeepX удалось увеличить вдвое за счёт изменений в архитектуре, а переход на 2-нм техпроцесс обеспечил ещё двукратное улучшение. Производительность достигла 80 TOPS (триллионов операций в секунду). При этом DX-M2 сохраняет тот же 5-ваттный энергетический бюджет, что и предшественник, ориентированный преимущественно на обработку изображений.
Отдельное направление разработки — совместная работа DeepX и Samsung над использованием памяти LPDDR5x-PIM. PIM (Processing-in-Memory) позволяет выполнять часть вычислений непосредственно внутри микросхем памяти, а не постоянно передавать данные между памятью и процессором. Это важно для операции GEMV (умножения матрицы на вектор), которая используется при работе языковых моделей и требует многочисленных обращений к памяти. Перенос таких вычислений внутрь памяти позволяет увеличить эффективную пропускную способность и сократить задержки при передаче данных. DeepX сотрудничает с подразделением Samsung Memory над этой технологией уже 1,5 года, получила образцы LPDDR5x-PIM и проводит внутренние испытания.
Источник изображения: DeepX
По расчётам DeepX, перенос операций GEMV с DX-M2 в память LPDDR5x-PIM способен увеличить скорость генерации токенов для модели Llama 3.1 8B в 6,7 раза относительно работы на одном DX-M2. Однако это пока что результат моделирования, а не измерение готовой системы. Кроме того, такой прирост производительности требует увеличения общего энергопотребления в 2,7 раза. DeepX рассчитывает получить двукратное ускорение даже при сохранении исходного энергетического бюджета. Для полноценной работы с PIM компании также приходится дорабатывать компилятор — программный инструмент, который распределяет вычисления между процессором и памятью. Его прототип уже работает на основе симуляции LPDDR5x-PIM, но окончательная версия ещё не готова.
DX-M2 поддерживает большие языковые модели с архитектурой Mixture of Experts (MoE, когда для обработки каждого запроса задействуется только часть специализированных блоков модели), а также методы speculative decoding (ускорение генерации текста за счёт предварительного предсказания нескольких токенов) и TurboQuant (метод сжатия данных для снижения требований к памяти). В перспективе DeepX планирует перейти на официальный стандарт LPDDR6-PIM, который разрабатывается для следующего поколения памяти. Компания рассчитывает, что DX-M3 сможет приблизиться к теоретическому приросту производительности в 5–8 раз при использовании этой технологии.
Основные рынки DX-M2 — робототехника, автомобильная электроника и ИИ-ПК. DeepX уже взаимодействует с тайваньскими производителями компьютеров и ноутбуков, а также с компаниями, разрабатывающими роботов. По словам директора по стратегическому маркетингу DeepX Тима Парка, разработчики робототехники сейчас нередко начинают работу с графическими ускорителями Nvidia Thor, но затем ищут менее энергозатратные решения, которые можно разместить непосредственно на борту машины. DeepX предлагает переход с платформы Nvidia Isaac на собственную Newton: разработчикам достаточно изменить название API (программного интерфейса, через который приложения обращаются к функциям платформы), чтобы сохранить прежний программный конвейер. Компания заявляет о наличии 17 совместимых библиотек и уже демонстрировала роботов на DX-M1, использующих тот же исходный код, что и машины на Nvidia Jetson. По оценке основателя DeepX Локвона Кима, переход на её платформу может увеличить время автономной работы робота в 20 раз, одновременно снизив стоимость системы. Сам DX-M1 уже выпускается серийно, а компания получила более 100 заказов на него от производителей дронов, роботов, систем видеонаблюдения, промышленного оборудования и других устройств.
DeepX также расширяет программную и аппаратную совместимость. Компания работает с Samsung над новым поколением интеллектуальных домашних хабов, подключается к экосистеме AWS IoT для удалённого обновления моделей через Greengrass и сотрудничает с Intel над интеграцией OpenVINO в собственный SDK. Это позволит использовать ускорители DeepX совместно с процессорами Intel Core Ultra и другими периферийными процессорами Intel, в том числе без встроенного NPU. Кроме того, компания обсуждала с AMD совместную разработку робототехнической платформы на базе ускорителей DeepX и референсной платы AMD Kria. Среди других направлений сотрудничества — Raspberry Pi и программная экосистема Baidu PaddlePaddle. DX-M1 уже используется в робототехнической платформе лаборатории Hyundai Motor Group Robotics Lab. Переговоры и испытания с потенциальными заказчиками идут в США, Китае, Вьетнаме и Южной Корее, более 10 крупных японских компаний также рассматривают ускорители DeepX.
Следующим этапом станет DX-M3, выход которого запланирован на 2028 год. Он получит чиплетную архитектуру (конструкцию из нескольких объединённых вычислительных кристаллов), поддержку LPDDR6-PIM и заявленную производительность 1 ePOPS в формате INT8 (эксоперация в секунду при 8-битной точности вычислений). Основными заказчиками этой модели компания видит автопроизводителей и разработчиков человекоподобных роботов, которым требуется более высокая вычислительная мощность. Стратегия DeepX заключается в переносе всё большей части ИИ-вычислений непосредственно на устройства: по оценке Локвона Кима, запуск моделей со 100 млрд параметров локально способен сократить трафик к ИИ-дата-центрам более чем на 80%. Пока это корпоративная оценка потенциального эффекта, DX-M2 должен стать следующим шагом к её реализации.
