У консоли всего 8 ГБ унифицированной памяти
На PlayStation 4 запустили ИИ-модель Qwen3.5-9B с 9 млрд параметров
PlayStation 4 вышла в далёком 2013 году, но это не помешало энтузиасту Леонардо Алегрия создать проект, который позволяет запускать на этой консоли ИИ-модель с 9 млрд параметров.
Проект Garlic LLM запускает модель Qwen3.5-9B полностью в автономном режиме, без Linux или внешнего компьютера. Производительность при этом достигает 1-39 токенов в секунду.
Автору пришлось использовать квантование, чтобы уместить модель в 4,5 ГБ, так как приставка имеет всего 8 ГБ универсальной памяти.
Это позволяет использовать систему, как офлайн-чат-бота с искусственным интеллектом и поддержкой голосового управления.
