Garlic LLM : cette application fait tourner une IA de 9 milliards de paramètres sur une PS4

Une PlayStation 4 de 2013, débranchée d'Internet, qui fait tourner un modèle d'IA de 9 milliards de paramètres. C'est ce que permet Garlic LLM, une application open source qui exécute Qwen3.5-9B directement sur le GPU d'une console débridée. Voici ce qu'il faut savoir.

Il y a quelques jours, le développeur Leonardo Alegría a publié Garlic LLM sur GitHub. Il s'agit d'une application non officielle installée sur une console débridée, qui exécute Qwen3.5-9B, le modèle open-weight d'Alibaba, sur la puce graphique de la PS4. Aucun PC relié à la console, aucun service cloud : tout tourne en local sur votre vieille PlayStation.

D'après le site officiel, le débit atteint 31 à 39 tokens par seconde en conversation et jusqu'à 43 tokens par seconde avec de la génération de code. Le tout avec une fenêtre de contexte de 16 384 tokens. Pour effectuer ces mesures, le dev a utilisé une PS4 avec le firmware 11.52.

Pour rappel, un modèle d'IA doit idéalement être chargé en entier dans la mémoire du GPU pour fonctionner de façon optimale. De son côté, la PS4 ne dispose que de 8 Go de mémoire GDDR5, partagés entre le processeur et le GPU. Sur le papier, ce n'était pas gagné !

Garlic LLM : une application qui parle directement au GPU

La PS4 n'offre aux homebrews (applications non officielles) ni API de calcul, ni bibliothèque de machine learning. Pas de CUDA, pas de ROCm. "Garlic LLM communique directement avec le GPU.", peut-on lire.

Cela n'a pas facilité la tâche du développeur, car il a dû reconstruire lui-même ce qu'un pilote graphique fait habituellement :

  • Des noyaux de calcul sur mesure : les opérations du modèle sont exécutées par des kernels conçus pour l'architecture GCN du GPU AMD de la console.

  • Des commandes PM4 écrites à la main : l'application génère elle-même les paquets PM4, c'est-à-dire les commandes bas niveau qu'un pilote graphique produit normalement pour envoyer du travail au GPU.

  • Une quantification maison : pour réduire l'empreinte mémoire, la plupart des poids sont stockés en 4 bits et deux des matrices de chaque couche en 3 bits. Le fichier du modèle pèse ainsi 4,32 Gio, et les modèles vocaux ajoutent environ 0,6 Gio.

  • Un cache compressé : il est lui aussi quantifié en 4 bits, ce qui permet de faire tenir ce contexte de 16 384 tokens.

Et le nom, alors ? Sur PS4, « Garlic » désigne le chemin mémoire que le GPU lit directement. C'est là que sont stockés les poids du modèle.

Pour atteindre ces débits, Garlic LLM s'appuie aussi sur le décodage spéculatif. En gros, la tête MTP (multi-token prediction) intégrée à Qwen3.5 propose jusqu'à deux tokens d'avance, et le modèle complet les vérifie en une seule passe, au lieu d'une passe par token.

Ce que propose Garlic LLM, au-delà du chat

En plus de la conversation écrite (le chatbot), l'application intègre plusieurs modes :

  • Dictée vocale : la reconnaissance vocale basée sur Parakeet (utilisé par beaucoup d'outils de ce type), qui prend en charge 25 langues européennes.

  • Réponses vocales : la synthèse vocale est assurée par Chatterbox, en sept langues, dont le français.

  • Mode Python : le modèle écrit du code MicroPython et la console l'exécute, de sorte que "le code est testé là où il a été écrit".

  • Mode Think : le modèle raisonne avant de répondre, mais la phase de réflexion prend alors environ 30 secondes. Ce mode est désactivé par défaut.

Le tout est livré dans un package unique d'environ 5,7 Go, incluant les modèles.

Je vous vois tout excité en train de vous dire : "Ça y est, je sais quoi faire de ma PS4 stockée au grenier.", alors comment on peut installer Garlic LLM sur une PS4 ? Le principal prérequis, c'est GoldHEN, l'outil qui permet d'exécuter des homebrews sur une PS4 débridée. Donc, l'étape principale, c'est surtout de débrider votre PS4 pour ensuite déployer Garlic LLM.

Donc, si on résume, il vous faut :

  • Une PS4 équipée de GoldHEN

  • Environ 6 Go d'espace libre, ou 12 Go si vous copiez d'abord le package sur le disque interne

  • Un micro reconnu par la console, pour le mode vocal

L'installation se fait comme pour n'importe quel homebrew : téléchargez le package, installez-le avec le Package Installer, puis lancez Garlic LLM depuis l'écran d'accueil.

D'après le développeur, Garlic LLM fonctionne sur PS4, PS4 Slim et PS4 Pro, avec les firmwares 9.00, 9.04, 11.00, 11.52, 12.02, 12.50 et 14.00. Sur PS4 Pro, le débit grimpe même jusqu'à 45 tokens par seconde. La PS5 quant à elle n'est pas prête à accueillir Garlic LLM, réservez-là pour GTA VI.

Qu'en pensez-vous ?

Ajouter IT-Connect à mes
sources préférées

author avatar

Cofondateur d'IT-Connect et Microsoft MVP "Cloud and Datacenter Management". Mon obsession depuis près de 15 ans ? Rendre l'administration système et la cybersécurité accessibles, que vous soyez junior ou confirmé. Plus qu'un métier, l'IT est pour moi une véritable passion. J’accompagne au quotidien les sysadmins et les professionnels de l’IT dans leur montée en compétences et leur veille technique.

readers loved this