Pourquoi le PC rugit-il quand on entraîne un réseau de neurones ? Derrière ChatGPT

Pourquoi un entraînement d'IA fait-il hurler les ventilateurs ? Comprendre l'entraînement, l'inférence, l'API ChatGPT et le rôle de Codex.

Trouve les anomalies
Utiliser les outils de lecture

Écouter lit l’article à voix haute. La lecture rapide affiche les groupes de mots au rythme choisi. La pratique des langues compare les traductions disponibles. Enregistrer ajoute un favori dans ce navigateur, accessible dans la liste du lecteur. Le casse-briques transforme les mots de l’article en briques à casser.

Partager cet article

Partager cet article

Pourquoi le PC rugit-il quand on entraîne un réseau de neurones ? Derrière ChatGPT
Image générée par IA
Publicité
Publicité

Description : Pourquoi un entraînement d'IA fait-il hurler les ventilateurs ? Comprendre l'entraînement, l'inférence, l'API ChatGPT et le rôle de Codex.

1. L'IA était calme. Le ventilateur voulait parler

Interroger ChatGPT ou demander du code à Codex se passe dans le calme. Mais dès qu'on entraîne un réseau de neurones sur son ordinateur : « FOUUUU ! ». On croirait entendre un appareil prêt à décoller sous le bureau. Le premier intervenant de la recherche en IA est le ventilateur.

2. Entraîner, c'est corriger encore et encore

Un réseau apprend en prédisant, en calculant ses erreurs puis en ajustant ses paramètres à répétition.[1] L'inférence utilise un modèle déjà entraîné pour répondre. Pour une opération comparable sur le même modèle, l'entraînement nécessite généralement plus de calcul et de mémoire, même si une longue réponse d'un modèle géant peut être très coûteuse.[2] Un processeur ou une carte graphique sous forte charge consomme de l'électricité et chauffe. Les ventilateurs accélèrent pour refroidir. C'est une explication plausible du bruit, sans que le son permette de confirmer la cause.[4]

3. L'API a déplacé le calcul

Lorsqu'on appelle un modèle hébergé via l'API de ChatGPT, l'essentiel de l'inférence a lieu sur les équipements du fournisseur. L'ordinateur local transmet la demande et reçoit la réponse.[3] Le silence chez soi ne supprime ni la consommation d'énergie ni les besoins de refroidissement. Entraîner un nouveau modèle localement et interroger ChatGPT déjà entraîné sont deux tâches différentes. Impossible d'en comparer directement l'ampleur par le bruit.

4. ChatGPT et Codex sont-ils plus intelligents ?

Les grands modèles généralistes sont souvent avantagés pour écrire, raisonner et programmer, mais ChatGPT lui-même repose sur des réseaux de neurones. Un petit modèle spécialisé peut être plus rapide, précis ou économique pour un problème précis. Il faut l'évaluer sur de nouvelles données. Codex sait aussi lire des fichiers, lancer des programmes, tester et corriger du code.[5] S'il déclenche un entraînement lourd sur le PC, le ventilateur peut rugir même avec un assistant en ligne.

5. Vérifier la charge réelle

Sous Windows, le Gestionnaire des tâches indique l'usage du processeur, de la carte graphique et de la mémoire. Des outils compatibles montrent la température et la consommation.[4] Comparer pendant et après l'entraînement aide à comprendre. Le ventilateur peut simplement refroidir normalement. Une surchauffe persistante, une forte baisse de performances ou un bruit mécanique inhabituel demandent une vérification. Le bruit n'est pas une mesure d'intelligence.

6. La facture invisible est devenue audible

Dans le cloud, le calcul devient serveurs, électricité et refroidissement. Chez soi, il devient chaleur et « FOUUUU ! ». Derrière les réponses apparemment simples de l'IA, des machines travaillent réellement. Le premier résultat de l'expérience pourrait être le ventilateur qui exige d'être cité comme coauteur.

Pour aller plus loin : Que faire si vous ne trouvez pas le sélecteur de modèle dans l’application ChatGPT sur Android

Partager cet article

Si cet article vous a été utile, vous pouvez soutenir le site. Soutenir

Publicité
Publicité
Publicité

Encore un ? Un truc sympa ?

Puisque vous avez fini : quelques histoires proches et d'autres complètement différentes, mais amusantes.

  1. Que signifie « ABCDEFG I Need Money »?Le mème qui réclame de l'argent après G
  2. La climatisation affichait 21 °C et pourtant il faisait chaud : 40 minutes d’attente pour un tofu dengaku chez Kikuso, restaurant de Toyohashi vieux d’environ 200 ans où cohabitent Edo, Showa et Reiwa
  3. Il est 5 hle corps dit « dors », le cerveau répond « nous sommes encore ouverts »
  4. ShadowverseWorlds Beyond : pourquoi perdre en gagnant le board

À lire aujourd’hui

Chacun répond à une question que se posent souvent les lecteurs de cet article.

Voir tous les articles

Trouver d’autres articles

Tous les articles

Mendoi-chan

Qui tient ce site

Mendoi-chan

Elle transforme les frictions du travail et du quotidien en structures claires et en prochaines étapes concrètes.