Le cours est parti d'une question : combien consomme une phrase envoyée à un modèle. La réponse est une chaîne de calcul où chaque maillon a sa source et son périmètre.
Le trajet, en résumé
Écrire coûte plus cher que lire. Le prompt est lu en une passe, la réponse s'écrit token par token : dans la mesure de référence du chapitre 4, un token de sortie coûte environ 35 fois un token d'entrée. Le contexte s'ajoute ensuite à chaque token écrit. Sur un pas d'agent de code à 126 180 tokens de contexte, il pèse 68 % de l'énergie (chapitre 12).
Pour passer des wattheures au carbone, il faut encore choisir un PUE, un facteur d'émission de l'électricité et une méthode de comptage (chapitre 13).
Ce qui ne bougera pas
Les chiffres de ce cours vont vieillir vite. La mécanique beaucoup moins : tant que les modèles écrivent token par token, un long contexte pèsera sur chaque token produit. Devant un nouveau chiffre, les questions restent celles du cours : ce qu'il couvre, sur quel matériel il a été mesuré, avec quel facteur électrique.
La fiche de paramètres liste les données qui manquent encore, avec le protocole qui permettrait de les combler. Si un chiffre a bougé depuis, le bouton de retour du site me l'envoie.