Tout change le jour où l’on veut vraiment quelque chose de la machine.
L’émerveillement est un état sans direction. On discute, on s’étonne, on teste, et ça pourrait durer des années. Puis un but arrive. Le mien, vous le connaissez : faire entrer quarante ans d’expérience dans la machine. Du jour où cette question est passée de la rêverie au cahier des charges, le bavardage était fini. Je me suis mis au travail.
L’époque s’y prêtait. Fin novembre 2022, un chat ouvert à tous. En un an, tous les géants avaient le leur ; puis le Français, puis le Chinois. Et pourtant, la machine de ces débuts était un moteur brillant monté sur rien : une fenêtre de quelques pages, aucune mémoire d’une conversation à l’autre, aucun accès à des fichiers, aucun brouillon avant la réponse. Elle ne connaissait que le texte : la photo, la voix, le document entier sont venus après, pièce par pièce du même châssis.
Dès qu’on se met au travail pour de bon, les parois arrivent. Il a oublié le début de la conversation. Au vingtième échange, il mélange tout, il déraille. Et cette mémoire qu’on nous annonce retient votre prénom, si peu de votre travail de la veille. Voici la mécanique, paroi par paroi.
Première paroi, le plan de travail. Le fait le plus stupéfiant de tout ce chemin : le modèle ne se souvient de rien. À chaque message, la conversation entière lui est relue, depuis le début. Ce qu’il paraît retenir, c’est ce qui tient sur son plan de travail, une surface bornée : quelques pages en 2022, des centaines, voire des milliers, annoncées en 2026. Annoncées, car les chercheurs ont mesuré deux choses : plus le plan de travail est chargé, plus ce qui est posé au milieu risque d’échapper au regard (ils appellent ça la perte du milieu), et tous les modèles, les meilleurs compris, se dégradent quand l’entrée s’allonge. Le plan de travail a grandi ; il est resté imparfait.
Deuxième paroi, la dérive. La dérive des conversations longues s’explique alors toute seule : au vingtième échange, la première page est tombée du plan de travail, et ce qui reste loin derrière pèse moins. La machine ne devient pas folle, elle a perdu le début. Son penchant à vous donner raison, celui de la marche précédente, aggrave la dérive ; il ne la cause pas.
Troisième paroi, le carnet de notes. La mémoire permanente que les produits affichent désormais ? Un carnet de notes. Le produit rédige des notes sur vous, ce que vous lui confiez, ce qu’il en déduit, les range sur ses serveurs et les repose sur le plan de travail au début de chaque échange. Le cuisinier ne se souvient de rien : il lit la fiche client. C’est utile, ça se consulte, se corrige, se désactive, et chez tous les grands, un mode de conversation n’y laisse pas de trace. L’écart se mesure d’une phrase : votre prénom tient sur une note. Quarante ans de métier, non.
Ce qu’il a fallu désapprendre : croire que sa mémoire ressemblait à la mienne.
Sources : sur la perte du milieu, Liu et al., « Lost in the Middle: How Language Models Use Long Contexts », 2023 (TACL 2024) ; sur la dégradation des longs contextes, le rapport « Context Rot », Chroma, juillet 2025.