Le correctif qui accélère les longues conversations avec l'IA — et ce qu'il permet

En ce moment, quand on construit une appli IA — un outil de support, un assistant de code, un agent — quelque chose de coûteux se passe à chaque nouveau message : l'appli renvoie toute la conversation depuis le début. Chaque message précédent, chaque réponse de l'IA, encore et encore. Plus la session est longue, plus l'attente est grande.

Message Threads d'Anthropic, désormais en bêta publique sur la Messages API, corrige ça. L'appli envoie l'historique complet une seule fois. Ensuite, on n'envoie que les nouveaux messages — une infime fraction des données. Le serveur conserve le fil en mémoire, chiffré, et reprend exactement là où il s'était arrêté.

Anthropic indique que cela réduit le temps d'attente d'environ 35 % pour les longues sessions — des conversations de 500 000 à 1 million de tokens. Les tokens sont les petits morceaux de texte qu'une IA lit et écrit — en pratique, c'est une conversation de plusieurs pages. Dans une file de support ou un workflow d'agents en plusieurs étapes, les utilisateurs ressentent cette différence immédiatement.

Une chose à savoir avant de construire là-dessus : les fils expirent cinq minutes après le dernier message et ne sont jamais écrits sur disque. Cela les rend privés — mais cela signifie aussi qu'ils ne sont pas éligibles aux workflows conformes HIPAA. La santé et les autres secteurs réglementés devront attendre. Pour tous ceux qui construisent des agents et des assistants grand public, c'est maintenant le bon moment pour essayer — c'est gratuit et n'exige qu'une seule ligne de code.