Snellere AI-gesprekken: wat Anthropics nieuwe API-functie voor bouwers betekent

Als je een AI-app bouwt — een klantenservicetool, een code-assistent, een agent — gebeurt er bij elke nieuwe boodschap iets verspillends: stuurt je app het hele gesprek opnieuw. Elk eerder bericht, elk AI-antwoord, alles weer van voren af aan. Hoe langer het gesprek, hoe langer de wachttijd.

Anthropics Message Threads, nu in publieke beta op de Messages API, lost dit op. Je app stuurt de volledige gespreksgeschiedenis één keer. Daarna stuur je alleen nieuwe berichten — een fractie van de data. De server bewaart de thread versleuteld in het geheugen en pakt hem op waar hij was gebleven.

Anthropic meldt dat dit de wachttijd met zo'n 35 procent verkleint voor lange sessies — gesprekken met 500.000 tot 1 miljoen tokens. Tokens zijn de kleine tekstbrokken die een AI leest en schrijft — in de praktijk is dat een gesprek van vele pagina's lang. In een supportwachtrij of een meerstaps agent-workflow voelen gebruikers dat verschil direct.

Eén ding om te weten voor je hierop bouwt: threads vervallen vijf minuten na het laatste bericht en worden nooit op schijf opgeslagen. Dat houdt ze privé — maar het betekent ook dat ze niet geschikt zijn voor HIPAA-conforme workflows. Gezondheidszorg en andere gereguleerde sectoren moeten nog even wachten. Voor iedereen die algemene agents en assistenten bouwt, is het nu het juiste moment om dit te testen — het is gratis te proberen en vereist slechts één regel code.