El arreglo que hace más rápidas las conversaciones largas con IA

Ahora mismo, cuando construyes una app de IA — una herramienta de soporte, un asistente de código, un agente — ocurre algo ineficiente cada vez que el usuario envía un mensaje nuevo: tu app reenvía toda la conversación desde cero. Cada mensaje anterior, cada respuesta de la IA, todo otra vez. Cuanto más larga la sesión, mayor la espera.

Message Threads de Anthropic, ahora en beta pública en la Messages API, resuelve esto. Tu app envía el historial completo una sola vez. Después, solo envías los mensajes nuevos — una fracción mínima de los datos. El servidor guarda el hilo en memoria, cifrado, y retoma exactamente donde se quedó.

Anthropic informa que esto reduce el tiempo de espera en alrededor de un 35% para sesiones largas — conversaciones de entre 500.000 y 1 millón de tokens. Los tokens son los pequeños fragmentos de texto que una IA lee y escribe — en la práctica, es una conversación de muchas páginas. En una cola de soporte o un flujo de trabajo de varios pasos, los usuarios notan la diferencia de inmediato.

Hay algo importante que saber antes de construir sobre esto: los hilos expiran cinco minutos después del último mensaje y nunca se escriben en disco. Eso los mantiene privados — pero también significa que no son válidos para flujos de trabajo conformes con HIPAA. El sector sanitario y otras industrias reguladas tendrán que esperar. Para todos los demás que construyen agentes y asistentes de uso general, el momento de probar esto es ahora — es gratis y solo requiere añadir una línea de código.