La evolución arquitectónica de ChatCorp AI
Construir un asistente con un LLM es relativamente sencillo.
Construir un sistema de inteligencia artificial listo para producción no lo es.
Cuando inicié el desarrollo de ChatCorp AI, el objetivo parecía simple:
conectar un modelo de lenguaje a múltiples canales y automatizar conversaciones empresariales.
El verdadero reto no era que el modelo respondiera.
Era diseñar una arquitectura que pudiera escalar, controlar costos, persistir memoria estructurada
e integrarse con sistemas reales.
1. El Inicio: La Era del Agente Único
En sus inicios, nuestra arquitectura era directa y lineal. Apostamos por la simplicidad de un sistema que parecía suficiente para las primeras pruebas:
- Un único agente LLM: Una sola mente procesando todo.
- System Prompt robusto: Intentamos condensar toda la lógica en instrucciones de texto.
- Memoria básica: Un historial lineal sin jerarquías.
- Conexión directa: El modelo hablaba directamente con los canales de mensajería.
Funcionaba en entornos controlados, pero el salto a producción en 2023 nos reveló grietas estructurales imposibles de ignorar:
- Falta de control: No había un filtro real sobre el uso de funciones.
- Crecimiento exponencial: El contexto se desbordaba rápidamente.
- Costos impredecibles: Al enviar el historial completo en cada interacción, la factura de tokens era una lotería.
- Instrucciones perdidas: Con las ventanas de contexto limitadas de aquel entonces, el agente olvidaba su personalidad o sus reglas a mitad de la conversación.
Nos dimos cuenta de que un prompt gigante no es una solución escalable. Cuanta más información le dábamos al agente, más propenso era a ignorar directrices críticas. Fue en ese momento de frustración técnica donde llegamos a nuestra primera gran conclusión:
Un LLM no es una arquitectura. Es solo un componente.
2. V2 — Orquestación y modularidad
La segunda versión de nuestro sistema introdujo una separación de responsabilidades estratégica. Dejamos atrás el modelo monolítico para dar paso a una orquestación especializada:
- Selector: Encargado de dirigir el flujo de la conversación.
- Agente de límites: El guardián que valida las restricciones operativas.
- Agente de funciones: Responsable de ejecutar herramientas externas.
- Agente de RAG: Optimiza el contexto e investiga en los documentos de la empresa para reducir el consumo de tokens.
- Analyzer: Permitía conocer el estado de la conversación, tal como estado de animo del usuario, y cuál era el estado de la conversación
Gracias a esta estructura, el sistema ganó la capacidad de decidir cuándo emplear herramientas específicas, validar reglas de negocio y mantener la eficiencia mediante resúmenes estructurados.
El desafío de las alucinaciones
Sin embargo, nos enfrentamos a una realidad técnica compleja: las alucinaciones. La IA comenzó a presentar información incorrecta, un problema derivado principalmente de dos factores:
- Falta de validación: El proceso principal (main) carecía de una capa de supervisión que verificara si la respuesta generada era verídica antes de entregarla al usuario.
- Dependencia del RAG: Nuestro sistema de Recuperación Aumentada (del cual profundizaremos en el siguiente capítulo) estaba en sus etapas iniciales. Si el RAG fallaba al extraer datos precisos —como precios o inventarios—, el sistema “inventaba” una respuesta.
Aprendimos por las malas que, en atención al cliente, es mucho más costoso dar un dato falso que admitir un “no lo sé”.
El Selector y la brecha del Prompting
Otro punto de fricción fue el Selector. Esta pieza decide si la IA debe responder o transferir la conversación a un humano. El problema radicaba en la interpretación de instrucciones naturales.
Por ejemplo, si un usuario configuraba: “Desconéctate cuando el cliente quiera agendar después de darle la información adecuada”, cada modelo (Groq, OpenAI, etc.) interpretaba de forma distinta qué significaba “información adecuada”. Esto generaba desconexiones prematuras o comportamientos erráticos.
Nuestra visión en Chatcorp es que cualquier persona, sin conocimientos de prompt engineering, pueda configurar su IA. Sin embargo, esa simplicidad para el usuario final creaba lagunas lógicas en los modelos que debíamos resolver desde la orquestación.
La inteligencia no está en el modelo. Está en la orquestación.
3. La Tercera Arquitectura: El Salto al Gobierno Total
La tercera evolución representó un cambio de paradigma conceptual: el LLM principal dejó de ser un ente que decide en aislamiento. Ahora, opera dentro de un ecosistema de control que valida, limita, registra y gobierna cada una de sus acciones en tiempo real.
- Arquitectura Event-Driven: Para una respuesta asíncrona, rápida y escalable.
- RAG Desacoplado: Mayor precisión en la recuperación de datos sin contaminar el flujo principal.
- Persistencia Estructurada: Memoria a largo plazo organizada para un contexto impecable.
- Integraciones mediante MCP: El uso del Model Context Protocol (del cual hablaremos en el último capítulo) como estándar de conexión.
Este es nuestro hito tecnológico más reciente. Gracias a la implementación del MCP, el agente no solo es más inteligente, sino que ejecuta operaciones con una precisión quirúrgica. Hemos logrado alinear la tecnología con la visión fundacional de Chatcorp: “Conectar el mundo con la IA”.
Estamos conscientes de que este camino traerá nuevos retos, pero la base ahora es sólida. No buscamos solo que la IA responda; trabajamos para que responda más rápido, con mayor calidad y con total seguridad.
Un sistema de IA en producción necesita gobierno, no solo generación.
Lecciones del Camino: Nuestras Conclusiones
-
✓
La arquitectura vence al prompt: Un prompt robusto es una instrucción; una arquitectura robusta es una solución. -
✓
El costo es una decisión de diseño: La eficiencia en tokens y procesos se define en la pizarra, no en la factura. -
✓
Memoria con sentido: Almacenar datos sin estructura solo genera ruido; la persistencia requiere jerarquía. -
✓
Seguridad ante todo: Las funciones sin validación son riesgos abiertos. El gobierno es innegociable. -
✓
El multiplicador de inteligencia: El verdadero valor no sólo está en el modelo que elijas, sino en cómo lo orquestas.
Acompáñanos en el próximo capítulo: La magia del RAG y cómo eliminamos las alucinaciones.
