En semanas anteriores publicamos una experiencia de incorporación de LLMs usando el modelo fundacional de ChatGPT para dar solución a un problema generalizado de registro de tiempos. En esta nueva publicación te contaremos como fue la fase 2 de este proyecto y cómo solucionamos los problemas identificados.
Recalling the problems
Como siempre hemos dicho, no todo es color de rosa… Anteriormente mencionamos que uno de los grandes problemas era que la IA no tenía la capacidad de abstraer correctamente la información de los clientes y los asuntos entregados en el prompt. Algunas veces no eran precisos y era difícil hacer un match con la lista existente y otras veces ni siquiera lograba abstraerlo del contenido. ¿Pero cómo podríamos resolver esto?
Resolviendo los retos
Si lo pensamos detenidamente, todo lo que necesita la IA es conocer un poco más del dominio de nuestro negocio. Ahora la pregunta es ¿cómo podemos entregarle a la IA esa información puntual, sin caer en sobrecostos enormes y en ineficiencias que nos lleven a obtener alucinaciones en el motor fundacional?
La respuesta es: utilizando bases de datos vectoriales y el concepto de RAG (Retrieval Augmented Generate) para entregarle contexto a la IA.
Entendamos el concepto de RAG
RAG, o Recuperación Aumentada con Generación (Retrieve-Augment-Generate), no es más que una técnica que nos permite abstraer información relevante de documentos existentes combinando componentes de recuperación, aumentado y generación a las consultas realizadas. Ahondemos un poco más en cada fase:
Recuperación:
Esta fase permite la abstracción de la información contenida en repositorios de información y la posterior segmentación en bloques (chunks).
Aumentado
La información previamente recuperada es procesada con el fin de extraer elementos y contextos específicos que pueden enriquecer el prompt que se entrega al motor fundacional. Este proceso asegura que la información contenida en los bloques recuperados sea útil y precisa para la tarea entrante. Es en este proceso que se utilizan las bases de datos vectoriales que permiten el cálculo de la distancia de los conceptos ligados al contexto.
Generación
Finalmente la información relevante es inyectada al prompt con el fin de darle contexto al modelo fundacional con el fin de generar respuestas y/o soluciones más efectivas.
¿Y cuáles son las ventajas?
Utilizando este tipo de técnicas podemos generar salidas más coherentes evitando alucinaciones y teniendo un contexto aterrizado. De igual manera, el modelo puede ser más flexible y manejar una amplia gama de consultas y tareas, desde respuestas puntuales a preguntas, hasta la generación de contenido largo y detallado.
¿Cómo lo aplicamos?
Volviendo al caso de estudio la técnica de RAG nos permitió entregarle la lista detallada de clientes y los asuntos asociados a cada uno de estos. Los resultados entregados por ChatGPT fueron mucho más precisos en los dos campos problemáticos, el 94% de las veces el motor fundacional fue capaz de abstraer la información entregada en el audio y esto mejoró notablemente la satisfacción de los usuarios al interactuar con el formulario de registros de tiempos.
En resumen
En resumen, la incorporación de RAG en nuestro proceso no solo ha transformado la manera en que interactuamos con la IA, sino que también ha elevado la calidad y precisión de nuestras respuestas. Al proporcionar un contexto más rico y relevante, hemos dado un paso importante hacia un futuro donde la IA no sólo responde, sino que comprende.
Pero no se detiene aquí: la IA generativa tiene el potencial de revolucionar diversas áreas de tu negocio. ¿Te imaginas cómo podría mejorar tus procesos? La clave está en ser proactivo y explorar cómo puede integrarse en tu estrategia.
