El contexto dentro del contexto

Introducción

Antes de abordar el tema del contexto como una parte fundamental del conjunto de instrucciones iniciales o prompt, es importante señalar que el contexto tiene un significado diferente cuando hablamos de arquitecturas de modelos de IA. Para evitar confusiones y recordar, o ampliar, conocimientos vamos a ofrecer una breve introducción que nos ayudará a entender cómo funcionan los sistemas de IA generativa que utilizamos habitualmente.

El contexto en los modelos de IA generativa

Los modelos autoregresivos y la arquitectura transformer son fundamentales en el desarrollo actual de la inteligencia artificial, especialmente en el campo del procesamiento del lenguaje natural. Estos modelos permiten a los sistemas de IA comprender, generar y transformar texto de manera coherente y contextualizada, imitando, en cierta medida, la forma en la cual los humanos utilizamos el lenguaje.

Estos sistemas generan contenido paso a paso o token a token. En el lenguaje informático, los tokens pueden representar palabras, partes de palabras, símbolos o números. Para decidir cuál será el siguiente token de una secuencia, los sistemas de IA utilizan parte del contexto previamente generado, lo que les permite mantener la coherencia. Por ejemplo, si una frase empieza con “El gato está…”, el modelo puede predecir que el siguiente término más probable sea “durmiendo”, basándose en el contexto acumulado.

Transformers

La arquitectura transformer es un modelo desarrollado por investigadores de Google que fue lanzado en 2017. A diferencia de modelos anteriores, los transformers pueden analizar todos los tokens de un texto de forma simultánea, lo que mejora significativamente el procesamiento del lenguaje natural.

El elemento clave de esta arquitectura es el mecanismo de atención, que permite al modelo identificar qué partes del texto son más relevantes en cada momento. Gracias a esto, puede relacionar palabras distantes dentro de una frase y comprender mejor el contexto global.

Por lo tanto, en un modelo de IA generativa el contexto es el conjunto de la información disponible en un momento determinado que utiliza para generar la siguiente respuesta. En este sentido, podemos entender el contexto como la suma de todas las instrucciones introducidas por la persona usuaria incluyendo el prompt inicial y todo el contenido generado por el sistema en cada respuesta.

Los límites del contexto

Los modelos autoregresivos presentan varios errores habituales, en gran parte relacionados con una limitación fundamental: la cantidad de contexto que pueden procesar es limitada. Esta restricción hace que no siempre tengan en cuenta toda la información relevante, lo que contribuye a provocar distintos errores como alucinaciones, propagación de errores o repeticiones en bucle de palabras o conceptos. En algunos casos, si el contexto es demasiado largo, el sistema puede olvidar partes fundamentales necesarias para generar un resultado correcto.

Sobre este tema, debo señalar que la limitación de contexto es una de las causas principales que provocan esta serie de problemas, aunque no es la única, ya que también influyen otros factores como los datos de entrenamiento y el propio diseño del modelo de IA.

El contexto dentro del contexto

El contexto, como parte del proceso de trabajo con el que generaremos contenido utilizando un sistema de IA, tiene un significado diferente del que hemos descrito anteriormente en los modelos autorregresivos. Para entender cómo funciona, antes debemos entender cuál es su función dentro del grupo de elementos que configuran la estructura básica del prompt inicial.

El prompt inicial

Podemos definir el prompt inicial como el conjunto de instrucciones que una persona usuaria introduce en un sistema de IA generativa para obtener una respuesta específica. Su función es la de guiar al modelo durante el proceso con el objetivo de generar un resultado que cumpla las expectativas previamente establecidas.

Hay diferentes formas de crear un prompt en función de las necesidades de cada trabajo, pero suele estructurarse teniendo en cuenta estos elementos:

1. El rol: indica cómo interpretar el contexto.

2. La tarea: define el trabajo que se va a realizar.

3. El contexto: establece el ámbito en el que se desarrollará la tarea.

4. El formato o estilo: especifica cómo se presentará la respuesta.

5. Limitaciones: delimita las acciones que se deben incluir o rechazar.

Dentro de esta estructura básica, el contexto aporta el escenario, la situación, el público, las intenciones y todos aquellos otros aspectos que se consideren necesarios para determinar el tipo de contenido que el modelo de IA debe generar. Estos datos previos ayudarán a que la respuesta sea más precisa y adaptada a lo que realmente se necesita.

El contexto es un elemento que se debe disociar del resto de instrucciones y tratarlo como una unidad, o cápsula de información independiente. Como hemos señalado anteriormente, los modelos autoregresivos focalizan la atención en los tokens o conjunto de tokens más relevantes de toda la información aportada. Al indicar o etiquetar, esta instrucción como contexto, el sistema desarrolla la respuesta analizando este apartado con especial atención, extrayendo las palabras clave más destacadas e interpretando las ideas generales o conceptos que permitan construir una respuesta coherente.

Como podemos deducir, la función del contexto es fundamental, ya que establece tanto el entorno general como el específico en el que se desarrolla el proyecto, por este motivo, aportaremos toda aquella información que consideremos importante para definir los objetivos que queremos alcanzar, así como datos que sirvan para determinar aspectos como el ámbito geográfico, las características de las personas que interactúan o forman parte, la historia o el contexto social asociado, las referencias a tener en cuenta, la visión estratégica, la estructura o el orden en el que se debe ejecutar el proceso, la filosofía en la que se enmarca la tarea o la imagen personal o de marca que se pretende transmitir al público final.

La cantidad de datos no debe ser exagerada, pero si debe ser la necesaria para describir un entorno concreto que el modelo de IA pueda identificar, acotar y definir.

El contexto siempre es diferente, por este motivo no siempre tendrá la misma estructura como tampoco describirá las mismas características, no obstante, para cualquier planteamiento, introduciremos información veraz, precisa y adecuada para cada tarea.

Identificar y corregir errores

Los modelos de IA necesitan un contexto inicial para generar resultados. Si no disponen de datos suficientes pueden requerirlos, pero también pueden optar por crear su propio contexto consultando su base de datos o realizando búsquedas en Internet y ajustando la información obtenida a las necesidades de la tarea.

En estos escenarios, indeterminados y un tanto confusos, es cuando debemos estar alerta, ya que no vamos a conocer los parámetros con los cuales está funcionando a menos que preguntemos acerca de los criterios que está siguiendo. En estas situaciones, si la respuesta no nos convence porque se aleja demasiado del objetivo, podemos considerar que el resultado es erróneo, ya sea porque el sistema no ha interpretado correctamente nuestras indicaciones o porque ha generado alucinaciones. En estas situaciones la opción más inteligente consiste en analizar el prompt inicial, así como las respuestas y las instrucciones posteriores, para identificar el momento en el que se han producido estos errores o variaciones.

Verificar antes de publicar

En cualquier caso, será nuestro conocimiento del ámbito en el cual desarrollamos la actividad el que nos permita determinar qué es correcto, qué es incorrecto y qué es un error del sistema.

Estos procesos de verificación por parte de la persona usuaria son tan necesarios como habituales porque que forman parte de la propia metodología con la que se concibe la interacción con los modelos de inteligencia artificial.

Es importante destacar que se pueden proponer diferentes roles y llevar a cabo distintas tareas utilizando o adaptando el mismo contexto. Tener en cuenta esta característica es fundamental para entender por qué es conveniente tratar este apartado de forma independiente y concebirlo desde una posición de conocimiento amplio, bien documentado y con el criterio profesional adecuado para poder realizar un análisis fiable de cada resultado obtenido.

Una forma de resumir el proceso de contextualización de forma simple es la siguiente: primero describimos el ámbito en el cual se va a desarrollar el proyecto, seguidamente, el sistema interpreta esta información para determinar un entorno de trabajo concreto con el que generar una respuesta coherente y, finalmente, verificamos que el resultado se ajusta al contexto que hemos propuesto inicialmente.

Experimentar es una parte vital del proceso de aprendizaje y perfeccionamiento de cualquier conocimiento. Así que, os animo a probar contextos que definan vuestros proyectos creativos en diferentes escenarios y a interpretar los resultados desde una posición crítica y profesional.

Luis Miguel Galache
Diseñador gráfico y formador TIC