En el centro de servicios WestAI, instituciones de investigación de Renania del Norte-Westfalia (NRW) están apoyando a empresas en el desarrollo de aplicaciones innovadoras de inteligencia artificial (IA). Una cooperación entre el Forschungszentrum Jülich y la editorial u-form Verlag ilustra cómo puede ser esta colaboración.

El año pasado, la inteligencia artificial (IA) superó con éxito varios exámenes, incluido el US Medical Licensing Examination. Ahora, la IA está destinada a ayudar a los examinados humanos a estudiar de manera más efectiva. Con la ayuda de expertos del Forschungszentrum Jülich, la editorial u-form Verlag tiene como objetivo desarrollar un tutor de IA para la preparación de exámenes. Como parte de un proyecto de investigación conjunto con el centro de servicios de IA WestAI, se probarán e integrarán varios modelos de lenguaje en los programas de formación de la editorial.

“Parte de nuestra colaboración implicará comparar la idoneidad de grandes modelos comerciales como GPT-4 y Claude 2 con modelos de código abierto, cuyo uso resulta atractivo para las empresas por razones de protección de datos, por ejemplo”, explica Fritz Niesel, investigador y consultor de IA en el Centro de Supercomputación de Jülich.

IA como asistente en la identificación de propiedades de materiales

Un caso de uso inicial es el examen final de la Cámara de Industria y Comercio (IHK), U-form Verlag, que se especializa en la preparación de exámenes, ofrece programas de formación correspondientes. La IA debería permitir evaluar automáticamente las respuestas de texto libre y señalar errores a los alumnos.

Una pregunta de prueba es, por ejemplo, cómo se diferencia un “monopolio de oferta” de un “polipolio”. Anteriormente, los estudiantes solo podían comparar sus respuestas de manera independiente con una solución de muestra. En el futuro, la IA también les proporcionará retroalimentación directa sobre la precisión y la completitud de sus respuestas.

“La evaluación con Claude 2 de Anthropic funciona bastante bien en principio”, dice Fritz Niesel. En algunos aspectos, sin embargo, la IA enfrenta los mismos problemas que un examinador humano, ya que las respuestas formuladas libremente a veces son ambiguas o imprecisas y no siempre se pueden clasificar claramente según un esquema de evaluación. Por ejemplo, el término alemán “Nachfrager” en la respuesta de ejemplo mostrada en la imagen podría significar varios compradores o solo un comprador. Los puntos otorgados son, por tanto, en cierta medida, una cuestión de interpretación.

“Muchos modelos de código abierto son actualmente mucho más débiles en comparación. Todavía tienen grandes déficits, especialmente en alemán, y la mayoría de los modelos fueron entrenados principalmente en inglés”, señala Fritz Niesel. Sin embargo, el hecho de que los usuarios puedan configurar sus propias aplicaciones y ejecutarlas en su propio hardware habla a favor del código abierto. De esta manera, se puede proteger el valioso conocimiento corporativo de una distribución no autorizada.

Evaluación comparativa de modelos de IA

En el caso de prueba mencionado, Mixtral-8x7B llega al mismo resultado que Claude 2. El modelo de lenguaje Mixtral-8x7B es considerado por muchos como el mejor modelo de código abierto disponible actualmente. Sin embargo, la explicación dada por Mixtral-8x7B es inferior a la de Claude 2, con partes que son simplemente incorrectas o poco claras. Por ejemplo, no se proporcionó un ejemplo de un polipolio en la respuesta, en contraste con lo que se afirmaba en la explicación. Mixtral-8x7B también otorga un punto “por el uso correcto de un término”. ¿Pero a qué término se refiere?

“Esta es una debilidad típica que puede mejorarse mediante la ingeniería de prompt – es decir, entradas especialmente personalizadas para la IA – y un ajuste fino”, estima Fritz Niesel. En el proyecto, los socios ahora planean investigar más a fondo si los modelos de código abierto pueden usarse como tutores de exámenes de manera tan efectiva como las IA comerciales más poderosas.

WestAI para el uso innovador de la IA

La cooperación fue posible gracias al centro de servicios de IA WestAI, uno de los cuatro centros de servicios de IA financiados por el Ministerio Federal de Educación e Investigación para impulsar la investigación en IA y su transferencia a aplicaciones prácticas en Alemania. El enfoque principal está en colaborar con startups y pequeñas y medianas empresas.

WestAI proporciona a las partes interesadas de la industria y la ciencia acceso a modelos de IA e infraestructuras de computación de alto rendimiento en IA. Los socios de WestAI contribuyen con su respectiva experiencia de manera dirigida para apoyar a las empresas en el uso de tecnologías de IA de vanguardia, poner en práctica ideas innovadoras y abrir nuevos campos de aplicación. El enfoque está en el lanzamiento de modelos de IA multimodal y generativa novedosos.

Reflexiones adicionales

La integración de la IA en la educación y formación profesional no solo representa un avance tecnológico, sino también una democratización del acceso al conocimiento y la personalización del aprendizaje. Al permitir evaluaciones automáticas y retroalimentación inmediata, las IAs como GPT-4 y Claude 2 pueden transformar la manera en que los estudiantes se preparan para sus exámenes, haciendo que el proceso sea más eficiente y efectivo.

El futuro de la educación parece estar cada vez más vinculado a la inteligencia artificial. Sin embargo, es crucial seguir investigando y desarrollando estos modelos para asegurar su precisión y eficacia, así como para garantizar que se protejan los datos y el conocimiento corporativo. La colaboración entre entidades académicas y empresariales será fundamental para alcanzar estos objetivos.