Orai: “Disponer de chatbots avanzados que soporten el euskera tiene un impacto cultural y social de primer orden”

Orai, centro vasco dedicado a la inteligencia artificial, ha desarrollado Kimu, un chatbot en euskera capaz de ayudar en el día a día de las empresas e instituciones. Se trata de un modelo de lenguaje diseñado específicamente para funcionar en lengua vasca, lo que suponía un reto al ser un idioma con pocos recursos en el ámbito de esta tecnología, aunque también cuenta con capacidades multilingües. Xabier Saralegi, responsable de tecnologías NLP en Orai, afirma que, “su principal característica es la ligereza del modelo, que permite su instalación en servidores y ordenadores propios, lo que garantiza privacidad, eficiencia y control total sobre los datos”. 

¿Cuál fue el principal desafío técnico y lingüístico al crear un modelo de lenguaje que comprendiera y generara texto en euskera con la misma naturalidad que en las grandes lenguas? 

El principal desafío fue la falta de datos de entrenamiento en euskera para la fase de post-training, donde se enseña a los modelos a seguir instrucciones y responder adecuadamente. Mientras que en inglés existen grandes colecciones de datos abiertos, en euskera apenas hay ejemplos anotados, lo que dificulta replicar procesos. 

Para superar esta limitación, se probó inicialmente a traducir datos en inglés, pero los resultados fueron insuficientes. La solución consistió en reaprovechar modelos libres como Llama y Gemma ya entrenados con millones de datos de calidad. Se utilizó la diferencia entre los parámetros del modelo fundacional (que contiene las habilidades para seguir instrucciones) para inyectarla en un modelo fundacional previamente entrenado con un corpus de 500 millones de palabras en euskera. Así, el modelo aprende la estructura del euskera y mantiene la capacidad de ejecutar instrucciones sin haber visto ejemplos en ese idioma. 

Resumidamente, “hackeamos” las capacidades adquiridas en inglés y las combinamos con un corpus masivo en euskera, logrando un modelo capaz de comprender y responder instrucciones en euskera sin necesidad de datos específicos de instrucciones en esa lengua. 

Orai ha apostado por la instalación de Kimu en servidores propios. ¿Cómo cambia eso la relación entre la tecnología de IA y la privacidad de los datos dentro de las organizaciones? 

Actualmente, la mayoría de los LLMs (Large Language Models, sistemas que se entrenan con grandes cantidades de datos) se usan a través de servicios en la nube, lo que plantea riesgos importantes para la privacidad de los datos sensibles. Este riesgo aumenta cuando las empresas usan esos modelos para ofrecer servicios a terceros. Gracias a los modelos más pequeños (SLM), ahora se pueden ejecutar en ordenadores propios y más económicos, lo que permite a las empresas controlar mejor sus datos. Esto ayudará a crear sistemas de IA más seguros, fáciles de supervisar y que cumplan con las normas de protección de datos. 

Más allá de las ventajas técnicas, ¿qué impacto cultural o social tiene disponer de un chatbot avanzado que funcione íntegramente en euskera?  

El ámbito digital es uno de los principales tableros donde los idiomas se están jugando su futuro desde hace años. O se está en las mismas condiciones que los idiomas predominantes o el idioma perderá su utilidad. En ese ámbito, los modelos de lenguaje o chatbots son una tecnología totalmente transformadora que poco a poco será de uso casi imprescindible. Un idioma que no permita acceder a esas nuevas capacidades quedará relegado a segmentos cada vez más reducidos. Por esa razón, disponer de chatbots avanzados que soporten el euskera tiene un impacto cultural y social de primer orden. Serán necesarios tanto chatbots basados en modelos grandes como los basados en modelos pequeños, como es Kimu, a fin de cubrir de manera integral todos los ámbitos de uso. 

En un contexto en el que predominan los grandes modelos internacionales, ¿qué papel cree que pueden desempeñar modelos más pequeños y especializados como Kimu en el futuro de la inteligencia artificial lingüística? 

Kimu destaca por su tamaño reducido y su buen desempeño en euskera, lo que lo convierte en la mejor opción para entornos donde se priorizan la instalación ‘on premise’ (instalar un software en dispositivos propios de la empresa, en vez de almacenarlo en la nube) y el tratamiento del euskera. Los modelos pequeños son ideales para tareas laborales de baja o media complejidad (traducciones, resúmenes, extracción de información, adaptación de textos) y pueden adaptarse fácilmente a necesidades específicas.  

Sin embargo, en tareas complejas que requieren razonamiento avanzado o contextos largos, los modelos pequeños no son todavía una alternativa real, pese a que se están dando grandes avances.  Aunque el uso de modelos pequeños en empresas es aún minoritario, se prevé que para 2027 su adopción triplique la de los LLM generalistas, y Kimu aspira a liderar esa tendencia. 

¿Cómo imaginan la evolución de Kimu a medio y largo plazo? ¿Podría convertirse en una herramienta abierta o colaborativa para el ecosistema tecnológico vasco e internacional? 

A nivel técnico imaginamos un modelo con mejores capacidades de razonamiento y con una extensión considerable del conocimiento del mundo sobre el que opera. Es decir, que sea más inteligente y sabio a la vez, dentro de las limitaciones que marcan el tamaño del modelo. Además de estos ejes generales, la evolución que tome Kimu va a depender también de las necesidades concretas no cubiertas que detectemos en nuestro entorno. En esa evolución también contamos con las aportaciones que se puedan hacer por parte de otros actores del ecosistema tecnológico vasco e internacional. Por el momento, hemos creado un sitio web Beta para que las personas usuarias puedan probar el modelo. El acceso puede obtenerse por invitación. 

El Grupo SPRI apoya a las empresas con el programa de ayudas Inteligencia Artificial Aplicada y Estrategia del Dato 2024 que respalda proyectos basados en el uso de IA en compañías del País Vasco, que tengan un efecto de demostración y permitan activar la oferta y la demanda de esta tecnología en Euskadi, con la finalidad de dotar a las empresas de herramientas para aumentar su competitividad. 

El Grupo SPRI da la oportunidad a las empresas vascas de informar sobre su actividad en sus canales propios. Si tu proyecto está relacionado con nuestras temáticas (I+D+i, digitalización, internacionalización, emprendimiento, innovación…) puedes participar en la iniciativa Hablamos de ti.