En febrero, el Ministerio de Transformación Digital de Ucrania anunció Lanzamiento del Centro de Excelencia de Inteligencia Artificial WINWIN — una unidad que integrará soluciones de IA a nivel estatal y, en el futuro, ayudará a crear competidores de grandes modelos lingüísticos (LLM) similares a OpenAI, Anthropic, Google Gemini o DeepSeek. El objetivo de esta iniciativa es desarrollar e implantar las últimas tecnologías en el campo de la inteligencia artificial (IA), incluidos modelos generativos como ChatGPT. Ucrania cuenta con ingenieros y científicos de talento que trabajan para las principales empresas del mundo. Pero, ¿es esto suficiente para desarrollar e implantar un LLM nacional, y por qué es necesario? Hablamos de ello con el Ministerio de Transformación Digital y Andriy Nikonenko — Manager, Machine Learning & Data Science en Turnitin.
El campo de los modelos lingüísticos a gran escala (LLM, por sus siglas en inglés) se está desarrollando a gran velocidad, con varios actores clave que desempeñan papeles de liderazgo. Actualmente, el mercado está dividido entre varios gigantes, y las cuatro primeras empresas tienen su sede en Estados Unidos:
Large Language Model (LLM) — una red neuronal entrenada en enormes cantidades de datos textuales para comprender, procesar y generar lenguaje natural. La red neuronal es capaz de predecir la siguiente palabra de una frase, responder preguntas, traducir y crear textos coherentes sobre cualquier tema, imitando al mismo tiempo el estilo y la lógica del habla humana en directo. Las LLM se utilizan en chatbots, motores de búsqueda, traducción automática y otras áreas.
El desarrollo de modelos lingüísticos a gran escala (LLM) está estrechamente relacionado con la forma en que han evolucionado el procesamiento del lenguaje humano y el aprendizaje automático. Inicialmente, los modelos se basaban en redes neuronales recurrentes (RNN) y LSTM — tecnologías que ayudaban a «recordar» palabras anteriores. El verdadero avance se produjo en 2017, cuando Google introdujo Transformers — una nueva arquitectura que permitía procesar mejor los textos. En el corazón de Transformers está el mecanismo de autoatención: el modelo «analiza» diferentes palabras de una frase para comprender mejor su significado en el contexto general. Esto ayuda a procesar eficazmente textos largos y a tener en cuenta las relaciones entre las palabras, aunque estén muy separadas. Como resultado, el modelo puede entender el contexto de todo el texto y ofrecer una respuesta lógica y con sentido.
Por ejemplo, ChatGPT de OpenAI es capaz de producir texto que apenas se distingue del habla humana. Este modelo es popular en diversas aplicaciones, desde chatbots a redacción automatizada de artículos. Y Google Gemini se centra en la comprensión contextual profunda, fundamental para mejorar la relevancia (hacer coincidir el resultado con el deseado) de los resultados de los motores de búsqueda.
Los grandes modelos lingüísticos se basan en el aprendizaje profundo. Este proceso funciona de la siguiente manera:
Para entrenar un modelo, se necesitan muchos textos. Se «entrena» con enormes cantidades de información textual — procedente de libros, foros, artículos, registros de sitios web, etc. Es importante destacar que estos datos no están etiquetados, es decir, no tienen etiquetas especiales que expliquen qué significa cada fragmento. Esto hace que estos datos sean más baratos y fáciles de recopilar. Antes de transferir los textos al modelo, se limpian: se elimina la información personal y el contenido inapropiado o redundante
Las máquinas no perciben el texto como los humanos. Por eso, antes de procesarlo, el texto se divide en pequeñas partes — tokens. Pueden ser palabras sueltas, partes de palabras o incluso símbolos. A continuación, estos tokens se convierten en números, con los que empieza a trabajar la red neuronal. Esto es necesario para que el modelo comprenda mejor el contexto. Por ejemplo, si sólo se utilizan palabras, es necesario almacenar todas las formas posibles de la palabra («funciona», «funcionó», «funcionará»). Y si trabajas con partes de palabras, puedes «componer» cualquier palabra a partir de partes más pequeñas. Esto ahorra memoria, acelera el trabajo y reduce los costes informáticos
El nombre ChatGPT contiene la abreviatura GPT — Generative Pre-trained Transformer. Generativo — porque el modelo es capaz de crear (generar) texto nuevo. Preentrenado — porque primero se entrenó con una gran cantidad de texto y después se adaptó. Transformadora — es un tipo de red neuronal que utiliza el mecanismo de autoatención
En esta fase, el modelo aprende a reconocer patrones, aprende a predecir la siguiente palabra de una frase o a adivinar la palabra que falta. Esto se denomina modelización causal del lenguaje y modelización enmascarada del lenguaje
Después de que el modelo ya sabe mucho sobre un idioma concreto, se «reentrena» para tareas específicas — por ejemplo, para que sea mejor escribiendo artículos médicos o ayudando con la programación en Python. Además, se añade el aprendizaje a partir de ejemplos con feedback humano (RLHF — reinforcement learning based on human feedback). Es decir, los expertos evalúan la calidad de la respuesta de la máquina.
Después de que el usuario introduzca una consulta (promt), el modelo empieza a crear una respuesta (un token cada vez). Intenta continuar el texto para que suene lógico y natural.
LLM es una potente herramienta para la generación de textos, traducción, análisis, etc. Sin embargo, su desarrollo exige enormes recursos y su uso requiere cuidado. El proceso de entrenamiento de un gran modelo lingüístico requiere una enorme cantidad de datos que se utilizarán en el conjunto de entrenamiento. El procesamiento llevará meses o incluso años, y requerirá increíbles recursos informáticos y eléctricos. También requiere resolver los problemas de paralelismo (cuando los cálculos se realizan simultáneamente en varios núcleos de procesador o GPU. Por tanto, puede haber dificultades de distribución, sincronización, etc.).
Los grandes modelos lingüísticos tienen otros inconvenientes. El principal son las alucinaciones. Es decir, a menudo se producen errores en sus respuestas (el modelo puede inventarse un acontecimiento o una persona). Además, los grandes modelos lingüísticos requieren una enorme cantidad de recursos informáticos y electricidad.
Cuantos más datos se utilicen para el entrenamiento, mayor será la calidad potencial del modelo. Sin embargo, esto también implica un entrenamiento más largo y costoso. La inferencia (es decir, la generación de una respuesta) será más barata si el modelo en sí es más pequeño, ya que requiere menos recursos para ejecutarse. Pero normalmente se utilizan grandes cantidades de datos para crear modelos más grandes, lo que significa que la inferencia de dichos modelos requiere más recursos. Hay que encontrar un equilibrio entre el tamaño del modelo, la calidad de la respuesta y el coste de uso.
Entonces, ¿por qué es necesario un LLM nacional ucraniano si es tan caro y la mayoría de los proyectos internacionales utilizan los modelos existentes de los líderes del mercado? Esto es lo que respondió el Ministerio de Transformación Digital.
Los modelos en inglés, en los que se basan los chatbots más populares ChatGPT, Gemini y otros, muestran peores resultados con contenidos no ingleses que los modelos locales entrenados en lenguas nacionales.
Un LLM ucraniano producirá mejores respuestas que los modelos globales en inglés porque estará entrenado con datos ucranianos. Un LLM nacional puede entender mejor los dialectos, la terminología y el contexto del país, y dar mejores respuestas tanto desde el punto de vista lingüístico como en cuanto a hechos y cuestiones ideológicas sobre la historia, la situación política y la guerra de Ucrania.El LLM nacional también permite almacenar y procesar datos a nivel nacional, lo que es estratégicamente importante para el uso de la IA en defensa, organizaciones gubernamentales, medicina y el sector financiero.
Cuando se utilizan modelos extranjeros, los datos, incluidos los confidenciales, se transfieren al extranjero. Como país, no podemos controlar cómo los almacenan y procesan las empresas. El LLM nacional resolverá este problema, porque los datos de los ucranianos y del Estado se almacenarán en el país.
El aspecto nacional e ideológico también es importante. Los modelos extranjeros se entrenan en grandes conjuntos de datos con diferentes narrativas, incluidas las hostiles a Ucrania. Un LLM nacional tendrá una visión proucraniana del mundo y responderá correctamente a preguntas delicadas relacionadas con la guerra, la historia, etc.
El desarrollo del LLM ucraniano consta de 6 etapas. En primer lugar, se trata de la preparación organizativa: contratación de expertos para los consejos técnico y ético, búsqueda de socios. En la misma etapa, recopilamos datos. La segunda y tercera etapas implican el lanzamiento de un modelo piloto para 1.000 a 3.000 millones de tokens y un modelo a escala media para 11.000 millones. A continuación, realizaremos la alineación y la puesta a punto. Después, tenemos previsto lanzar un modelo emblemático y evaluar y desplegar un modelo completo
.Tenemos previsto lanzar el modelo en noviembre-diciembre de 2025. En total, se trata de 9 meses de trabajo — desde la labor organizativa y la recopilación de datos para la formación LLM hasta el lanzamiento de un modelo en toda regla.
¿Qué necesitamos para crear un LLM competitivo?
El objetivo clave del LLM ucraniano es satisfacer las necesidades internas del Estado y de las empresas, no competir con los modelos comerciales del mercado mundial. El mayor valor de un LLM nacional reside en su localización y adaptación al contexto nacional.
Al mismo tiempo, un LLM nacional creará competencia entre empresas dentro del país. El modelo obligará a las empresas a competir a un nuevo nivel — en particular, a competir cuyo servicio o producto de IA sea más fácil de usar. Esto repercutirá en el nivel de vida general de los ucranianos, en la economía y en el sector empresarial.
No tenemos tiempo ni recursos para crear un modelo desde cero, porque necesitamos lanzar productos de IA que cambien los servicios públicos y las empresas. Por eso estamos llevando a cabo el proceso de preentrenamiento y puesta a punto de una solución de código abierto ya existente.
En primer lugar, necesitamos datos de alta calidad, como corpus de textos limpios y estructurados desglosados en tokens. En segundo lugar, necesitamos la infraestructura técnica para entrenar el modelo. Y, por supuesto, financiación. La experiencia de otros países demuestra que se necesitan entre 1,5 y 8 millones de dólares para crear un LLM. No utilizaremos fondos públicos para desarrollar el LLM, así que estamos buscando inversores entre las empresas. También estamos considerando la posibilidad de cooperar con Big Tech y estamos en conversaciones con varias empresas internacionales. En cuanto al modelo de preentrenamiento, en Ucrania no hay suficientes recursos informáticos. La situación con la inferencia es mejor: el equipo del Centro de Excelencia de Inteligencia Artificial de WINWIN está probando actualmente modelos en GPU H100 y menos potentes, analizando los retos arquitectónicos y las opciones de escalado. No obstante, los centros de datos ucranianos están preparando sus instalaciones para futuras cargas relacionadas con el desarrollo de productos de IA.
Además, los proveedores de infraestructuras nacionales disponen de instalaciones que pueden utilizarse para la formación LLM.
El desarrollo del LLM es un proyecto conjunto del Estado, las empresas y la comunidad de la IA, incluidos investigadores, académicos, comunidades especializadas, etc. Las empresas se convertirán en un proveedor clave de infraestructuras para la formación del modelo. Las comunidades especializadas, las universidades y las instituciones de investigación ayudarán con la recopilación de datos. El papel del Ministerio de Transformación Digital y del Centro de Excelencia de Inteligencia Artificial WINWIN es coordinar todo el proceso.
¿Cómo evalúa el Ministerio de Transformación Digital la disponibilidad de datos de texto ucranianos de alta calidad? Existen iniciativas para crear un corpus nacional de textos para la IA?
Comunidades especializadas y universidades han recopilado una base de datos en ucraniano a partir de fuentes abiertas: noticias, Wikipedia, etc. Conjunto de datos «Niño» es la mayor, con 113 gigabytes de texto depurado. También hay NER-UK, UA-GEC, BrUK y otros. Son suficientes para entrenar modelos pequeños, pero para modelos más grandes necesitamos más datos. Ahora estamos hablando con universidades e instituciones de investigación para ampliar estos datos.
¿Cuántos especialistas en IA y ciencia de datos cree que necesitaría un proyecto así? ¿Hay suficientes en Ucrania? ¿Cómo afecta la guerra a la capacidad de atraer recursos?
Sí, hay suficientes especialistas de este tipo. Ya tenemos un equipo potencial y partes interesadas para desarrollar el modelo. La estructura organizativa del LLM implica la creación de un único equipo con varias divisiones. En primer lugar, un consejo técnico y un equipo de desarrollo responsables de la parte técnica del modelo y de su formación.
Es importante que el modelo funcione éticamente, por ejemplo, dando respuestas correctas a preguntas nacionales e históricas. Por eso se formará un comité de ética, que incluirá abogados especializados en derechos de autor y ética, expertos culturales e históricos y otros especialistas que supervisarán la calidad de los datos. Invitaremos a universidades y empresas ucranianas a trabajar con los datos. Pero cuando hablamos de LLM, la comunidad de especialistas está motivada para trabajar en este proyecto porque se trata de una iniciativa estratégica. Curiosamente, los ucranianos del extranjero también quieren unirse al desarrollo del LLM. Por lo tanto, vemos la máxima participación de la comunidad profesional ucraniana.
En cuanto a la infraestructura, incluso antes de la guerra a gran escala, no disponíamos de la potencia informática necesaria para la formación previa al LLM. Es muy poco probable que aparezcan ahora, porque requiere grandes inversiones. Aunque los proveedores ucranianos disponen de la potencia informática necesaria para ejecutar este modelo, no así para el preentrenamiento.
¿Cuáles son las ventajas económicas de crear su propio LLM?
El modelo se está desarrollando como una solución de código abierto para el sector sin ánimo de lucro. Las empresas y los desarrolladores podrán descargarlo y crear chatbots, asistentes de IA y otras soluciones, aumentando así su propia eficiencia y competitividad. En segundo lugar, el LLM dará un impulso a la aparición de nuevas soluciones de startups de IA que atraerán inversiones a Ucrania.
El lanzamiento del LLM ucraniano también impulsará la aparición de una serie de soluciones de IA para el sector público. El Centro de Excelencia de IA WINWIN del Ministerio de Transformación Digital ya ha empezado a trabajar en sus primeros productos: un asistente de IA para Diia, una herramienta de IA para analizar la normativa, una herramienta de IA para traducir y analizar la legislación europea, y asistentes internos de RRHH y OKR para el equipo del ministerio. Con la llegada del LLM, habrá más soluciones de IA no solo en el Ministerio de Transformación Digital, sino también en otros organismos gubernamentales.
El Ministerio de Transformación Digital también está integrando la inteligencia artificial en Mriya. La IA creará trayectorias educativas individuales para los niños en función de sus intereses, necesidades y motivación. Esto funcionará sobre la base de un modelo de IA que ayudará a analizar las conexiones entre temas, identificar lagunas de conocimiento y construir una trayectoria de aprendizaje personalizada.
Gracias al LLM ucraniano, podremos integrar activamente la IA en los sistemas de las Fuerzas de Seguridad y Defensa y aumentar así la eficacia de la intervención en el campo de batalla y el análisis de datos de defensa. Actualmente, el principal obstáculo para integrar la IA en los sistemas de defensa es la seguridad, ya que los datos se transfieren al extranjero cuando se utilizan modelos extranjeros. Con el LLM ucraniano, los datos permanecerán en Ucrania.Las instituciones científicas y educativas podrán descargarla y desplegar sus propias soluciones basadas en ella — chatbots, asistentes de IA, etc. Como resultado, la IA pasará a formar parte de la educación y la ciencia ucranianas y se convertirá en una herramienta accesible en la educación y la investigación. El resultado será un aprendizaje individualizado y nuevos avances científicos.
¿Es real el ChatGPT ucraniano?
Ni siquiera la Unión Europea dispone actualmente de modelos que puedan competir con los líderes del mercado. Las inversiones se dirigen sólo a ciertos aspectos, no a la investigación a gran escala. Aún no se ha logrado ningún avance significativo. Por ejemplo, recordemos el chatbot de IA llamado Lucie, que recibió ayudas del Gobierno francés, pero se cerró debido a importantes deficiencias.
Como ya se ha mencionado, la mayoría de los modelos lingüísticos, incluido Llama de Meta, se entrenan principalmente con datos en inglés, lo que afecta a la calidad de las respuestas en otros idiomas. Para desarrollar un modelo lingüístico ucraniano, será necesario resolver el problema de la recopilación de datos lingüísticos ucranianos de alta calidad. Los mejores modelos lingüísticos se entrenan con grandes cantidades de datos de texto.
Para crear un LLM ucraniano de alta calidad, se necesita un corpus (En lingüística, conjunto de textos seleccionados y procesados según ciertas reglas y utilizados como base para la investigación lingüística.) de textos de cientos de miles de millones de palabras. También es importante garantizar la alta calidad de los datos, que incluirán ucraniano moderno literario, científico, técnico y hablado. ¿Serán suficientes los datos anunciados por el Ministerio de Transformación Digital? Lo veremos a finales de 2025.
«Objetivamente, no hay suficientes datos de texto en ucraniano para entrenar un gran modelo lingüístico. Incluso Llama-2 de Meta se entrenó principalmente con corpus en inglés, donde la proporción de ucraniano era» insignificante.
Crear un modelo de lenguaje ucraniano de nivel ChatGPT completo es una tarea compleja que requiere importantes recursos en varias áreas clave. El entrenamiento de un modelo lingüístico de gran tamaño (LLM) requiere miles de GPU o TPU de alto rendimiento optimizadas para la computación de IA. Grandes empresas estadounidenses como OpenAI o Google utilizan más de 25.000 GPU Nvidia para entrenar sus modelos. Por este motivo, merece la pena considerar la posibilidad de utilizar modelos ya preparados con una posterior adaptación a las necesidades ucranianas.
«Los grandes modelos lingüísticos no son solo algoritmos, sino proyectos a gran escala que requieren la integración de un gran número de recursos. Por eso, ni siquiera grandes países como Alemania o Francia tienen prisa por crear sus propios LLM, sino que prefieren integrarse en iniciativas globales».
También es importante acceder a conjuntos de datos multilingües si necesita que el modelo interactúe con otras lenguas.
Por lo tanto, el desarrollo de un modelo lingüístico de este nivel requerirá un enfoque integral y un equipo profesional, que debería incluir:
Afortunadamente, en Ucrania hay muchos especialistas y empresas que se dedican a la inteligencia artificial (IA), el aprendizaje automático (AM) y el procesamiento del lenguaje natural, por ejemplo: SoftServe, ELEKS, Neurons Lab, Reface AI, y otros.
«Preparar un centro de datos propio para LLM — una inversión de cientos de millones de dólares. El principal motivo para crear un LLM ucraniano puede ser la seguridad. Sin embargo, hay que entender que no se trata solo de formar el modelo, sino también de su posterior soporte, actualización y adaptación. Crear un centro de datos propio costaría cientos de millones de dólares, mientras que trabajar con plataformas internacionales puede reducir los costes. Las cuestiones de seguridad y privacidad son fundamentales: el modelo de estado debe protegerse de ataques y accesos no autorizados».
El LLM ucraniano garantizará la ciberseguridad nacional e impulsará las innovaciones en el campo de la IA. Su modelo propio ayudaría a utilizarla en los servicios públicos y el ejército, y estimularía el desarrollo de empresas basadas en ella.
Por ejemplo, investigación 2023 ha demostrado que la introducción de la inteligencia artificial (IA) en el sector financiero ucraniano puede mejorar significativamente la precisión de los informes y ayudar a superar situaciones de crisis. La IA puede mejorar la calidad de los datos financieros y automatizar tareas rutinarias, permitiendo a los profesionales centrarse en la planificación estratégica. En otro estudio del mismo año, los investigadores compatible La idea de introducir la IA, ya que creen que hay muchos problemas en las finanzas públicas que no pueden resolverse con los métodos tradicionales.
Se trata de un objetivo ambicioso pero alcanzable, que podría convertirse en un avance estratégico para el país en el campo de la inteligencia artificial. Su aplicación requiere un planteamiento global, enormes inversiones y cooperación internacional. Por no hablar de las cuestiones de seguridad física y suministro estable de energía. Sin embargo, el primer paso, el más difícil, ya se ha dado. Veremos los resultados a finales de 2025.