Microsoft añade modelos destilados de DeepSeek R1 a Copilot+ PC

DeepSeek AI conquistó rápidamente el mundo de los móviles y ahora se expande a Windows, con el pleno apoyo de Microsoft, lo cual es sorprendente. El gigante del software añadió el modelo DeepSeek R1 a su Azure AI Foundry para permitir a los desarrolladores probar y crear aplicaciones y servicios en la nube con él. Ahora, Microsoft ha anunciado que va a añadir versiones destiladas de R1 a los ordenadores Copilot+.

Un modelo destilado en IA es una versión simplificada de una red neuronal más grande que conserva parcialmente su rendimiento pero funciona de forma más rápida y eficiente. El proceso de destilación permite transferir conocimientos de un modelo grande y potente a otro más pequeño. En este caso, la DeepSeek R1 completa tiene 671.000 millones de parámetros, y los modelos más pequeños tendrán entre 1.500 y 14.000 millones de parámetros. No es un proceso perfecto, y el modelo destilado es menos potente que la versión completa, pero su menor tamaño le permite funcionar directamente en hardware de consumo (en lugar de hardware especializado en IA que cuesta decenas de miles de dólares).

Los modelos destilados de DeepSeek R1 estarán disponibles primero para dispositivos basados en chips Snapdragon X y procesadores Intel Core Ultra 200V, y después para PC basados en AMD Ryzen AI 9.

El primer modelo será el DeepSeek-R1-Distill-Qwen-1.5B (es decir, el modelo de 1.500 millones de parámetros), y pronto llegarán los modelos 7B y 14B, más grandes y potentes. Podrán descargarse del Microsoft AI Toolkit.

Microsoft tuvo que retocar estos modelos para optimizarlos de cara a su ejecución en dispositivos NPU. Las operaciones que dependen en gran medida del acceso a la memoria se realizan en la CPU, mientras que las operaciones de cálculo intensivo, como el bloque transformador, se realizan en la NPU. Gracias a la optimización de Microsoft, se consiguió un tiempo rápido hasta el primer token (130 ms) y un rendimiento de 16 tokens por segundo para sugerencias cortas (menos de 64 tokens). Nótese que «token» es similar a una letra vocal (lo que es importante, un token suele tener más de un carácter).

Microsoft es un firme defensor de la IA y ha invertido en OpenAI (creador de ChatGPT y GPT-4o), pero parece que busca diversificarse. Su Azure Playground incluye GPT (OpenAI), Llama (Meta), Mistral (una empresa de IA) y ahora DeepSeek.

Fuente: gsmarena