Durante la Semana del Código Abierto, DeepSeek hizo de código abierto su sistema de archivos paralelo Fire-Flyer Fire System (3FS). Según la empresa, 3FS alcanza una velocidad de lectura agregada de 7,3 TB/s en sus propios clústeres de datos de servidores, donde se utiliza desde 2019.
3FS está basado en Linux y diseñado específicamente para operaciones AI-HPC, donde los nodos GPU acceden continuamente a múltiples servidores de almacenamiento para el entrenamiento LLM. 3FS se diferencia de otros sistemas de archivos por priorizar las velocidades de lectura aleatoria por encima de todo e ignorar casi por completo el almacenamiento en caché.
Durante entrenamiento de modelos de inteligencia artificial Las unidades de cálculo necesitan acceso constante a datos de entrenamiento aleatorios, y la lectura de estos datos es un proceso que se realiza una sola vez. Por lo tanto, la caché de lectura es efectivamente inútil y en la mayoría de los casos no es utilizada por el 3FS. De hecho, el uso de una caché de lectura durante el entrenamiento LLM puede ser potencialmente perjudicial, ya que la lectura repetida de los mismos datos puede dañar el modelo.
DeepSeek anteriormente reivindicadoque alcanzó un rendimiento 3FS de 6,6 TB/s y también ejecutó trabajos de formación en segundo plano, añadiendo otros 1,4 TB/s de rendimiento de lectura. En comparación, el competitivo sistema de archivos Ceph solo alcanzó velocidades de lectura de 1,1 TB/s a principios de 2024.
Todos los que quieran probar para probar el sistema de archivos Fire-Flyer y sus funciones, pueden descargar todo lo que necesitan en la página de DeepSeek en Github. Si un sistema de archivos es tan bueno, tiene potencial para ser un éxito.
Fuente: Tom’s Hardware
Spelling error report
The following text will be sent to our editors: