Під час Open Source Week DeepSeek зробила відкритою свою паралельну файлову систему Fire-Flyer Fire System (3FS). За словами компанії, 3FS досягає 7,3 ТБ/с сукупної швидкості читання на кластерах даних її власних серверів, де використовується з 2019 року.

3FS створена на базі Linux та спроєктована спеціально для операцій AI-HPC, під час яких ноди GPU постійно отримують доступ до багатьох серверів зберігання даних для навчання LLM. 3FS відрізняється від інших файлових систем пріоритетом швидкості випадкового читання понад усе та майже повному ігноруванню кешування.

Під час навчання моделей штучного інтелекту обчислювальним блокам потрібен постійний доступ до випадкових навчальних даних, а зчитування цих даних є одноразовим процесом. Таким чином, кеш читання фактично марний і здебільшого не використовується 3FS. Насправді використання кешу читання під час навчання LLM може бути потенційно шкідливим, оскільки багаторазове читання одних і тих самих даних може зашкодити моделі.

DeepSeek раніше стверджувала, що отримала продуктивність 3FS на рівні 6,6 ТБ/с, а також запустила навчальні завдання у фоновому режимі, що додало ще 1,4 ТБ/с пропускної здатності читання. Для порівняння, конкурентна файлова система Ceph вперше досягла швидкості читання лише 1,1 ТБ/с на початку 2024 року.

Усі охочі випробувати файлову систему Fire-Flyer та особливості її роботи, можуть завантажити усе необхідне на сторінці DeepSeek на Github. Якщо файлова система настільки хороша, вона потенціально може стати хітом.

Обхід санкцій: DeepSeek FlashMLA покращує продуктивність чипів ШІ NVIDIA H800 у 8 разів

Джерело: Tom’s Hardware

Favbet Tech – це ІТ-компанія зі 100% украі‌нською ДНК, що створює досконалі сервіси для iGaming і Betting з використанням передових технологіи‌ та надає доступ до них. Favbet Tech розробляє інноваційне програмне забезпечення через складну багатокомпонентну платформу, яка здатна витримувати величезні навантаження та створювати унікальний досвід для гравців.