Depositphotos
Исследователи из Китая и Канады представили новую концепцию сжатия данных на основе ИИ под названием LMCompress.
Пользователи хранят на собственных электронных носителях большие объемы данных и часто обмениваются ими. Это вызывает потребность улучшать приложения, позволяющие без потерь сжимать большие объемы информации для ускорения их передачи.
Как объясняет ведущий автор исследования Минг Ли, концепция заключается в том, что сжатие данных базируется на их понимании. Если человек, например, в чем-то хорошо разбирается, он может сжато изложить это.
В рамках исследования Минг Ли и его коллеги пытались продемонстрировать, что чем лучше большие языковые модели на базе ИИ усваивают данные, тем лучше они могут их объединять и сжимать. Первым подобную идею предложил математик Клод Шеннон в 1948 году
Шеннон предположил, что при условии надлежащего понимания данных, которые необходимо передать, их можно сжать и тем самым сократить время коммуникации. Эта идея долгое время обсуждалась, пока не появились большие языковые модели на базе ИИ.
Минг Ли подчеркивает, что если большая языковая модель способна должным образом понимать данные, она может предсказать, что должно идти следом. Это позволяет значительно лучше сжимать данные без каких-либо потерь информации, или качества этой информации. Ключевой идеей выступает возможность ИИ сгенерировать те данные, которые пользователь планирует передать, что избавит его от необходимости вообще что-то передавать. По результатам испытания такого подхода ученые убедились, что с помощью ИИ удалось как минимум удвоить показатели сжатия для различных типов данных, включая тексты, видео и аудиофайлы.
«LMCompress — это алгоритм сжатия, который использует большие модели (большая языковая модель для текстов, большая модель для изображений, видео и т.д.). Он сжимает тексты более чем в два раза лучше классических алгоритмов, изображения и аудио в два раза лучше, а видео чуть менее чем в два раза лучше. Поэтому при передаче данных вы можете работать примерно вдвое быстрее», — отмечает Минг Ли.
Алгоритм LMCompress вскоре может быть улучшен и представлен для реального применения. Как подчеркивает Минг Ли, их исследование прокладывает путь к новой эре сжатия данных с использованием больших языковых моделей на базе ИИ. По его мнению, в дальнейшем этот метод будет использоваться во всех без исключения гаджетах и заменит классические приложения.
Результаты исследования опубликованы в журнале Nature Machine Intelligence
Источник: TechXplore