Продукт, создаваемый европейским стартапом Pruna AI, обещает революционизировать подход к сжатию моделей искусственного интеллекта. Компания разрабатывает фреймворк открытого исходного кода, который применяет несколько методов оптимизации, включая кэширование, прунинг, квантизацию и дистилляцию, для повышения эффективности производительности моделей ИИ.
Соучредитель и технический директор Pruna AI Джон Рачван рассказал TechCrunch, что новый фреймворк позволит стандартизировать процессы сохранения и загрузки сжатых моделей, а также оценивать, насколько сжатие влияет на качество работы модели. «Подобно тому, как Hugging Face стандартизировала трансформаторы, мы делаем то же самое для методов повышения эффективности», — отметил Рачван.
Существует множество крупных лабораторий, использующих методы сжатия для ускорения работы своих моделей. Например, OpenAI применяет дистилляцию для создания более эффективных версий своих моделей, таких как GPT-4 Turbo. В свою очередь, фреймворк Pruna AI также позволяет значительно сокращать размеры моделей без потерь в производительности.
Рачван подчеркивает, что большинство существующих инструментов фрагментированы и сосредоточены на отдельных методах. В отличие от этого, Pruna AI стремится предложить интегрированное решение, которое упрощает использование различных методов сжатия.
На данный момент компания обратил внимание на модели генерации изображений и видео, однако поддерживает широкий спектр типов моделей, от больших языковых до моделей компьютерного зрения. Программа Pruna AI уже имеет таких пользователей, как Scenario и PhotoRoom.
Скоро в рамках фреймворка будет представлен компрессорный агент, который, по словам Рачвана, сможет автоматически оптимизировать модели под конкретные требования пользователей. Это многообещающее нововведение может значительно упростить процесс работы разработчиков с ИИ.
Напомним, что несколько месяцев назад Pruna AI привлекла 6,5 миллионов долларов посевного финансирования от таких венчурных фондов, как EQT Ventures и Daphni, что подчеркивает интерес инвесторов к новым технологиям в сфере искусственного интеллекта.