iNFERENCiER
Smart and Fast LLM Inference
Что мы сделали?
Демонстрация ускорения
Попробуйте перевести текст и сравните скорость работы обычной и оптимизированной модели
Обычная модель
SLOWОптимизированная модель
FASTГотовое решение для бизнеса
Нодовый редактор
Electron.js + Rete.js для визуального построения пайплайнов
3 модуля оптимизации
Прунинг, дистилляция, квантизация с доказанной эффективностью
Open-source подход
Расширение существующих методов и создание новых
5x сжатие модели
Int4 квантизация практически без потери качества
Проблема
Бизнес сжигает деньги на инференс LLM
Компании тратят огромные средства на запуск и поддержку больших языковых моделей. Существующие решения не дают достаточной гибкости в оптимизации.
тратит бизнес на инференс LLM
потрачено на инференс за 2025 год
Наше решение
Модульная система с нодовым редактором для полной кастомизации пайплайна оптимизации
Квантизация
Дистилляция
Прунинг
Метрики
Оптимизация
Кастомизация
Собери свой пайплайн
Попробуйте создать свой пайплайн оптимизации прямо здесь!
Результат выполнения пайплайна:
Цель и задачи
Создать систему для оптимизации и ускорения инференса больших языковых моделей
- Создать универсальную платформу для оптимизации LLM
- Разработать визуальный редактор для построения пайплайнов
- Реализовать модули основных методов оптимизации
- Обеспечить возможность создания кастомных модулей
- Интегрировать систему метрик для оценки эффективности
Мы Те Самые team
Ярослав Воропаев
Tech Lead
ML Engineer
Fullstack Developer
Денис Петрин
Team Lead
Data Scientist
Амаль Насыров
ML Lead
ML Engineer
Марк Хуснутдинов
Chill Lead
ML Engineer
Александр Коньшин
Vibe Lead
ML Engineer
Михаил Степнов
Руководитель проекта
Руководитель центра R&D Big Data MWS
Даниил Иванов
Наставник
Аналитик-разработчик
Никита Егоров
Наставник
Middle Data Analyst MWS
Партнёры проекта
Фотоотчет
