llama.cpp
БесплатноЛокальные модели
Берём как базовый движок локального инференса
llama.cpp — открытый движок для запуска открытых LLM на широком спектре железа (CPU, Apple Silicon, GPU) с форматом GGUF. На нём построены многие локальные приложения.
Подходит, когда нужен контроль и эффективность локального инференса, в т.ч. на скромном железе.
Открыть сайт
Кому: Разработчикам, которым нужен быстрый локальный инференс на CPU/GPU.
Что умеет
- Инференс на CPU/GPU/Apple Silicon
- Формат моделей GGUF
- Встроенный сервер с API
- Основа для многих GUI
Плюсы
- Работает почти везде
- Очень эффективен
- Открытый и активный проект
На что обратить внимание
- Командная строка и сборка
- Не для новичков
Цена
Бесплатно. Бесплатно, открытый код.
#локально#движок#open-source
