freellmpool: локальный шлюз MCP, который агрегирует бесплатные LLM конечные точки
freellmpool, разработанный 0xzr, является сервером и API-шлюзом открытого исходного кода Model Context Protocol (MCP), который агрегирует бесплатные уровни десятков больших языковых моделей в единую локальную конечную точку. Этот инструмент объединяет несколько хостинг-провайдеров, предоставляет интерфейс, совместимый с OpenAI, и предлагает маршрутизацию, отслеживание использования и безключевые пути быстрого старта для немедленного тестирования. Нацеленный на разработчиков и пользователей AI-кодирования, он снижает усилия по управлению многими SDK провайдеров и ключами во время разработки агентов.
Агрегирует множество размещенных моделей и предоставляет инструменты, родные для MCP, для агентов
freellmpool работает как сервер MCP, который каталогизирует более 24 провайдеров и более 400 чат-моделей, предоставляя специализированные инструменты, такие как 'ask', 'battle' и 'recipe' для AI-клиентов. Инструмент включает шимы для сообщений в стиле Codex и Anthropic и перечисляет совместимость с клиентами, соответствующими MCP, например, Claude Desktop и Cursor.
- Каталог провайдеров: более 24 провайдеров
- Каталог моделей: более 400 чат-моделей
- Цели агентов: кодирующие агенты, такие как Claude Code, Cursor
Логика маршрутизации и времени ожидания сохраняет поток запросов, но зависит от внешней доступности
Автоматическое переключение на резервный сервер и маршрутизация перенаправляют запросы, когда провайдер возвращает ошибки ограничения скорости или выходит из строя, и инструмент применяет умное время ожидания, которое ставит провайдеров, достигших лимитов, в резерв, чтобы избежать повторяющихся ошибок 429. Отслеживание использования контролирует потребление за день, чтобы нагрузка распределялась; таким образом, непрерывность улучшается по сравнению с настройками с одним провайдером, в то время как фактическое время безотказной работы и пропускная способность остаются привязанными к агрегированным бесплатным услугам.
Практичный выбор для экспериментов, менее подходящий для гарантированной производительности
freellmpool является практичным вариантом для разработчиков и пользователей AI-кодирования, которым нужен быстрый доступ к множеству размещенных моделей через одну локальную конечную точку; поведение и доступность модели отражают поставщиков, поэтому ожидайте изменчивости, связанной с этими бесплатными уровнями. Рассматривайте выходные данные как ответы от моделей верхнего уровня и дополняйте их ключами поставщика, если требуется поддерживаемая мощность или более строгие гарантии времени безотказной работы.
