오픈 소스 LLM 게이트웨이, 설치 및 실행

무제한 무료 AI 코딩. Claude Code, Codex, Cursor, Cline, Copilot, Antigravity를 40+ 프로바이더를 통해 무료 Claude/GPT/Gemini에 연결합니다. 자동 폴백, RTK -40% tokens, 제한에 걸리지 않음.

테스트 결과: Root npm install completed, npm run build succeeded, the standalone Next.js app serves the login page (200), models API (200 with JSON model list), and version endpoint (200), and the test suite runs 2562 passing tests. 42분.

차세대 멀티테넌트 AI 원스톱 솔루션. 내장 관리자 및 결제 시스템. 엔터프라이즈급 통합 LLM 게이트웨이로 200개 이상 모델과 35개 이상 제공업체 지원, 우선순위 기반 라우팅을 통한 로드 밸런싱, 비용 관리, 채팅 공유, 클라우드 동기화, 크레딧/구독 결제, 모든 파일 파싱, 웹...

테스트 결과: CoAI.Dev builds and runs on port 8094 using SQLite (no MySQL) and a fake Redis mock, with login, user info, admin analytics, quota, subscription, channel management, and model listing endpoints all responding correctly. 18분.

자체 호스팅 AI 게이트웨이: 다중 채널, 다중 자격 증명 설정, API 키 및 구독 계정, 스케줄링, 장애 조치, 요청 로그 및 사용량.

테스트 결과: GPT-Load 2.0 binary builds, web UI compiles, server starts on 127.0.0.1:3001, health endpoint returns HTTP 200, auto-generates AUTH_KEY, and shuts down gracefully with all database migrations completed and catalog synced. 8분.

Plano는 agent 앱을 위한 AI 네이티브 프록시 서버 및 데이터 플레인입니다. 스마트 LLM 라우팅, 옵저버빌리티, agent 오케스트레이션, 그리고 여러분이 agents의 핵심 로직에 집중할 수 있도록 하는 가드레일.

테스트 결과: Plano native mode starts, health endpoint returns 200, CLI reports version 0.4.36, all Rust and Python tests pass. 21분.

자체 호스팅 CPA / CLIProxyAPI 관리 패널 및 AI gateway 관측 대시보드로, 요청, 사용량, 비용, 할당량, 실패 및 계정 상태를 확인할 수 있습니다.

테스트 결과: CPA Manager Plus web app installs, builds, type-checks, and runs all 4156 web tests passing; repo-level tests pass 256/257. The dev server serves the management panel on port 5173 and returns HTTP 200. 12분.

KrakenD Community Edition: Go로 작성한 고성능, 무상태, 선언적 API Gateway

테스트 결과: KrakenD v2.13.11 binary built, all 58 integration tests pass, server listens on port 8080 and responds to /__health with 200. 4분.

자체 호스팅 LLM 라우터, 관리형 안전망 포함. OpenAI 호환. BYOK. 단일 워크스페이스. 스트리밍 지원. 더 고급 라우팅이 필요하면 호스팅 OrcaRouter를 선택하세요.

테스트 결과: OrcaRouter Lite installs from source, all 703 tests pass, the server starts on port 8000, seeds a workspace+key, and serves /health, /v1/models with auth gating. 7분.

모든 agents를 호출할 수 있는 1곳: OpenCode, Hermes, Claude Managed Agents, Cursor Agents API, DeepAgents.

테스트 결과: The LiteLLM Agent Control Plane Rust binary compiles from source, its full test suite passes (211 passed, 0 failed, 7 ignored for missing live credentials), the server starts on port 4000, /health returns 200, and /v1/models returns configured models. 8분.

코딩 CLI용 자체 호스팅 AI 게이트웨이: 단일 OpenAI/Claude/Gemini/Codex 호환 엔드포인트, 멀티 테넌트 웹 콘솔, 요청 log, 지출 할당량

테스트 결과: With user-compiled PostgreSQL 16.8 and Redis 7.2.5 and remote-management.disable-control-panel set, the CliRelay server (built from this repo) runs on 127.0.0.1:8317 answering /healthz 204, /v1/models 200 and /v1beta/models 200, and the full test suite passes when run sequentially (go test -p 1 -count=1 ./... exit 0... 37분.

ReachAI 기업용 AI agent 개발 플랫폼: 빠르고 안전하게 기존 업무 시스템의 지능화 전환을 완료하여, AI가 OA, ERP, CRM 등 기존 시스템에서 데이터를 조회하고, 양식을 작성하고, 업무를 처리하도록 합니다. ReachAI: 빠르고 안전하게 기존 기업 시스템에 AI를...

테스트 결과: Backend builds cleanly and all 2246 unit/integration tests pass across 9 Maven modules. Frontend builds with npm run build and 453 of 454 vitest tests pass across 10 test suites (1 pre-existing timezone-dependent dashboard test fails in UTC). 34분.

AI-native open-source alternative to Vercel + Sentry + PostHog + Pingdom + Resend + E2B. 440+ CLI operations with drop-in skills for Claude Code, Codex &...

테스트 결과: Temps built from source runs a control-plane server on 127.0.0.1:8081 against a Postgres 17.4 + TimescaleDB/pgvector/pg_tsparser mock database, serves /health 200 and an authenticated API that created and listed a real project; all 276 database migrations and the web console build complete successfully. 85분.

직접 실행하는 오픈 소스 AI 게이트웨이. 40+ 프로바이더를 위한 단일 엔드포인트, 가상 키, 예산, 사용량 추적.

테스트 결과: The Otari LLM gateway installed from source with uv, boots as a standalone server on port 8000 serving the management API, bootstrap, health, docs, OpenAPI spec, and tutorial root page, and the OSS edition smoke test exercises all key lifecycle stages (health, bootstrap, user/keys, providers, routing, completions... 20분.

Gemini 웹 → OpenAI 호환 + 네이티브 Gemini API, 자체 호스팅, API 키 불필요. 유료 계정 쿠키로 Gemini 4 Argon, strict_model(자동 다운그레이드 대신 429 반환), 자동 갱신 쿠키 풀, 프록시 풀, 관리자 패널, 이미지 및 비디오...

테스트 결과: gemini-web2api-go v4.20.1 compiles, starts on port 8083, answers health check at / returning status ok, serves 2 models (gemini-3.5-flash-lite, gemini-3.6-flash) at /v1/models, processes chat completions at /v1/chat/completions with real Gemini responses, and exposes an admin UI at /admin with token auth, all 58 tests... 7분.

가장 빠른 오픈 소스 AI Gateway 및 LLM Gateway입니다. 하나의 바이너리에 내장된 콘솔이 있어 OpenAI, Anthropic, Gemini, Bedrock 등을 통한 모든 LLM 호출을 라우팅, 보안, 예산 관리 및 관찰할 수 있습니다.

테스트 결과: The Antirion AI gateway builds from source, its test suite passes 1044/1044 tests, the binary starts in standalone mode with the embedded store, and successfully routes a chat completion request through a provider, deployment, model, and key to a mock upstream and back with HTTP 200. 16분.

사용자의 머신에서 실행 중인 모든 AI coding agent가 무엇을 하고 있는지, 그리고 그 뒤에 있는 API가 사용자가 결제한 API인지 확인할 수 있습니다. Claude Code, Codex, Cursor, Gemini CLI 등: 44개 모델 공급업체를 위한 단일 엔드포인트...

테스트 결과: Server binary installed via curl|bash and starts on localhost:17000; sign-in (admin/123), API endpoints, relay token, provider CRUD, and LLM relay (non-stream and streaming) all verified end-to-end with a mock OpenAI upstream returning HTTP 200 with correct response body. 10분.

macOS, Windows, Linux에서 Claude Code, Codex 및 기타 AI 클라이언트를 위한 로컬 게이트웨이: 클라이언트를 건드리지 않고 업스트림을 전환하고, 릴레이로부터 API 키를 보호하며, 악성 도구 호출을 차단하고, 모든 요청을 추적합니다.

테스트 결과: Frontend builds successfully (vite), vitest suite passes 611/611 tests, Rust crate tw-adopt passes 67/67 tests, Rust crate tw-scan passes 35/35 tests; the main Tauri desktop binary is blocked by missing glib2/gtk3/webkit2gtk development packages that cannot be installed without root. 8분.

AI agent를 위한 로컬 AI 게이트웨이로, 스마트 라우팅 및 기기 내 개인 정보 보호를 통해 구독과 API 제공자를 통합합니다.

테스트 결과: AstrLink core gateway builds, launches with control-token-stdin, authenticates via control API, creates access tokens, and responds to inference requests with correct routing errors. All 37 Go packages pass tests (normal + race), 1739 frontend tests pass, and both Rust workers compile cleanly. 18분.

OpenAI 요청을 위한 프라이버시 프록시

테스트 결과: Installed and verified: Go backend builds and serves /health 200 with the quantized ONNX PII model loaded, masks real emails end-to-end via /api/pii/check, Unix desktop Electron app launches and stays running on the virtual display, Python (2 passed) and Go (512 passed) unit suites are green, and the frontend... 27분.

Claude Code, Codex 및 Gemini용 자체 호스팅 AI API 게이트웨이: 하나의 엔드포인트 뒤에서 API 키와 구독 계정을 풀링하고, 장애 조치, 프로토콜 변환 및 비용 추적을 제공합니다.

테스트 결과: Binary builds, server starts and listens on :8080, health endpoint returns 200, admin login/auth flow works, all 49 Go test packages pass, all 284 JS frontend tests pass, model catalog syncs 244 models from models.dev. 10분.

Go로 작성한 LLM 프라이버시 게이트웨이: 개인식별정보 및 비밀 정보의 밀리초 레이턴시 마스킹. PackyCode에서 프로덕션에 사용 중입니다.

테스트 결과: Both binaries build, all 3153+28 tests pass, HTTP server serves /health /redact /redact/batch correctly with 221 gitleaks rules loaded, gRPC server starts on :8089, and benchmarks show sub-ms latency on 2KB text. 3분.

통합 LLM 게이트웨이로, 가중치 기반 로드 밸런싱, 관찰 가능성 및 비용 추적을 제공합니다.

테스트 결과: The LLMIO Go server builds, the webui builds via pnpm, all 31 Go unit tests pass, and the server starts on :7070 serving the webui and responding to all API endpoints. 16분.

CLIProxyAPI(CPA)를 위한 자체 호스팅 제어 플레인 및 사용량 관찰 가능성 콘솔입니다. AI 공급자, 클라이언트 키, 스트리밍 텔레메트리 및 모델 비용 스냅샷을 제공합니다.

테스트 결과: The binary builds, all Go packages test pass, the full frontend builds and embeds, the app serves the SPA and health endpoint with status ok in both demo mode (in-process fixture) and non-demo mode (with a mock CPA answering the v8 API probe). 16분.

ChatGPT/GPT 계정 생성기｜Grok 계정 생성기｜완전 자동 순수 프로토콜 등록은 OAuth, 이메일 인증 코드 수신, 계정 풀, 프록시 순환 및 OpenAI/Anthropic 호환 API를 지원합니다. 자동 등록, 이메일 인증 및 프록시 순환을 갖춘 GPT/Grok 계정 생성기...

테스트 결과: Backend server starts cleanly, responds to authenticated requests on /v1/models with a full model list, auth enforcement works correctly, and all 623 Python tests pass. 14분.

30개 이상의 LLM(OpenAI, Anthropic, Bedrock, Azure 등)을 위한 통합 AI Gateway로, 캐싱, 가드레일, A/B 테스트 및 비용 제어 기능을 제공합니다. Go 네이티브로 가장 빠르고 확장 가능한 AI Gateway로, LiteLLM 및 Kong AI...

테스트 결과: Go 1.25.14 installed from tarball, ferrogw binary built at 42 MB binary, server starts and responds 200 on /livez, /readyz, and /health, 'go test' over all 89 packages passes with zero failures, 'ferrogw validate' confirms config valid. 10분.

읽기 전용입니다. Forgejo에서 기여하십시오. AI agent을 위한 실행 제어 평면입니다. 모든 모델 요청, MCP tool 호출, A2A 위임, 다운스트림 작업을 관리하며 네이티브 프로토콜을 그대로 유지합니다: six 네이티브 LLM 프로토콜 입력, six 네이티브 LLM...

테스트 결과: Busbar 1.5.5 builds, passes its full test suite (3085 unit tests), validates a minimal config, and serves /healthz (200), /stats (valid JSON), /v1/models (model list), admin /auth, and admin /models endpoints on both the data (:8090) and admin (:8091) listeners. 14분.

비가 내리는 곳에서는 기억이 다시 꽃피웁니다. 자체 호스팅 AI 장기 기억 및 채팅 게이트웨이. 장기 대화를 위한 자체 호스팅 AI 기억 및 채팅 게이트웨이.

테스트 결과: Serein installs and builds in a clean venv, the Python suite runs 2178 passed with the web suite 130 passed, and the local memory and gateway services answer /ready and /health with 200 while unauthenticated root returns 401. 87분.

OpenClaw, MCP, OAuth, OIDC, SAML, CAS, LDAP, SCIM, WebAuthn, TOTP, MFA, Face ID, Google Workspace, Azure AD를 지원하는 웹 UI를 갖춘 오픈 소스 Agent-first ID 및 액세스 관리 (IAM)...

테스트 결과: Casdoor server runs on port 8000 with SQLite, frontend serves index.html (200), login authenticates admin/123 via JSON API, OpenID Connect configuration endpoint returns valid metadata, and the API returns organization and user data from the demo seed. 14분.

AI coding agents를 위한 비파괴적 압축 게이트웨이. 턴 1에서 25%, 길거나 포화된 세션에서 85% 이상의 token 비용 절감 및 동일한 컨텍스트 윈도우에서 약 3배 더 많은 턴 수용. 당사의 오픈 소스 코드 네이티브 4B 모델 기반. Claude Code...

테스트 결과: Python package installed in a venv, the proxy serves on port 8088, answers /health (200) and /stats (200) and /v1/messages/count_tokens (200), and all 316 tests in the test suite pass. 8분.

통합 가드레일을 갖춘 초고속 AI Gateway. 1,600개 이상의 LLM과 50개 이상의 AI 가드레일을 1개의 빠르고 친숙한 API로 라우팅합니다.

테스트 결과: npm install and build succeed, the Node.js server starts on port 8787 and responds 200 on /v1, 170 unit tests pass. 30분.

TokenHub는 기업에 AI 모델 접근과 거버넌스를 통합하는 프라이빗 게이트웨이를 제공하여 모든 요청을 제어 가능하고 추적 가능하며 귀속 가능하게 만듭니다.

테스트 결과: TokenHub Go backend built and launched on :8080 with SQLite, serving health/liveness/readiness at HTTP 200 and an OpenAPI spec with 21 endpoints. Frontend builds and all 521 tests pass. Backend non-server test suite passes. 178 repo gate tests pass. 37분.

CLIProxyAPI OAuth 프록시를 통한 Claude 계정, Gemini, Copilot, OpenRouter(300+ 모델) 간 전환. 시각적 대시보드, 원격 프록시 지원, WebSearch 폴백. 제로 구성에서 프로덕션 준비까지.

테스트 결과: The project builds, the ccs CLI launches without config errors, and the tool-sanitization proxy plus related integration tests (75 tests across 5 files) pass cleanly. 18분.

LLM 및 AI agent 애플리케이션을 평가, 관찰, 개선하기 위한 오픈 소스 엔드투엔드 플랫폼. 트레이싱 · 평가 · 시뮬레이션 · 데이터셋 · 게이트웨이 · 가드레일. 자체 호스팅이 가능합니다. Apache 2.0.

테스트 결과: Frontend dependencies installed with yarn, unit and integration tests pass (11/11) using jsdom environment. Backend dependencies installed via uv sync (441 packages). Django 5.1.8 and Django REST framework import correctly. Backend cannot fully start or run tests without Docker for PostgreSQL, ClickHouse, Redis, and... 50분.

클라우드 네이티브, 초고성능 AI&API 게이트웨이, LLM API 관리, 분배 시스템, 오픈 플랫폼. 모든 AI API 지원, OpenAI, Azure, Anthropic Claude, Google Gemini, DeepSeek, 字节豆包, ChatGLM, 文心一言, 讯飞星火...

테스트 결과: APIPark binary builds, starts on port 8288 with MySQL and Redis, serves HTTP 200 JSON API responses and embedded index.html, auto-creates all database tables, and passes 4 test packages. 57분.

Go로 작성한 AI 게이트웨이 / AI 컨트롤 플레인 / AI 프록시. OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM 등을 위한 통합 OpenAI 호환 및 Anthropic 호환 API. 관측 가능성, 안전장치, 스트리밍, 비용 추적...

테스트 결과: GoModel v0.0.0-test binary compiles, all unit and e2e tests pass, server starts and responds 200 on /health and /admin/dashboard endpoints with 601 models listed. 8분.

GitHub Copilot, OpenAI Codex, OpenCode Go, 그리고 OpenAI 및 Anthropic API 호환성을 갖춘 서드파티 AI provider 게이트웨이입니다.

테스트 결과: Project builds with bun run build, all 950 tests pass, and the server starts and responds 200 on /v1/models, /v1/chat/completions, /, and /usage with a mock upstream providing valid response data. 17분.

Lynkr는 Claude Code CLI를 사용한 효율적인 코드 상호작용을 위한 HTTP 프록시 역할을 하는 CLI 도구로, 워크플로를 간소화합니다.

테스트 결과: Server starts, responds to health checks with 200, and 1555 unit/integration tests pass across routing, compression, memory, caching, rate-limiting, and telemetry modules with mock credentials. 31분.

Rust로 작성한 오픈 소스 LLM 게이트웨이입니다. OpenAI, Anthropic, Gemini 및 모든 다른 공급업체를 위한 단일 엔드포인트입니다. 모든 SDK, 모든 모델, 모든 도구를 지원합니다.

테스트 결과: respan-gateway 0.3.0 Python package installed and verified working against a mock provider; Rust binary v0.2.0 built from source and all 692 unit tests pass. 10분.

쉽게 할 수 있는 LLM 및 머신러닝

테스트 결과: sagify 0.25.4 installed in a Python 3.12 virtual environment. CLI responds to --help with 7 command groups (build, cloud, configure, init, llm, local, push) and all 63 existing pytest unit tests pass. 14분.

프록시 복구, 격리, 마이그레이션, 운영 UI를 포함한 Grok2API 및 CPA 이그레스 품질 가드

테스트 결과: from_residential.py passes all 5 tests. quality_guard.py parses CLI args and validates bootstrap config. All Python sources compile. Patches are syntactically valid but target the grok2api tree. 4분.

각 agent 실행 비용을 측정하고 예산을 고갈시키기 전에 폭주 프로세스를 종료하는 로컬 우선 LLM 프록시. 무료, MIT.

테스트 결과: RelayPlane proxy v1.9.64 builds from source, starts on port 4100/4101/4102, answers HTTP 200 on /health, CLI --help works, and 125 of 138 test files pass (1769 of 1832 tests). The 13 failing files are content/marketing-site/CI-workflow/test suites that require files from a monorepo structure not present in this... 19분.

OpenAI 호환 제공자를 위한 유연한 구성을 갖춘 동적 모델 탐색용 범용 OpenCode plugin

테스트 결과: npm run build passes all 343 tests under Node 22.22.0, the compiled plugin loads and is active in OpenCode v2.2.5, discovers two models from a local OpenAI-compatible mock, and completes an authenticated Hello chat turn using mock/alpha. 17분.

digiRunner: Microservices를 위한 API Gateway

테스트 결과: digiRunner compiles via Gradle bootJar, the standalone JAR starts and serves the admin UI on port 18080/18081 with H2 in-memory database and JWKS endpoint returning valid RSA256 keys. 10분.

AI Gateway | AI 네이티브 API 게이트웨이

테스트 결과: Go controller binary and hgctl CLI build and respond to help; all Go unit tests pass (26 packages); WASM AssemblyScript SDK builds both debug and release wasm binaries. 15분.

agent 시스템용 모델 라우터. 모든 prompt를 <50ms 내에 올바른 모델로 라우팅합니다. 단지 엔드포인트 변경만으로 비용을 40-70% 절감합니다.

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 14분.

이미 결제하고 있는 Claude 및 ChatGPT 플랜을 통해 Claude Code, Cursor, Cline, Aider, Codex CLI 및 SDKs를 라우팅하는 One 로컬 엔드포인트: 시트를 우선으로 하고, 그다음 사용자가 구성하는 폴백 체인, 그리고 누가 지불했는지에 대한...

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 4분.

에이전트 워크로드를 위한 탄력적 추론, 원하는 방식으로

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 37분.

비공개 RAG, 자연어 데이터 접근, 도구 호출 agents를 위한 자체 호스팅 AI 게이트웨이

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 28분.

AI Agents와 MCP 서버를 위한 차세대 Agentic Proxy

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 87분.

Envoy Gateway 기반 Generative AI Services에 대한 통합 액세스 관리

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다. 87분.