Mã nguồn mở LLM gateways, được cài đặt và chạy

Lập trình AI MIỄN PHÍ không giới hạn. Kết nối Claude Code, Codex, Cursor, Cline, Copilot, Antigravity với Claude/GPT/Gemini MIỄN PHÍ qua hơn 40 nhà cung cấp...

Kết quả test: Root npm install completed, npm run build succeeded, the standalone Next.js app serves the login page (200), models API (200 with JSON model list), and version endpoint (200), and the test suite runs 2562 passing tests. 42 phút.

Giải pháp AI tất cả trong một, đa khách hàng thế hệ mới. Hệ thống quản trị và thanh toán tích hợp sẵn. Cổng LLM hợp nhất cấp doanh nghiệp hỗ trợ hơn 200 mô...

Kết quả test: CoAI.Dev builds and runs on port 8094 using SQLite (no MySQL) and a fake Redis mock, with login, user info, admin analytics, quota, subscription, channel management, and model listing endpoints all responding correctly. 18 phút.

Cổng AI tự lưu trữ cho các thiết lập đa kênh, đa chứng thực: khóa API và tài khoản đăng ký, lập lịch, chuyển đổi dự phòng, nhật ký yêu cầu và mức sử dụng.

Kết quả test: GPT-Load 2.0 binary builds, web UI compiles, server starts on 127.0.0.1:3001, health endpoint returns HTTP 200, auto-generates AUTH_KEY, and shuts down gracefully with all database migrations completed and catalog synced. 8 phút.

Plano là một proxy server và data plane AI-native cho các ứng dụng agentic. Định tuyến LLM thông minh, khả năng quan sát, điều phối agent, và các guardrails...

Kết quả test: Plano native mode starts, health endpoint returns 200, CLI reports version 0.4.36, all Rust and Python tests pass. 21 phút.

Một bảng điều khiển quản lý CPA / CLIProxyAPI tự lưu trữ và bảng quan sát cổng AI cho các yêu cầu, mức sử dụng, chi phí, hạn mức, lỗi và tình trạng tài khoản.

Kết quả test: CPA Manager Plus web app installs, builds, type-checks, and runs all 4156 web tests passing; repo-level tests pass 256/257. The dev server serves the management panel on port 5173 and returns HTTP 200. 12 phút.

KrakenD Community Edition: API Gateway hiệu suất cao, không trạng thái, khai báo, được viết bằng Go.

Kết quả test: KrakenD v2.13.11 binary built, all 58 integration tests pass, server listens on port 8080 and responds to /__health with 200. 4 phút.

Bộ định tuyến LLM tự lưu trữ với lưới an toàn được quản lý. Tương thích OpenAI. BYOK. Không gian làm việc đơn. Streaming. Để định tuyến nâng cao hơn, hãy chọn...

Kết quả test: OrcaRouter Lite installs from source, all 703 tests pass, the server starts on port 8000, seeds a workspace+key, and serves /health, /v1/models with auth gating. 7 phút.

1 nơi để gọi tất cả các agent của bạn: OpenCode, Hermes, Claude Managed Agents, Cursor Agents API, DeepAgents.

Kết quả test: The LiteLLM Agent Control Plane Rust binary compiles from source, its full test suite passes (211 passed, 0 failed, 7 ignored for missing live credentials), the server starts on port 4000, /health returns 200, and /v1/models returns configured models. 8 phút.

Cổng AI tự lưu trữ cho các CLI lập trình: một endpoint tương thích với OpenAI/Claude/Gemini/Codex, với bảng điều khiển web đa người thuê, nhật ký yêu cầu và...

Kết quả test: With user-compiled PostgreSQL 16.8 and Redis 7.2.5 and remote-management.disable-control-panel set, the CliRelay server (built from this repo) runs on 127.0.0.1:8317 answering /healthz 204, /v1/models 200 and /v1beta/models 200, and the full test suite passes when run sequentially (go test -p 1 -count=1 ./... exit 0... 37 phút.

ReachAI, nền tảng phát triển agent cấp doanh nghiệp: nhanh chóng và an toàn đưa AI vào các hệ thống doanh nghiệp hiện có, cho phép AI truy vấn dữ liệu, điền...

Kết quả test: Backend builds cleanly and all 2246 unit/integration tests pass across 9 Maven modules. Frontend builds with npm run build and 453 of 454 vitest tests pass across 10 test suites (1 pre-existing timezone-dependent dashboard test fails in UTC). 34 phút.

Thay thế mã nguồn mở thuần AI cho Vercel + Sentry + PostHog + Pingdom + Resend + E2B. 440+ thao tác CLI với drop-in skills cho Claude Code, Codex & OpenCode...

Kết quả test: Temps built from source runs a control-plane server on 127.0.0.1:8081 against a Postgres 17.4 + TimescaleDB/pgvector/pg_tsparser mock database, serves /health 200 and an authenticated API that created and listed a real project; all 276 database migrations and the web console build complete successfully. 85 phút.

AI gateway mã nguồn mở bạn tự vận hành. Một endpoint cho 40+ nhà cung cấp, với khóa ảo, ngân sách, và theo dõi sử dụng.

Kết quả test: The Otari LLM gateway installed from source with uv, boots as a standalone server on port 8000 serving the management API, bootstrap, health, docs, OpenAPI spec, and tutorial root page, and the OSS edition smoke test exercises all key lifecycle stages (health, bootstrap, user/keys, providers, routing, completions... 20 phút.

Gemini web → OpenAI-compatible và native Gemini API, tự lưu trữ, không cần API key. Gemini 4 Argon từ cookie tài khoản trả phí, strict_model (429 thay vì giảm...

Kết quả test: gemini-web2api-go v4.20.1 compiles, starts on port 8083, answers health check at / returning status ok, serves 2 models (gemini-3.5-flash-lite, gemini-3.6-flash) at /v1/models, processes chat completions at /v1/chat/completions with real Gemini responses, and exposes an admin UI at /admin with token auth, all 58 tests... 7 phút.

AI Gateway và LLM Gateway mã nguồn mở nhanh nhất. Một tệp nhị phân duy nhất có sẵn bảng điều khiển để định tuyến, bảo mật, quản lý ngân sách và theo dõi mọi...

Kết quả test: The Antirion AI gateway builds from source, its test suite passes 1044/1044 tests, the binary starts in standalone mode with the embedded store, and successfully routes a chat completion request through a provider, deployment, model, and key to a mock upstream and back with HTTP 200. 16 phút.

Xem mọi AI coding agent trên máy của bạn đang làm gì, và liệu API đằng sau nó có phải là cái bạn đã trả tiền hay không. Claude Code, Codex, Cursor, Gemini CLI...

Kết quả test: Server binary installed via curl|bash and starts on localhost:17000; sign-in (admin/123), API endpoints, relay token, provider CRUD, and LLM relay (non-stream and streaming) all verified end-to-end with a mock OpenAI upstream returning HTTP 200 with correct response body. 10 phút.

Cổng nội bộ (local gateway) cho Claude Code, Codex và các AI client khác trên macOS, Windows và Linux: chuyển đổi upstream mà không cần chạm vào client, giữ...

Kết quả test: Frontend builds successfully (vite), vitest suite passes 611/611 tests, Rust crate tw-adopt passes 67/67 tests, Rust crate tw-scan passes 35/35 tests; the main Tauri desktop binary is blocked by missing glib2/gtk3/webkit2gtk development packages that cannot be installed without root. 8 phút.

Một cổng AI cục bộ dành cho các AI agent, hợp nhất các gói đăng ký và nhà cung cấp API của bạn với định tuyến thông minh và bảo vệ quyền riêng tư trên thiết bị.

Kết quả test: AstrLink core gateway builds, launches with control-token-stdin, authenticates via control API, creates access tokens, and responds to inference requests with correct routing errors. All 37 Go packages pass tests (normal + race), 1739 frontend tests pass, and both Rust workers compile cleanly. 18 phút.

Proxy riêng tư cho các yêu cầu OpenAI của bạn

Kết quả test: Installed and verified: Go backend builds and serves /health 200 with the quantized ONNX PII model loaded, masks real emails end-to-end via /api/pii/check, Unix desktop Electron app launches and stays running on the virtual display, Python (2 passed) and Go (512 passed) unit suites are green, and the frontend... 27 phút.

Cổng API AI tự lưu trữ cho Claude Code, Codex và Gemini: gộp các khóa API và tài khoản đăng ký sau một endpoint với failover, chuyển đổi giao thức và theo dõi...

Kết quả test: Binary builds, server starts and listens on :8080, health endpoint returns 200, admin login/auth flow works, all 49 Go test packages pass, all 284 JS frontend tests pass, model catalog syncs 244 models from models.dev. 10 phút.

Gateway quyền riêng tư cho LLM viết bằng Go, che giấu PII và thông tin bí mật với độ trễ mili-giây. Được PackyCode sử dụng trong môi trường production.

Kết quả test: Both binaries build, all 3153+28 tests pass, HTTP server serves /health /redact /redact/batch correctly with 221 gitleaks rules loaded, gRPC server starts on :8089, and benchmarks show sub-ms latency on 2KB text. 3 phút.

Cổng LLM thống nhất với cân bằng tải có trọng số, khả năng quan sát và theo dõi chi phí.

Kết quả test: The LLMIO Go server builds, the webui builds via pnpm, all 31 Go unit tests pass, and the server starts on :7070 serving the webui and responding to all API endpoints. 16 phút.

Bảng điều khiển (control plane) và console quan sát sử dụng tự lưu trữ cho CLIProxyAPI (CPA), bao gồm: AI providers, client keys, streaming telemetry, và model...

Kết quả test: The binary builds, all Go packages test pass, the full frontend builds and embeds, the app serves the SPA and health endpoint with status ok in both demo mode (in-process fixture) and non-demo mode (with a mock CPA answering the v8 API probe). 16 phút.

Trình tạo tài khoản ChatGPT/GPT｜Trình tạo tài khoản Grok｜Đăng ký hoàn toàn tự động bằng giao thức thuần túy, hỗ trợ OAuth, nhận mã xác minh qua email, kho tài...

Kết quả test: Backend server starts cleanly, responds to authenticated requests on /v1/models with a full model list, auth enforcement works correctly, and all 623 Python tests pass. 14 phút.

AI Gateway thống nhất cho hơn 30 LLM (OpenAI, Anthropic, Bedrock, Azure, v.v.) với Caching, Guardrails, A/B test và kiểm soát chi phí. AI Gateway gốc Go nhanh...

Kết quả test: Go 1.25.14 installed from tarball, ferrogw binary built at 42 MB binary, server starts and responds 200 on /livez, /readyz, and /health, 'go test' over all 89 packages passes with zero failures, 'ferrogw validate' confirms config valid. 10 phút.

Chỉ đọc; hãy đóng góp trên Forgejo. Mặt phẳng điều khiển thực thi cho các AI agent. Quản lý mọi yêu cầu mô hình, lời gọi công cụ MCP, ủy quyền A2A và hành động...

Kết quả test: Busbar 1.5.5 builds, passes its full test suite (3085 unit tests), validates a minimal config, and serves /healthz (200), /stats (valid JSON), /v1/models (model list), admin /auth, and admin /models endpoints on both the data (:8090) and admin (:8091) listeners. 14 phút.

Nơi mưa rơi, ký ức sẽ lại nở hoa. Cổng trò chuyện và bộ nhớ dài hạn AI có thể tự triển khai. Cổng trò chuyện và bộ nhớ AI tự triển khai cho các cuộc hội thoại...

Kết quả test: Serein installs and builds in a clean venv, the Python suite runs 2178 passed with the web suite 130 passed, and the local memory and gateway services answer /ready and /health with 200 while unauthenticated root returns 401. 87 phút.

Một hệ thống Quản lý danh tính và truy cập (IAM) mã nguồn mở ưu tiên agent / gateway LLM MCP & agent và máy chủ xác thực, có giao diện web, hỗ trợ OpenClaw...

Kết quả test: Casdoor server runs on port 8000 with SQLite, frontend serves index.html (200), login authenticates admin/123 via JSON API, OpenID Connect configuration endpoint returns valid metadata, and the API returns organization and user data from the demo seed. 14 phút.

Cổng nén không phá hủy dành cho AI coding agent. Giảm chi phí token 25% ở lượt 1 và hơn 85% trong các phiên dài hoặc bão hòa, đồng thời chứa được nhiều hơn ~3×...

Kết quả test: Python package installed in a venv, the proxy serves on port 8088, answers /health (200) and /stats (200) and /v1/messages/count_tokens (200), and all 316 tests in the test suite pass. 8 phút.

Một AI Gateway cực nhanh với guardrails tích hợp. Định tuyến đến 1,600+ LLM, 50+ AI Guardrails với 1 API nhanh và thân thiện.

Kết quả test: npm install and build succeed, the Node.js server starts on port 8787 and responds 200 on /v1, 170 unit tests pass. 30 phút.

TokenHub cung cấp cho doanh nghiệp một cổng riêng tư để thống nhất quyền truy cập và quản trị mô hình AI, giúp mọi yêu cầu đều có thể kiểm soát, theo dõi và...

Kết quả test: TokenHub Go backend built and launched on :8080 with SQLite, serving health/liveness/readiness at HTTP 200 and an OpenAPI spec with 21 endpoints. Frontend builds and all 521 tests pass. Backend non-server test suite passes. 178 repo gate tests pass. 37 phút.

Chuyển đổi giữa các tài khoản Claude, Gemini, Copilot, OpenRouter (300+ mô hình) qua CLIProxyAPI OAuth proxy. Bảng điều khiển trực quan, hỗ trợ proxy từ xa...

Kết quả test: The project builds, the ccs CLI launches without config errors, and the tool-sanitization proxy plus related integration tests (75 tests across 5 files) pass cleanly. 18 phút.

Nền tảng mã nguồn mở, end-to-end để đánh giá, quan sát và cải thiện các ứng dụng LLM và AI agent. Tracing · Evals · Simulations · Datasets · Gateway ·...

Kết quả test: Frontend dependencies installed with yarn, unit and integration tests pass (11/11) using jsdom environment. Backend dependencies installed via uv sync (441 packages). Django 5.1.8 and Django REST framework import correctly. Backend cannot fully start or run tests without Docker for PostgreSQL, ClickHouse, Redis, and... 50 phút.

Cổng AI&API cloud native, hiệu năng cực cao, quản lý API LLM, hệ thống phân phối, nền tảng mở, hỗ trợ tất cả API AI. Cổng AI&API cloud native, hiệu năng cực...

Kết quả test: APIPark binary builds, starts on port 8288 with MySQL and Redis, serves HTTP 200 JSON API responses and embedded index.html, auto-creates all database tables, and passes 4 test packages. 57 phút.

AI gateway / AI control plane / AI proxy viết bằng Go. API thống nhất tương thích OpenAI và Anthropic cho OpenAI, Anthropic, Gemini, Groq, xAI, Ollama, vLLM và...

Kết quả test: GoModel v0.0.0-test binary compiles, all unit and e2e tests pass, server starts and responds 200 on /health and /admin/dashboard endpoints with 601 models listed. 8 phút.

GitHub Copilot, OpenAI Codex, OpenCode Go, và cổng kết nối nhà cung cấp AI bên thứ ba tương thích với API OpenAI và Anthropic.

Kết quả test: Project builds with bun run build, all 950 tests pass, and the server starts and responds 200 on /v1/models, /v1/chat/completions, /, and /usage with a mock upstream providing valid response data. 17 phút.

Tinh gọn quy trình làm việc của bạn với Lynkr, một công cụ CLI hoạt động như một HTTP proxy để tương tác mã hiệu quả bằng cách sử dụng Claude Code CLI.

Kết quả test: Server starts, responds to health checks with 200, and 1555 unit/integration tests pass across routing, compression, memory, caching, rate-limiting, and telemetry modules with mock credentials. 31 phút.

LLM gateway mã nguồn mở bằng Rust. Một endpoint cho OpenAI, Anthropic, Gemini và mọi nhà cung cấp khác. Bất kỳ SDK, mô hình, công cụ nào.

Kết quả test: respan-gateway 0.3.0 Python package installed and verified working against a mock provider; Rust binary v0.2.0 built from source and all 692 unit tests pass. 10 phút.

LLMs và Machine Learning trở nên dễ dàng

Kết quả test: sagify 0.25.4 installed in a Python 3.12 virtual environment. CLI responds to --help with 7 command groups (build, cloud, configure, init, llm, local, push) and all 63 existing pytest unit tests pass. 14 phút.

Grok2API & CPA egress quality guard với khôi phục proxy, cách ly, migration và giao diện vận hành.

Kết quả test: from_residential.py passes all 5 tests. quality_guard.py parses CLI args and validates bootstrap config. All Python sources compile. Patches are syntactically valid but target the grok2api tree. 4 phút.

Proxy LLM ưu tiên cục bộ, đo lường chi phí của mỗi lần chạy agent và chặn các tác vụ chạy quá mức trước khi chúng làm cạn kiệt ngân sách của bạn. Miễn phí, MIT.

Kết quả test: RelayPlane proxy v1.9.64 builds from source, starts on port 4100/4101/4102, answers HTTP 200 on /health, CLI --help works, and 125 of 138 test files pass (1769 of 1832 tests). The 13 failing files are content/marketing-site/CI-workflow/test suites that require files from a monorepo structure not present in this... 19 phút.

Một plugin OpenCode phổ quát để khám phá mô hình động với cấu hình linh hoạt cho các nhà cung cấp tương thích OpenAI.

Kết quả test: npm run build passes all 343 tests under Node 22.22.0, the compiled plugin loads and is active in OpenCode v2.2.5, discovers two models from a local OpenAI-compatible mock, and completes an authenticated Hello chat turn using mock/alpha. 17 phút.

digiRunner: API Gateway của bạn cho Microservices

Kết quả test: digiRunner compiles via Gradle bootJar, the standalone JAR starts and serves the admin UI on port 18080/18081 with H2 in-memory database and JWKS endpoint returning valid RSA256 keys. 10 phút.

AI Gateway | API Gateway thuần AI

Kết quả test: Go controller binary and hgctl CLI build and respond to help; all Go unit tests pass (26 packages); WASM AssemblyScript SDK builds both debug and release wasm binaries. 15 phút.

Model router cho hệ thống agent. Định tuyến mọi prompt tới model phù hợp trong <50ms. Cắt giảm chi phí 40-70% chỉ với một thay đổi endpoint.

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 14 phút.

Một endpoint cục bộ định tuyến Claude Code, Cursor, Cline, Aider, Codex CLI và các SDK thông qua các gói Claude và ChatGPT mà bạn đã trả phí: seats trước, sau...

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 4 phút.

elastic inference cho các tác vụ agentic của bạn, theo cách của bạn

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 37 phút.

Cổng AI tự lưu trữ cho RAG riêng tư, truy cập dữ liệu bằng ngôn ngữ tự nhiên và các agent gọi công cụ.

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 28 phút.

Agentic Proxy thế hệ mới cho AI Agents và MCP servers

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 87 phút.

Quản lý truy cập thống nhất tới các dịch vụ AI tạo sinh được xây dựng trên Envoy Gateway

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu. 87 phút.