Outils open source de scraping web, installés et exécutés

Cloner n'importe quel site web avec une seule commande en utilisant des AI coding agents

Ce que le test a constaté : Next.js 16.3.0 project builds, typechecks, and serves HTTP 200 on the root route via npm run dev. 4 minutes.

Framework élégant de scraping et de crawling pour Golang

Ce que le test a constaté : The Colly module builds, vets, passes its full unit and race test suites, its CLI prints help, and its scraper successfully crawled a local mock site end to end. 14 minutes.

Un framework de nouvelle génération pour l'exploration et l'indexation.

Ce que le test a constaté : katana v1.7.0 is installed, resolves from a fresh login shell, crawls HTTP sites in standard and headless modes, and its unit, functional, and integration suites pass. 7 minutes.

Convertissez les sites de documentation, les dépôts GitHub et les PDF en compétences Claude AI avec détection automatique des conflits

Ce que le test a constaté : skill-seekers 3.10.0.dev0 installed and all 3857 unit/adaptor/scraper tests pass without external API keys or network dependencies. 6 minutes.

newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée:

Ce que le test a constaté : newspaper3k 0.3.0 installs in a virtualenv on Python 3.12, all 40 unit tests pass, and core Article download/parse/nlp pipeline produces correct output from static HTML. 4 minutes.

Automatisation et test de navigateur sans limites. Le mode CDP de SeleniumBase contourne la détection de bots avec facilité. Découvrez les exemples!

Ce que le test a constaté : SeleniumBase 4.54.7 is installed in a Python 3.12 venv; 8 framework unit tests, 7 offline HTML tests, and 2 real web tests passed using headless Chrome 154. 5 minutes.

Plateforme d'administration distribuée pour la gestion de robots d'exploration web, indépendamment des langages et des frameworks.

Ce que le test a constaté : Crawlab v0.6.3 backend compiles, starts as master node, connects to MongoDB, and serves its REST API on port 8000 (system-info, login, nodes, spiders, tasks, users, stats endpoints confirmed reachable). 67 minutes.

Un framework évolutif de robot d'exploration web pour Java.

Ce que le test a constaté : The webmagic project compiles and passes all 108 tests with JDK 22 and Maven 3.9.9. Tests exercise real HTTP downloads from github.com (e.g. GithubRepoPageProcessorTest downloads and processes 1 page), SSL compatibility checks, XPath/CSS/regex selectors, file pipeline, proxy providers, duplicate-removal scheduling... 13 minutes.

Crawlee: une bibliothèque d'extraction de données web et d'automatisation de navigateur pour Python, permettant de construire des robots d'exploration fiables...

Ce que le test a constaté : Dependencies installed with uv sync --all-extras, Playwright browsers (chromium + firefox) downloaded, all 2480 unit tests pass, lint and type-check pass, and the package builds and imports successfully at version 1.10.3. 8 minutes.

Une automatisation web plus légère avec Python

Ce que le test a constaté : Helium 7.0.3 installed from source via pip install -e . Selenium 4.49.0 with Chrome 154 headless via Selenium Manager; all 332 tests pass with 2 regressions fixed (date input JS fallback, subprocess module discovery). 33 minutes.

Python API pour JMComic | Fournit une API Python pour accéder à 禁漫天堂, prenant en charge à la fois le web et le mobile | Téléchargeur 禁漫天堂 GitHub Actions

Ce que le test a constaté : Package jmcomic 2.7.7 installed in a Python 3.12.3 venv with all dependencies; 238/240 tests pass including real network calls against JMComic API servers; CLI commands jmcomic and jmv produce correct help output. 10 minutes.

Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web: exploration, scraping, extraction, sortie en CSV, JSON, HTML, MD...

Ce que le test a constaté : Trafilatura 2.2.0 is installed in editable mode in a .venv, all 428 tests pass, and both CLI and Python extraction work correctly on sample HTML input. 6 minutes.

Liaison Python pour le fork curl-impersonate via cffi. Un client HTTP capable d'imiter les empreintes TLS/ja3/http2 du navigateur.

Ce que le test a constaté : After installing the pre-built curl-cffi wheel (v0.16.3) into a fresh venv, the library imports, the CLI runs (curl-cffi get, doctor, --help), real HTTP requests with browser impersonation return 200, and the unit test suite passes 600+ tests across all 20 test modules including sync/async HTTP, websockets... 38 minutes.

Langage déclaratif d'automatisation de données et runtime Go pour des flux de travail d'extraction structurée.

Ce que le test a constaté : Go 1.27.1 installed, all dependencies resolved, all 68 test packages pass with race detection, CLI binary compiles and runs FQL queries end-to-end. 7 minutes.

Composants basés sur Redis pour Scrapy.

Ce que le test a constaté : scrapy-redis 0.9.1 is installed in a venv at /work/repo/.venv with real Redis 6.2 running on localhost:6379; all 102 tests pass covering connection pooling, dupefilter, queue (FIFO/LIFO/priority), scheduler, spider setup, idle backoff, multi-key consumption, and utility modules. 9 minutes.

Un scraper Node.js pour les humains.

Ce que le test a constaté : scrape-it installs, builds, and passes its full test suite on Node 18.19.1 with cheerio pinned to 1.0.0. 3 minutes.

Chaque site web fournit des APIs.

Ce que le test a constaté : toapi 2.2.4 installed from source, all 7 tests pass, CLI help works, Flask server answers 200 with JSON, version 2.2.4 confirmed. 2 minutes.

Automatisation furtive du navigateur pour les agents IA via MCP et le protocole Chrome DevTools: navigation, hooks réseau, extraction DOM et clonage...

Ce que le test a constaté : Stealth Browser MCP server runs on stdio transport, spawns a headless Chromium 157.0.8086.0, navigates to data URLs, extracts page HTML content, and closes cleanly -- all via MCP protocol over stdio. 15 minutes.

PHP Curl Class facilite l'envoi de requêtes HTTP et l'intégration avec des API web.

Ce que le test a constaté : php-curl-class repository is fully installed with PHP 8.5.8 static binary and all Composer dependencies; the full test suite passes with 264 tests and 23390 assertions and zero failures. 43 minutes.

Scraper Node.js pour obtenir des données depuis Google Play

Ce que le test a constaté : The google-play-scraper npm package installs, all 84 tests pass against live Google Play, and the library's app/list/search/suggest/developer/reviews/similar/permissions/datasafety/categories methods all fetch and parse real data correctly. 8 minutes.

owllook-moteur de recherche de romans

Ce que le test a constaté : The owllook web server launches on port 8001 and responds with 200 HTTP status on /, /novels/search, /novels/top, /api/search, and /health routes, with real HTML content, connecting to running Redis and MongoDB instances. The existing pytest test suite passes (1 passed, 0 failed). 15 minutes.

https://spatie.be/docs/crawler

Ce que le test a constaté : PHP 8.4.23 and Composer 2.7.1 installed from static binaries, all dependencies resolved via `composer update --prefer-stable`, and the full test suite passes (229/229) including both fake-HTTP unit tests and real-HTTP integration tests against a local PHP server. 6 minutes.

Collecte de données web à faible latence en Rust

Ce que le test a constaté : Rust 1.99.0 installed, cargo build succeeds, spider CLI binary crawls and scrapes example.com returning status 200 and expected page content, all 608 spider core tests pass, workspace-wide crate tests all pass. 56 minutes.

Geziyor, framework d'exploration et d'extraction web ultra-rapide pour Go. Prend en charge le rendu JS.

Ce que le test a constaté : The Geziyor web scraping framework builds and passes every test across all 7 packages, and a compiled demo successfully scraped a live website. 16 minutes.

Robot d'exploration web léger et facile à utiliser（易用的轻量化网络爬虫）

Ce que le test a constaté : Build succeeded (mvn compile, package, test-compile all exit 0); demo crawler successfully fetched and parsed https://www.baidu.com/, producing JSON output. 5 minutes.

CrawlerDetect est une classe PHP pour détecter les bots, crawlers et spiders via le user agent.

Ce que le test a constaté : The CrawlerDetect PHP library installs, builds, and passes its full test suite of 28 tests with 170,886 assertions on PHP 8.0.30. 5 minutes.

Website Cloner - Utilise de puissantes Go routines pour cloner des sites web sur votre ordinateur en quelques secondes.

Ce que le test a constaté : goclone binary builds from source, all 9 test suites across 3 packages pass, the built binary's help and version commands print correct output. 11 minutes.

Framework de web crawling basé sur asyncio.

Ce que le test a constaté : All 7 tests pass, ruff lint passes, library imports correctly, and item attribute extraction from HTML produces expected results. 1 minute.

Bibliothèque de crawler Node.js flexible

Ce que le test a constaté : x-crawl library builds successfully; its crawlData, crawlHTML, async/sync modes, baseUrl, timeout, errorCollect, proxy rotation, and Puppeteer browser APIs work correctly against a real HTTP server and CONNECT proxy. 34 minutes.

Micro-framework de scraping web asynchrone pour Python 3.6+, basé via asyncio

Ce que le test a constaté : Ruia 0.8.5 is installed in a Python 3.12 venv with uvloop; pip install -e .[uvloop] succeeds; 66 of 67 tests pass including all field extraction, item parsing, middleware, request fetching, and spider orchestration tests against live httpbin.org and news.ycombinator.com. 22 minutes.

Liaison Python pour les moteurs Modest et Lexbor. Analyseur HTML5 rapide avec sélecteurs CSS pour Python.

Ce que le test a constaté : selectolax C extension successfully built, installed in a venv, all 279 tests passing, and basic HTML parsing + CSS selector usage verified. 4 minutes.

Version Python Undetected de la bibliothèque de test et d'automatisation Playwright.

Ce que le test a constaté : Patchright 1.63.0 is installed, Chromium browser is downloaded and launchable, the CLI reports its version, and 2237 of 2239 Chromium tests pass (sync + async). 37 minutes.

Un client HTTP Python ergonomique et respectueux de la vie privée.

Ce que le test a constaté : wreq Python package builds, installs, and passes all 57 unit tests against a local httpbin server, supporting HTTP/1.1 and HTTP/2 requests, cookie jars, redirect policies, TLS emulation (JA3/JA4), multipart uploads, streaming, and compression. 15 minutes.

Crawler/scraper web léger en Ruby avec un DSL élégant qui extrait des données structurées des pages.

Ce que le test a constaté : Wombat 3.3.0 builds and installs as a gem under Ruby 3.2.3, all 56 RSpec tests pass, and a live Wombat.crawl scrape of a local WEBrick page returns correctly parsed structured data. 12 minutes.

Beanbun est un framework de crawler web multiprocessus écrit en PHP, offrant une bonne ouverture et une haute extensibilité, basé sur Workerman.

Ce que le test a constaté : Beanbun 1.0.4 with vendored workerman and guzzle dependencies. PHP 8.3.6 extracted from apt. All source and vendor files parse without errors. Framework class instantiation, configuration, and all Helper methods (randUserAgent, formatUrl, getUrlByHtml) verified working. 16 minutes.

Newspaper4k, un fork du très apprécié Newspaper3k. Extraction d'articles, de titres et de métadonnées à partir de sites d'actualités.

Ce que le test a constaté : newspaper4k 0.9.6 is pip-installed and editable in /work/repo/venv; CLI runs (help + real article extraction into JSON), 234 tests pass with 2 deselected stale summarization fixtures and 5 external-site failures; package state is clean working tree. 38 minutes.

Un robot d'exploration web évolutif, mature et polyvalent basé sur Apache Storm

Ce que le test a constaté : Apache StormCrawler 4.0.0-SNAPSHOT builds from source (mvn clean install) and its full test suite passes 983 tests with zero errors and zero failures on Java 26 Temurin with Maven 3.10.0. 15 minutes.

SiteOne Crawler est un explorateur et analyseur de sites web multiplateforme pour le SEO, la sécurité, l'accessibilité et l'optimisation des performances...

Ce que le test a constaté : siteone-crawler 2.7.0.20260925-dev builds cleanly with cargo build --release, its offline test suite passes with 1673 passed and 0 failed, and the binary crawls a local HTTP server end to end returning HTTP 200 for both pages and generating an HTML report. 16 minutes.

Lecteur de contenu universel MCP Server pour 10+ plateformes

Ce que le test a constaté : x-reader installs in a fresh venv, all 10 tests pass, the CLI fetches real tweets/RSS/web content into the inbox, and the MCP server serves working stdio and SSE transports. 10 minutes.

API asynchrone haute performance pour Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X), Captcha Solver(验证码解决器)...

Ce que le test a constaté : SDK installs, all 110 tests pass, CLI prints version and help, type-check and lint are clean, and spec coverage confirms 1010/1010 endpoints are implemented. 1 minute.

Un framework de crawlers multi-thread avec de nombreux crawlers d'images intégrés fournis.

Ce que le test a constaté : icrawler installs in a virtualenv, all 5 built-in crawler tests pass against live services (Google, Bing, Baidu, BBC, Pinterest), and downloaded images are valid media files verifiable by Pillow. 21 minutes.

API HTTP pour les spiders Scrapy

Ce que le test a constaté : scrapyrt 0.18.1 is installed in a Python 3.12 venv with all dependencies. All 126 tests pass (including real end-to-end crawl tests with Flask site, Twisted reactor, and scrapyrt HTTP server). The CLI command scrapyrt --help prints usage correctly. 5 minutes.

Outil d'audit SEO open source.

Ce que le test a constaté : SEOnaut installed from source (Go build OK, frontend CSS built, migrations applied to a local MariaDB) and ran on port 9000, serving sign-in (200), creating a user and project, completing a real crawl of 2 URLs, and rendering the dashboard. 9 minutes.

Éditeur de web scraping alimenté par l'IA avec un constructeur de workflow visuel. Créez, testez et déployez des scrapers web en langage naturel. Propulsé par...

Ce que le test a constaté : ScrapeCraft backend serves all API endpoints on uvicorn, WebSocket connections establish and respond, frontend builds successfully, chat uses real OpenRouter API key, JWT auth works, pipeline CRUD works, scraping endpoints respond. 14 minutes.

NetDiscovery est un framework/middleware de crawling généraliste basé sur Vert.x, RxJava 2 et d'autres frameworks.

Ce que le test a constaté : The full multi-module Gradle build passes (BUILD SUCCESSFUL, 63 tasks), and the NetDiscovery spider engine example ran as a Java process answering HTTP 200 with JSON on port 8715 routes /netdiscovery/health/, /netdiscovery/spiders/, /netdiscovery/spider/tony1/detail, and /netdiscovery/metrics/, while the downloader... 69 minutes.

Récupérer les données de l'utilisateur sur les réseaux sociaux.

Ce que le test a constaté : 8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access. 16 minutes.

FreeProxy: collecte des proxies gratuits depuis internet. (Source mondiale de proxies gratuits de haute qualité en grand nombre, prend en charge le crawling de...

Ce que le test a constaté : pyfreeproxy v0.5.2 installed in /tmp/venv, all 48 proxy sources registered, Proxifly/ProxyScrape/Geonode scrape real proxies successfully, filter rules and ProxiedSessionClient work, JSON export round-trips correctly, free proxies collected but actual proxy requests time out as expected from this container network. 3 minutes.

Web-scraping non détecté & analyse HTML fluide en Python!

Ce que le test a constaté : stealth-requests 2.1.0 installed in a fresh venv, all 64 tests pass, and real requests to httpbin.org succeed with proper Chrome impersonation headers. 1 minute.

Infrastructure web open source pour l'IA. Extrayez, parcourez et automatisez le web, Markdown propre, sessions de navigateur, prête pour vos agents.

Ce que le test a constaté : Reader CLI builds, all 346 unit tests pass, the daemon starts with Playwright's bundled Chromium, and an end-to-end scrape of https://example.com via HTTP returns clean HTML and markdown content with a 200 status. 13 minutes.

Transformez n'importe quel site web en un CLI compact adapté pour les AI agents. Naviguez sur le web en centaines de tokens, pas en dizaines de milliers.

Ce que le test a constaté : only-cli v0.5.8 installs and runs on Node 20.11.1; 263 of 264 tests pass; the CLI fetches, distills, and renders public web pages with token-budgeted output and actionable numbered links. 3 minutes.

Un crawler d'actualités très simple avec un nom amusant.

Ce que le test a constaté : Fundus 0.5.7 installs cleanly in a venv, all 1131 unit tests pass, and the crawler successfully fetches live article data from The New Yorker via HTTP. 3 minutes.

Suivi des prix des billets d'avion auto-hébergé et multi-canal: collecte des détails de vol → envoi de messages 钉钉 avec texte et images → alertes renforcées à...

Ce que le test a constaté : All dependencies installed in venv, Playwright chromium installed, test suite runs 3712 tests all passing, web UI demo server starts and responds with HTTP 200 on its state API endpoint, main.py --version reports 1.5.303. 44 minutes.

Serveur de navigateur anti-détection pour AI agents: REST API encapsulant le moteur Camoufox avec support du plugin OpenClaw

Ce que le test a constaté : Camofox Browser Server builds, starts on port 9998, creates browser contexts via Camoufox Firefox headless, navigates to https://example.com, returns accessibility snapshots, and passes the 677-test full suite with Node.js 20 and rebuilt native addons. 34 minutes.

Un poste de travail de crawl: voir, contrôler et crawler. Solr CrawlDB, Tika, Vue 3.

Ce que le test a constaté : Sparkler is installed with Python 3.12, Solr 10.0.0 on port 8983, Vue UI built and served on port 8180, APIs responding, all 32 unit tests passing. 7 minutes.

Pour les super-individus et les entreprises à une personne, Hydra, le dragon à neuf têtes, construit une base industrielle « militaire » pour l'orchestration...

Ce que le test a constaté : After fixing module-name casing, pinning Lombok 1.18.34, and adding the missing System.Subsystem config block, the Maven build succeeds and the ShadowBoot crawler app boots and runs the README's Void minimum-system demo to completion (exit 0, 'Pinecone Runtime : 136 /ms !'), while the full test suite passes with 48... 9 minutes.

Python CLI pour l'analyse de Google Trends avec limitation de débit avancée, authentification par cookie et superbe sortie de terminal. Construit sur pytrends...

Ce que le test a constaté : trends-checker installs and runs, hitting the real Google Trends API via pytrends (with urllib3 compat patch applied to pytrends request.py), returning real interest data verified at score 42.83 for 'AI agents' in US. 5 minutes.

🇰🇷 한국 정부 지원사업 전수조사 에이전트 스킬 [Claude Code·Codex·agy(Antigravity)·Cursor·Gemini CLI·Grok Build 지원] K-Startup·기업마당·NIPA·KOCCA·SMTECH 크롤링 + 즉시/로드맵/변형 3분류...

Ce que le test a constaté : The project's 229 pytest tests pass, and every CLI crawler (K-Startup, bizinfo, NIPA, KOCCA, SMTECH list and detail, scope_plan, diff_surveys) ran successfully against live Korean government sites, producing real announcement records and detail text. 4 minutes.

Bibliothèque pour le développement rapide de crawlers et scrapers web

Ce que le test a constaté : 1278 of 1278 default unit tests pass, PHP 8.3.32 and Composer installed, Chrome for Testing available, integration server fixed with short_open_tag=Off and 500ms startup delay. 27 minutes.

Zyte Smart Proxy Manager (formerly Crawlera) middleware for Scrapy

Ce que le test a constaté : scrapy-zyte-smartproxy v2.4.1 installed in a Python 3.12 venv; all 82 existing unit tests pass with zero failures. 1 minute.

Un scraper web extrêmement rapide qui analyse des mégaoctets de HTML invalide en un clin d'œil. PHP5.3+, aucune dépendance.

Ce que le test a constaté : hQuery.php library installs, autoloads, and parses HTML via fromHTML() and find()/text() selectors; all 27 unit tests pass on PHP 8.4.1 via FrankenPHP static binary. 7 minutes.

Obtenir les détails d'un produit Aliexpress en tant que réponse JSON, y compris les avis, les variantes, les informations de livraison, la description, les...

Ce que le test a constaté : Node 24.0.0 installed, pnpm installed, Chromium 145 downloaded, all 22 tests pass, ESLint clean. 1 minute.

Un wrapper Laravel pour CrawlerDetect - la bibliothèque de détection de robots d'exploration web

Ce que le test a constaté : All 9 package tests pass, detecting crawlers from real user agent lists via the Laravel facade and Request macros. 4 minutes.

Extraire des données publiques de Spotify (titres, albums, artistes, listes de lecture, podcasts et paroles) sans l'API officielle. Synchrone et asynchrone...

Ce que le test a constaté : The SpotifyScraper package is installed and working: the CLI fetches real Spotify track/artist/playlist data over the network, the hermetic unit test suite passes completely (921/921), and the MCP server imports and launches correctly after pinning mcp to v1. 3 minutes.

Traqueur de visibilité IA open source. Suivez comment ChatGPT, Perplexity, Gemini, Copilot et Google AI Mode mentionnent et citent votre marque. Auto-hébergé...

Ce que le test a constaté : Next.js dev server runs on port 3000 serving the GEO/AEO Tracker dashboard in demo mode, with all pages (/ and /demo) and API routes (/api/analyze, /api/audit, /api/scrape, etc.) responding correctly. 4 minutes.

Script Python3 pour télécharger en continu toutes les images/vidéos de plusieurs fils 4chan simultanément, sans installation.

Ce que le test a constaté : Both scripts compile, install cleanly via venv, and successfully interact with live 4chan API endpoints: thread-watcher queries the catalog and writes URLs, inb4404 downloads thread media files with validated content. 4 minutes.

bibliothèque API xvideos

Ce que le test a constaté : npm install completes with warnings. Build succeeds. 5 unit test files (47 tests) pass on fixture HTML. Full test suite: 52 pass, 4 fail (all integration tests blocked by xvideos.com returning 404 on /verified/videos/). 5 minutes.

API de crawling web haute performance optimisée pour les LLMs. Transformez n'importe quelle recherche ou site web en Markdown propre à l'aide de navigateurs...

Ce que le test a constaté : Teracrawl server starts on port 8085 with a local Chromium-backed mock Browser.cash pool and a mock SERP service. GET /health returns 200, POST /scrape converts a live URL to markdown via real headless Chromium, POST /serp/search returns mock search results, and POST /crawl combines both to scrape multiple URLs. 15 minutes.

Gratuit, serveur MCP auto-hébergé qui scrape la Facebook Ad Library publique (sans jeton API) pour la recherche publicitaire concurrentielle: annonceur, texte...

Ce que le test a constaté : MCP server loads, imports, starts over stdio, registers both tools, and all 8 offline parser tests pass. 7 minutes.

golang spider Crawler 爬虫 电影

Ce que le test a constaté : GoMovies binary compiled and serves HTTP on port 8899 with Redis persistence; spider successfully fetches movie data from hhzyapi.com external API. 20 minutes.

Une application python conçue pour scraper et traiter des données de paris sportifs directement depuis oddsportal.com

Ce que le test a constaté : OddsHarvester v0.15.0 installed from source with uv and Playwright; all 1308 unit tests pass and 63 of 82 integration tests pass against HAR replay (19 live-only skipped, 1 xfail for known in-play replay limitation). 40 minutes.

Le projet Eyes On est un outil de surveillance rapide et multithreadé par Y0oshi (@rde0) pour localiser les caméras IP ouvertes dans le monde entier. Il unifie...

Ce que le test a constaté : Project Eyes On installed, imports correctly, Insecam scraping and multi-engine dorking both find real live IP cameras, and JSON/CSV/HTML reports all produce valid output. 2 minutes.

Une seule commande pour chaque interface: rechercher, exécuter et inspecter de vrais logiciels sur les API, les navigateurs, les postes de travail, les outils...

Ce que le test a constaté : Uni-CLI v1.2.1 builds from source, runs 3735 passing unit tests, and executes live commands (hackernews top, search, doctor) against real remote APIs on Node 22.23.4 (npm v10.9.9). The npm global package v1.3.0 is also installed and functional. 20 minutes.

Scraper TikTok, Douyin et Bilibili auto-hébergé et téléchargeur de vidéos sans filigrane: API REST asynchrone, serveur MCP pour AI agents, CLI et console web...

Ce que le test a constaté : All 2960 tests pass (2450 unit + 510 integration), the CLI outputs version 5.0.1 and lists 10 commands, the API server starts and serves healthz/readyz/swagger/console root with 200, the web console SPA is built, and both the PostgreSQL+TimescaleDB and Redis backends and the Go downloader sidecar run. 48 minutes.

Navigateur headless furtif pour agents IA, contourne Cloudflare, la détection de bots et l'anti-scraping. Remplacement direct de Puppeteer/Playwright.

Ce que le test a constaté : Camofox browser server installed and verified: Node 22.23.4 in user space, Camoufox 1.3GB binary downloaded, GeoIP 50MB database downloaded, server starts at localhost:9377 with Xvfb virtual display, creates browser tabs navigating to real URLs, returns accessibility snapshots with element refs, and closes cleanly on... 13 minutes.

Le MEILLEUR framework de scraping web qui gère tout, d'une simple requête à un crawl à grande échelle!

Ce que le test a constaté : Scrapling 0.4.15 is installed in a venv with all extras, Playwright Chromium browser available, all 985 tests pass, CLI and MCP server commands respond correctly, and HTTP fetches via StealthyFetcher return status 200 from real endpoints. 8 minutes.

Python ProxyPool pour araignée du web

Ce que le test a constaté : The ProxyPool Flask API server runs on port 5010 backed by real Redis, responds to all endpoints (/get, /pop, /all, /delete, /count), and all 248 automated tests pass. 6 minutes.

Un pilote Chrome DevTools Protocol pour l'automatisation web et le scraping.

Ce que le test a constaté : Rod compiles with go build ./... passes all vet checks, and launches Chromium 128 to control a browser page via DevTools Protocol. The main rod test suite and lib/cdp, lib/launcher (except known flaky TestManaged), and lib/proto sub-packages all pass. 59 minutes.

Client HTTP pouvant se faire passer pour des navigateurs web

Ce que le test a constaté : The repo builds and runs: Rust workspace checks and per-crate test suites pass (1354 tests), the primp Python extension installs into crates/primp-python/.venv, 493 Python tests pass, and a real impersonated HTTPS request returns HTTP 200. 15 minutes.

Pont d'automatisation de navigateur haute performance et orchestrateur multi-instance avec injection furtive avancée et dashboard en temps réel.

Ce que le test a constaté : A source-built PinchTab server (binary reports pinchtab dev) is running on 127.0.0.1:9867 with a responsive always-on headless instance and answered authenticated health, navigate, snapshot, text, title, and screenshot API calls with HTTP 200, while the full Go unit suite (9166 passed, 18 skipped) and scripts/check.sh... 19 minutes.

Le pilote Chrome/Chromium sans tête basé sur Puppeteer. Prenez des captures d'écran, générez des PDF, extrayez du texte et du HTML via une API prête pour la...

Ce que le test a constaté : The browserless monorepo installs under Node.js 24 with puppeteer 25, all packages build, Chrome 154 launches headlessly, and 390+ tests pass across 10 packages (browserless, goto, screenshot, capture, function, devices, errors, screencast, lighthouse, ai). 32 minutes.

Alternative edge à Firecrawl 100 % gratuite et entièrement open-source, avec une meilleure extraction de liens pour les agents, que vous pouvez déployer...

Ce que le test a constaté : Dependencies installed, SDK tests pass (41/41), full monorepo build and typecheck pass, and the dashboard serves HTTP 200 on / and /docs in both dev and production modes; the V0 API worker served 200 on /, /docs and /openapi in local mode with D1 migrations applied. 33 minutes.

Un framework de crawler web léger.（Framework de crawler Java）

Ce que le test a constaté : XXL-CRAWLER builds from source, produces a deployable jar, and passes 6 tests (4 utility tests + 2 real website crawls extracting structured data from cnblogs.com and baidu.com). 13 minutes.

Open-source AI agent pour l'automatisation web. Utilisez votre navigateur réel et connecté pour automatiser les tâches quotidiennes.

Ce que le test a constaté : Dependencies installed, project builds to dist/ (background.iife.js 1,848.81 kB, manifest.json), TypeScript type-check passes across all 15 packages, unit tests pass (14/14). 15 minutes.

Serveur MCP officiel de Firecrawl, l'API de contexte pour les AI agents: rechercher, scraper et interagir avec le web, ainsi que parser, crawler, mapper, Agent...

Ce que le test a constaté : Firecrawl MCP Server v3.24.1 builds, installs, and starts successfully with 25 tools in stdio mode; 81 of 84 tests pass. 24 minutes.

Scrapy, un framework Python rapide et haut niveau pour l'exploration du web et l'extraction de données.

Ce que le test a constaté : Scrapy 2.19.0 installed from source, 4539 tests pass, scrapy bench crawls 1781 pages against a local HTTP server. 15 minutes.

Bibliothèque de téléchargement de vidéos et outil CLI, rapides et simples, écrits en Go

Ce que le test a constaté : Lux builds and runs: the binary outputs version info and help, extracts real YouTube video metadata, and 14 of 48 test packages pass (all failures are network-dependent extractor tests or DNS-timeout content-type lookups; no code defects remain). 11 minutes.

news-please - un explorateur web intégré et extracteur d'informations pour les actualités qui fonctionne tout simplement

Ce que le test a constaté : news-please 1.6.13 installs and its library API extracts structured article data (title, authors, publication date, description, maintext, language) from HTML via both HTTP and raw HTML input; CLI entry points respond with help output. 5 minutes.

Version NodeJS invisible de la bibliothèque de test et d'automatisation Playwright.

Ce que le test a constaté : Repo dev deps install and both repo checks pass under Node 22; the npm-published patchright 1.63.0 with its installed patched Chromium launches headless and loads a page from a local HTTP server in this container. 3 minutes.

Liste toujours à jour des 100 user-agents de navigateur les plus courants pour les clients HTTP.

Ce que le test a constaté : The repo installs cleanly; with the bundled prebuilt Node 22, npm test passes all 5 tests and require/consumer checks return 100 main, 82 desktop, and 18 mobile valid user-agents from the packed tarball; only the Redis-backed update scripts remain unrunnable in this container because no redis-server is available. 3 minutes.

CLI d'automatisation de navigateur conçue pour les AI agents. Percer les murs anti-bot, transférer aux humains sur toutes les plateformes en cas de blocage...

Ce que le test a constaté : browser-act-cli 1.4.2 installed, skill handshake completed, and the chrome browser type (bundled Chromium) works end-to-end, browser create, open, navigate, state inspection, content extraction via get markdown, and session close all succeed; stealth features require a server-side-validated BrowserAct API key that... 5 minutes.

Un robot d'exploration réseau agnostique exposant des informations complètes sur les pairs et la topologie du réseau.

Ce que le test a constaté : Nebula builds with just build, runs dry-run and ClickHouse-backed IPFS crawls against real network peers, persists crawl data to ClickHouse, and passes all 92 tests across 7 packages with Postgres 16.4 and ClickHouse 26.11 running locally on their test ports. 16 minutes.

Bibliothèque Python open source pour les agents navigateur AI, ainsi que Browser Use Cloud: navigateurs furtifs et une API d'agent hébergée.

Ce que le test a constaté : browser-use v0.13.10 installed in a Python 3.12 venv with uv, Chromium headless installed via playwright, and all 563 CI tests pass (529 passed, 34 skipped) after fixing 2 test identity comparison bugs in test_beta_agent.py that only manifest under xdist worker parallelism. 75 minutes.

Alternative à NotebookLM, air-gapped, axée sur la confidentialité et open source. Agent IA qui recherche, transforme et modifie vos documents.

Ce que le test a constaté : All Python trees (surfsense_backend, surfsense_mcp, surfsense_local/backend, plugins/remote/host core tests) install and pass tests; the web frontend fails to compile native deps on Node 18.x (requires 24.x); docs are clean. 20 minutes.

Le meilleur et le plus simple outil pour la détection de changements de site web, la surveillance de pages web et les alertes de changement de site web...

Ce que le test a constaté : changedetection.io 0.60.7 installs into a venv, launches and serves HTTP 200, its full basic test suite passes (680 passed in the main group, exit 0, plus 508 unit tests), and a real watch added via the API detected a content change and exposed it in the UI. 76 minutes.

jsoup: le parseur HTML Java, conçu pour l'édition, le nettoyage, l'extraction de données et la sécurité XSS.

Ce que le test a constaté : jsoup compiles from source with JDK 21 and Apache Maven, all 2,341 unit tests pass, and the built JAR correctly parses HTML and extracts DOM content. 2 minutes.

Scraper Google Maps gratuit et open-source pour la génération de leads (Python, sans clé API, sans Docker). Exporte le nom, le téléphone, l'email, le site web...

Ce que le test a constaté : The scraper binary runs natively, its REST API on localhost:8080 creates/polls/downloads scraping jobs against real Google Maps data, and the included Python CLI successfully produces lead CSVs with real business listings. 7 minutes.

Crawler de système de fichiers Elasticsearch (FS Crawler)

Ce que le test a constaté : FSCrawler 3.1-SNAPSHOT builds successfully via Maven, distributable ZIP is packaged, binary launches and shows help/version, and 687 unit tests pass when run with the `-Dtest="*Test"` workaround. 82 minutes.

Collection de correctifs pour puppeteer et playwright pour éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et...

Ce que le test a constaté : rebrowser-patches repo installs, builds 6 drop-in tarballs, and passes all 43 test gates (detection, scenarios, smoke) with patched Puppeteer-core 25.14.0 and Playwright-core 1.64.1 defeating Runtime.Enable detection. 8 minutes.

Un client HTTP Rust ergonomique et respectueux de la vie privée.

Ce que le test a constaté : wreq v0.16.1 builds and all 280+ integration tests pass on Rust 1.99.0 (Ubuntu 24.04) with BoringSSL via btls, after providing libclang (extracted from libclang1-20 + libclang-20-dev debs) and workaround for Ubuntu 24.04's missing /usr/include/stddef.h. 35 minutes.

API Java pour Chrome et Firefox

Ce que le test a constaté : Jvppeteer 3.6.5 builds and installs via Maven, Chrome for Testing 149.0.7798.0 runs headlessly, and the library launches the browser, navigates pages, evaluates JavaScript, and retrieves page content successfully. 26 minutes.

Full-content web fetcher for AI agents, Chrome TLS fingerprinting, browser impersonation, multi-strategy article extraction, and web scraping.

Ce que le test a constaté : agent-fetch 0.1.6 builds from source, passes all 904 unit tests, and successfully fetches and extracts real web pages (Wikipedia, example.com) via CLI. 6 minutes.

Official Crawl4AI Cloud: une API hébergée de scraping web, d'extraction et de recherche pour les agents IA. Clé API gratuite, 1,000 crédits par mois, sans...

Ce que le test a constaté : Crawl4AI 0.9.4 installed in venv, Playwright chromium browser downloaded, DB initialized, AsyncWebCrawler can crawl real URLs with markdown output, cache operations work, and 360 core tests pass with 11 skipped. 14 minutes.

Crawler Web / Spider pour NodeJS et jQuery côté serveur;-)

Ce que le test a constaté : crawler v2.1.1 builds from TypeScript, all 51 tests pass under Node 22 with nock-mocked HTTP, and the module loads correctly to process crawl tasks. 4 minutes.

Un extracteur agentique pour les plateformes de messagerie. Noria reçoit des messages et des URLs via le chat, extrait des données web pour évaluer le contenu...

Ce que le test a constaté : npm install completes, all 232 unit tests pass across 17 suites with zero lint errors, the Node.js backend boots registering all domain/LLM/scraper/sender/listener plugins and loading the scholarships and jobs pipeline configs, and the Streamlit Control Center UI starts and serves on port 8501. 11 minutes.

Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-compte et gestion intégrée des limites de débit.

Ce que le test a constaté : All 217 tests pass with 81% coverage; twscrape CLI reports version 0.20.1 and SQLite 3.45.1. 1 minute.

Un puissant serveur Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès web public.

Ce que le test a constaté : The Bright Data MCP server installs and all 21 unit tests pass under Node.js v22.12.0; the server starts listening when API_TOKEN is set. 4 minutes.

Rétro-ingénierie de tout site web en un client API typé. Fonctionne avec Claude Code, Codex, Cursor et OpenCode.

Ce que le test a constaté : Project installed via uv sync, all 1025 tests pass, and the reverse-api-engineer CLI displays its help output. 2 minutes.

Diskover Community Edition - Indexeur de fichiers open source, moteur de recherche de fichiers et gestion et analyse de données propulsé par Elasticsearch

Ce que le test a constaté : Python scanner installs successfully, compiles cleanly, and completes a directory crawl indexing 22 file/directory documents into a mock Elasticsearch instance. 18 minutes.

Bibliothèque python d'analyse Finviz.

Ce que le test a constaté : All 128 offline tests pass and every package module (quote, news, insider, calendar, screener, group, earnings, forex, crypto, future, util) returns correct data from committed HTML fixtures. 2 minutes.

Boss直聘爬虫 / Outil de collecte de données d'offres d'emploi BOSS直聘, basé sur le protocole Chrome CDP pour réutiliser la session de connexion réelle, contourne...

Ce que le test a constaté : Virtual environment created with all dependencies, both Python scripts compile clean, and the full mock-based test suite (109 tests) passes. The CLI prints correct version (2.2.0), help output, and city listings. Real Chrome CDP scraping cannot be verified in this container, --check correctly reports no Chrome... 2 minutes.

Scraper Twitter pour X: tweets, profils, followers et abonnements, sans clé API nécessaire. Bibliothèque Python avec pool multi-comptes, prise en charge des...

Ce que le test a constaté : Scweet 5.8.0 installs cleanly in a Python 3.12 venv; 495 unit tests pass; the CLI builds and shows help; the library imports without network; material in tests/fixtures/ provides captured X responses for offline test coverage. 9 minutes.

Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy continue de rechercher de nouveaux appartements, maisons et logements en Europe sur des plateformes comme...

Ce que le test a constaté : Fredy backend serves HTTP 200 on port 9998 after DB migration and all 4260 offline tests pass with Node v22.23.3. 6 minutes.

Recherche web auto-hébergée pour les agents AI et le SEO. Google, Bing, Yandex, Baidu, DuckDuckGo et Ecosia, rendus dans un vrai navigateur: résultats classés...

Ce que le test a constaté : OpenSERP v0.8.13 builds, all 12 unit test suites pass, and the HTTP server starts, serving /health and /ready endpoints on 127.0.0.1:7000. 8 minutes.

WebAI2API: outil de conversion d'IA web en API OpenAI via Camoufox. Prend en charge LMArena/Gemini et plus, concurrence multi-fenêtres et isolation des comptes.

Ce que le test a constaté : The WebAI2API server starts on port 3000 with a Camoufox browser instance, serving OpenAI-compatible /v1/models, WebUI, and /v1/cookies endpoints, all returning HTTP 200, though chat completions require real AI website credentials via the browser adapter and cannot produce output without logging in. 7 minutes.

Client HTTP Go avec empreinte TLS/HTTP2 identique aux navigateurs. Contourne la détection de robots en imitant parfaitement Chrome, Firefox et Safari au niveau...

Ce que le test a constaté : Go 1.26.0 installed, httpcloak project builds cleanly, all 1402 Go test cases pass across 7 sub-packages, shared C library built, Python bindings installed and all 12 Python alias tests pass. 8 minutes.

Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.

Ce que le test a constaté : Mock proxy verified: shell/shell.sh (curl via proxy): returned 200 with IP JSON; python/python.py (requests via proxy): returned 200 with IP JSON; nodejs/node.js (axios via proxy): returned 200 with IP JSON. 9 minutes.

Golang短视频去水印：抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

Ce que le test a constaté : with a user-local Go 1.24.0 toolchain the project builds, its 90 passing tests and race suite are green, the HTTP server starts and serves 200 on / and /api/v1/health with 26 platforms, and a real Sohu video was parsed, downloaded (22.6 MB), and fully decoded by ffmpeg to h264/aac. 20 minutes.

660+ muapi-hosted generative-media models plus community-submitted third-party API tools (SEO, enrichment, social, scraping), one YAML file per entry...

Ce que le test a constaté : PyYAML 6.0.3 installed; catalog_validate.py validates all 665 YAML entries in providers/ and models/ successfully with zero errors. 3 minutes.

Outils de protocole Pure-Python et notes de recherche pour X.com, avec les ensembles de données de comptes Twitter VibeLoft

Ce que le test a constaté : All 20 integration tests pass - uv sync installs cleanly, all 8 tool modules import and return valid data from the mock X API server, plus VibeLoft account collection via real API, tweet analysis, and status scripts verified. 6 minutes.

ChatGPT Team(Business) 促销码自动扫描工具, 批量发现/验证/价格收集，支持 17 国 34 个码，最高折扣 71% | ChatGPT Business promo code scanner, batch discovery, validation, price collection, 34...

Ce que le test a constaté : Repo installs cleanly and every scanning script (auto_scan, discover_codes, verify, open_stripe, partner_scan, and the us/mega/uk scanners) ran and produced valid output against the local mock of the ChatGPT API and Clash proxy; open_stripe.py works after switching its hardcoded proxy to the project config-driven... 43 minutes.

ChatWeb peut explorer des pages web, lire des PDF, DOCX, TXT, et extraire le contenu principal, puis répondre à vos questions en fonction du contenu, ou...

Ce que le test a constaté : ChatWeb runs in all three modes (console, API, webui) behind a mock OpenAI API. The /upload_file, /summary, and /answer endpoints return HTTP 200 with correct JSON schemas; the console mode accepts file paths and /help commands; the webui Gradio interface binds on port 7860 and returns HTTP 200. 15 minutes.

Compétences officielles de l'Agent des produits Oxylabs

Ce que le test a constaté : Five Oxylabs agent skills (headless-browser, proxies, video-data, web-scraper-api, web-unblocker) install via skills CLI. .env.example corrected to OXY_RES_USERNAME/OXY_RES_PASSWORD consistent with all docs. Mock server confirms the documented API endpoint patterns respond 200 OK. 7 minutes.

Crawler (Bot) recherchant des fuites sur les sites de paste.

Ce que le test a constaté : Dashboard serves HTTPS on localhost:8080 returning complete HTML page; analysis engine detects email:password combos, private keys, API tokens, and 18 configurable search terms; SQLite dedup DB tracks crawled paste IDs; all 6 module scripts pass syntax check; pastes.io and pastebin.com external endpoints are reachable. 5 minutes.

Une bibliothèque Ruby polyvalente d'exploration web qui peut explorer un site, plusieurs domaines, certains liens ou à l'infini. Spidr est conçu pour être...

Ce que le test a constaté : Spidr builds and its full 317-example RSpec suite passes, and a locally hosted mock site is spidered end to end (3 URLs visited, no failures) with no real third-party credentials. 20 minutes.

Une commande pour opérer Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD, X: sortie unifiée en commande et JSON, destinée aux...

Ce que le test a constaté : catbus CLI is installed, builds, and all 962 offline tests pass. The binary outputs valid JSON envelopes for version, help, platforms, doctor, and handles platform aliases, native name mapping, and auth-required errors correctly. 3 minutes.

Une compétence pour les AI agents: rechercher sur le web avec SearXNG, naviguer avec Camofox, contourner les protections avec CloakBrowser. Anti-hallucination...

Ce que le test a constaté : npm install succeeds, CloakBrowser (with Node 20, not the system Node 18) fetches live pages, the SearXNG and Camofox deterministic scripts pass their full command flows against schema-correct mocks, unit suites pass 28/28 and 12/12, and setup.sh/audit.sh complete without failed checks; real SearXNG/Camofox Docker... 33 minutes.

Un framework pour créer des extracteurs de contenu web semi-automatiques.

Ce que le test a constaté : Scrapple 0.3.0 installs, builds, and runs on Python 3.12; the CLI accepts all 4 commands (genconfig, run, generate, web), scrapes live websites via XPath and CSS selectors, and generates executable Python scripts, 13/17 tests pass with the remaining 4 failing only because their target websites changed HTML since 2018. 10 minutes.

Client HTTP pour Node.js avec usurpation d'empreinte TLS de navigateur

Ce que le test a constaté : wreq-js v3.2.0 is installed and working on x86_64 Ubuntu 24.04 with Node.js v22.23.4, the TypeScript build completes, the native Rust binding (prebuilt) loads correctly, and the test suite passes 195/200 tests against a local HTTP/HTTPS/WebSocket test server. 5 tests are skipped: 4 requiring full native setCookies... 28 minutes.

Découvrir et vérifier des emails professionnels à l'aide de noms + domaines

Ce que le test a constaté : Project builds from source, 9 unit tests pass, and both email-sleuth/es binaries execute their full pipeline (config loading, SMTP connectivity testing, pattern generation, DNS resolution, JSON output) without crashing. 6 minutes.

Scraper léger pour Google News

Ce que le test a constaté : TypeScript compiles cleanly, rollup builds CJS+ESM bundles, both module formats load at runtime, and all 46 unit/integration tests pass on Node 18.19.1. 13 minutes.

Crawling d'actualités avec StormCrawler - stocke le contenu au format WARC

Ce que le test a constaté : The NewsCrawlBootstrap topology runs in Storm LocalCluster against local mocks, detects the RSS feed, acks status updates to OpenSearch, and writes a gzip-valid WARC containing fetched feed content; mvn clean package and all 10 unit tests pass. 69 minutes.

Serveur Model Context Protocol (MCP) pour la plateforme Graphlit

Ce que le test a constaté : Graphlit MCP Server builds, launches, and responds correctly to MCP protocol initialize, resources/list, and tools/list requests. 10 minutes.

Le package Python pour scraper facilement la partie visible de Twitter.

Ce que le test a constaté : Package installs in a virtualenv, all 9 tests pass, xquik search function verified end-to-end with a mock HTTP server. 2 minutes.

GPlay Scraper est une bibliothèque Python puissante pour extraire des données complètes sur les applications du Google Play Store. Scrapez les applications du...

Ce que le test a constaté : gplay-scraper installed in a venv with all dependencies; all 48 tests pass after fixing the tls_client client_identifier string from 'chrome112' to 'chrome_112'. 4 minutes.

MinerU-HTML: un extracteur de contenu principal HTML propulsé par SLM qui produit des corps HTML propres. Parfait pour les agents Deep Research, les...

Ce que le test a constaté : MinerU-HTML v1.1.2 package installs and imports correctly in a Python 3.12 venv; the full extraction pipeline runs to completion with a mock LLM backend, correctly filtering navigation/auxiliary elements from main content HTML; all 20 internal modules import cleanly; config validation, fallback handlers... 16 minutes.

Analysez les routes de votre application Laravel pour des suggestions d'améliorations SEO.

Ce que le test a constaté : composer install works, the full Pest suite passes (171 passed, 3 skipped), PHPStan passes, and seo:scan-url returns real results (score 65, 28 passed, 15 failed) plus seo:scan persists the score to MariaDB, all against local mocks in this container. 28 minutes.

Exemples d'utilisation de Hyperbrowser

Ce que le test a constaté : After npm install, TypeScript compiles cleanly and the company-researcher CLI runs end-to-end against a schema-correct local Hyperbrowser mock, producing the full structured research output and exiting 0; real Hyperbrowser/OpenAI API keys were not exercised. 12 minutes.

Extraire des données de Google Maps. Extrait des données telles que le nom, l'adresse, le numéro de téléphone, l'URL du site Web, la note, le nombre d'avis, la...

Ce que le test a constaté : All 17 Go packages with tests passed with race detection (no failures), the binary compiled and prints version/help correctly, and all 10 JS skill tests plus shell helper tests passed. 6 minutes.

Utiliser les LLMs pour extraire des données web de manière robuste

Ce que le test a constaté : npm install builds successfully, 84 unit tests pass, 63 html-to-markdown integration tests pass with real ground-truth data, all LLM extraction integration tests pass with mocked providers, processedContent tests pass; Playwright browser tests fail at import on Node 18. 39 minutes.

Scraper Python basé sur l'IA

Ce que le test a constaté : 191 unit tests pass after fixing 13 categories of test failures covering models_tokens assertions, cleanup_html behaviors, logger capture, file paths, missing dependencies, mock patterns, and mock class completeness. 46 minutes.

Résultats de recherche Google via l'API SERP, package Python pip

Ce que le test a constaté : The SerpApi Python client library installs from source, runs 43 unit tests successfully against a locally hosted mock backend, and passes a basic smoke test (OOBT). 11 minutes.

Residential, datacenter, ISP & mobile proxies with 90M+ IPs in 200+ countries, plus Scraper & SERP APIs. Code examples in Python, Node.js, PHP, Go, Java, C#...

Ce que le test a constaté : Python and Node.js quickstarts and curl HTTP-examples work through mock proxy to real ipinfo.io; PHP/Go/Ruby/Java/C# examples not tested due to missing runtimes; SOCKS5 not tested due to minimal mock. 5 minutes.

Interface de crawler pour 微信公众号 basée sur 搜狗微信搜索.

Ce que le test a constaté : wechatsogou 4.5.4 is installed in a Python 3.12 venv; pip install -e . succeeds; 24 offline tests pass (constants, tools, URL generation, HTML parsing); real-network API tests fail only because DNS is unavailable in the container. 13 minutes.

Serveur de recherche open source, auto-hébergé, pour entreprises et sites, basé sur OpenSearch. Explore les sources web, fichiers, bases de données et cloud...

Ce que le test a constaté : Fess 15.9.0-SNAPSHOT builds and packages successfully from source. All 7,634 unit tests pass. The embedded Tomcat binds port 8080 but the application fails at runtime because no OpenSearch backend is reachable on localhost:9200. 36 minutes.

AgentQL est une suite d'outils pour connecter votre IA au web. Elle propose un langage de requête et des intégrations Playwright pour interagir avec les...

Ce que le test a constaté : n'a pas pu être vérifié ; le log montre où il s'est arrêté.

Krawl est un serveur de déception web cloud natif, personnalisable et léger, et un anti-crawler. Il crée des applications web factices présentant des...

Ce que le test a constaté : Krawl standalone mode builds and runs: after pip install -r requirements.txt, uvicorn app:app --app-dir src serves HTTP 200 on /dashf/healthz, answers the honeypot with 204 on /, records POST credentials from 198.51.100.77 into SQLite, and the dashboard API shows that IP categorized as attacker. 92 minutes.