インストールして実行するオープンソースの Web スクレイピングツール

Clone any website with one command using AI coding agents

テストでわかったこと: Next.js 16.3.0 project builds, typechecks, and serves HTTP 200 on the root route via npm run dev. 4 分。

Golang 向けのエレガントなスクレイパーおよびクローラーフレームワーク

テストでわかったこと: The Colly module builds, vets, passes its full unit and race test suites, its CLI prints help, and its scraper successfully crawled a local mock site end to end. 14 分。

次世代のクローリングおよびスパイダリングフレームワーク。

テストでわかったこと: katana v1.7.0 is installed, resolves from a fresh login shell, crawls HTTP sites in standard and headless modes, and its unit, functional, and integration suites pass. 7 分。

ドキュメント Web サイト、GitHub リポジトリ、PDF を、自動的な競合検出を備えた Claude AI スキルに変換します。

テストでわかったこと: skill-seekers 3.10.0.dev0 installed and all 3857 unit/adaptor/scraper tests pass without external API keys or network dependencies. 6 分。

newspaper3k は、Python 3 でのニュース、全文、および記事メタデータの抽出です。高度なドキュメント:

テストでわかったこと: newspaper3k 0.3.0 installs in a virtualenv on Python 3.12, all 40 unit tests pass, and core Article download/parse/nlp pipeline produces correct output from static HTML. 4 分。

ブラウザ自動化とテストに制限なし。SeleniumBase の CDP モードは、ボット検出を簡単に回避します。例をチェックしてください！

テストでわかったこと: SeleniumBase 4.54.7 is installed in a Python 3.12 venv; 8 framework unit tests, 7 offline HTML tests, and 2 real web tests passed using headless Chrome 154. 5 分。

言語やフレームワークを問わずスパイダーを管理するための分散型 Web クローラー管理プラットフォーム。

テストでわかったこと: Crawlab v0.6.3 backend compiles, starts as master node, connects to MongoDB, and serves its REST API on port 8000 (system-info, login, nodes, spiders, tasks, users, stats endpoints confirmed reachable). 67 分。

Java 向けのスケーラブルな Web クローラーフレームワーク。

テストでわかったこと: The webmagic project compiles and passes all 108 tests with JDK 22 and Maven 3.9.9. Tests exercise real HTTP downloads from github.com (e.g. GithubRepoPageProcessorTest downloads and processes 1 page), SSL compatibility checks, XPath/CSS/regex selectors, file pipeline, proxy providers, duplicate-removal scheduling... 13 分。

Crawlee は、Python 向けの Web スクレイピングおよびブラウザ自動化ライブラリです。信頼性の高いクローラーを構築できます。AI、LLM、RAG、GPT 向けのデータを抽出します。ウェブサイトから...

テストでわかったこと: Dependencies installed with uv sync --all-extras, Playwright browsers (chromium + firefox) downloaded, all 2480 unit tests pass, lint and type-check pass, and the package builds and imports successfully at version 1.10.3. 8 分。

Python による、より軽量な Web 自動化

テストでわかったこと: Helium 7.0.3 installed from source via pip install -e . Selenium 4.49.0 with Chrome 154 headless via Selenium Manager; all 332 tests pass with 2 regressions fixed (date input JS fallback, subprocess module discovery). 33 分。

JMComic 用 Python API | 禁漫天堂へのアクセス用 Python API を提供、Web 版とモバイル版の両方に対応 | 禁漫天堂 GitHub Actions ダウンローダー

テストでわかったこと: Package jmcomic 2.7.7 installed in a Python 3.12.3 venv with all dependencies; 238/240 tests pass including real network calls against JMComic API servers; CLI commands jmcomic and jmv produce correct help output. 10 分。

Web 上のテキストとメタデータを収集するための Python & コマンドラインツール: クローリング、スクレイピング、抽出、CSV、JSON、HTML、MD、TXT、XML としての出力

テストでわかったこと: Trafilatura 2.2.0 is installed in editable mode in a .venv, all 428 tests pass, and both CLI and Python extraction work correctly on sample HTML input. 6 分。

curl-impersonate フォークの Python バインディングを cffi 経由で提供します。ブラウザの TLS/ja3/http2 フィンガープリントを偽装できる HTTP クライアントです。

テストでわかったこと: After installing the pre-built curl-cffi wheel (v0.16.3) into a fresh venv, the library imports, the CLI runs (curl-cffi get, doctor, --help), real HTTP requests with browser impersonation return 200, and the unit test suite passes 600+ tests across all 20 test modules including sync/async HTTP, websockets... 38 分。

構造化抽出ワークフローのための宣言的データ自動化言語と Go ランタイム

テストでわかったこと: Go 1.27.1 installed, all dependencies resolved, all 68 test packages pass with race detection, CLI binary compiles and runs FQL queries end-to-end. 7 分。

Scrapy 用の Redis ベースのコンポーネント。

テストでわかったこと: scrapy-redis 0.9.1 is installed in a venv at /work/repo/.venv with real Redis 6.2 running on localhost:6379; all 102 tests pass covering connection pooling, dupefilter, queue (FIFO/LIFO/priority), scheduler, spider setup, idle backoff, multi-key consumption, and utility modules. 9 分。

人間向け Node.js スクレイパー。

テストでわかったこと: scrape-it installs, builds, and passes its full test suite on Node 18.19.1 with cheerio pinned to 1.0.0. 3 分。

すべての Web サイトは API を提供しています。

テストでわかったこと: toapi 2.2.4 installed from source, all 7 tests pass, CLI help works, Flask server answers 200 with JSON, version 2.2.4 confirmed. 2 分。

AI エージェント向けのステルスブラウザ自動化です。MCP と Chrome DevTools Protocol を経由して、ナビゲーション、ネットワークフック、DOM 抽出、ピクセル精度の UI クローンを実現します。

テストでわかったこと: Stealth Browser MCP server runs on stdio transport, spawns a headless Chromium 157.0.8086.0, navigates to data URLs, extracts page HTML content, and closes cleanly -- all via MCP protocol over stdio. 15 分。

PHP Curl Class は、HTTP リクエストを送信し、Web API と統合することを簡単にします。

テストでわかったこと: php-curl-class repository is fully installed with PHP 8.5.8 static binary and all Composer dependencies; the full test suite passes with 264 tests and 23390 assertions and zero failures. 43 分。

Google Play からデータを取得する Node.js スクレイパー

テストでわかったこと: The google-play-scraper npm package installs, all 84 tests pass against live Google Play, and the library's app/list/search/suggest/developer/reviews/similar/permissions/datasafety/categories methods all fetch and parse real data correctly. 8 分。

owllook は小説検索エンジンです。

テストでわかったこと: The owllook web server launches on port 8001 and responds with 200 HTTP status on /, /novels/search, /novels/top, /api/search, and /health routes, with real HTML content, connecting to running Redis and MongoDB instances. The existing pytest test suite passes (1 passed, 0 failed). 15 分。

https://spatie.be/docs/crawler

テストでわかったこと: PHP 8.4.23 and Composer 2.7.1 installed from static binaries, all dependencies resolved via `composer update --prefer-stable`, and the full test suite passes (229/229) including both fake-HTTP unit tests and real-HTTP integration tests against a local PHP server. 6 分。

Rust による基盤的な低レイテンシ Web データ収集

テストでわかったこと: Rust 1.99.0 installed, cargo build succeeds, spider CLI binary crawls and scrapes example.com returning status 200 and expected page content, all 608 spider core tests pass, workspace-wide crate tests all pass. 56 分。

Geziyor は、Go 用の非常に高速な Web クローリングとスクレイピングのフレームワークです。JS レンダリングをサポートしています。

テストでわかったこと: The Geziyor web scraping framework builds and passes every test across all 7 packages, and a compiled demo successfully scraped a live website. 16 分。

軽量で使いやすいウェブクローラー（易用的轻量化网络爬虫）

テストでわかったこと: Build succeeded (mvn compile, package, test-compile all exit 0); demo crawler successfully fetched and parsed https://www.baidu.com/, producing JSON output. 5 分。

CrawlerDetect は、ユーザーエージェントを通じてボット/クローラー/スパイダーを検出する PHP クラスです。

テストでわかったこと: The CrawlerDetect PHP library installs, builds, and passes its full test suite of 28 tests with 170,886 assertions on PHP 8.0.30. 5 分。

Website Cloner: 強力な Go ルーチンを利用して、ウェブサイトを数秒でコンピュータにクローンします。

テストでわかったこと: goclone binary builds from source, all 9 test suites across 3 packages pass, the built binary's help and version commands print correct output. 11 分。

asyncio ベースの Web クローリングフレームワーク

テストでわかったこと: All 7 tests pass, ruff lint passes, library imports correctly, and item attribute extraction from HTML produces expected results. 1 分。

柔軟な Node.js クローラーライブラリ

テストでわかったこと: x-crawl library builds successfully; its crawlData, crawlHTML, async/sync modes, baseUrl, timeout, errorCollect, proxy rotation, and Puppeteer browser APIs work correctly against a real HTTP server and CONNECT proxy. 34 分。

asyncio に基づく非同期 Python 3.6+ の Web スクレイピング用マイクロフレームワーク

テストでわかったこと: Ruia 0.8.5 is installed in a Python 3.12 venv with uvloop; pip install -e .[uvloop] succeeds; 66 of 67 tests pass including all field extraction, item parsing, middleware, request fetching, and spider orchestration tests against live httpbin.org and news.ycombinator.com. 22 分。

Modest および Lexbor エンジンへの Python バインディング。高速な HTML5 パーサー、CSS セレクター対応、Python 用。

テストでわかったこと: selectolax C extension successfully built, installed in a venv, all 279 tests passing, and basic HTML parsing + CSS selector usage verified. 4 分。

Playwright テストおよび自動化ライブラリの未検出の Python バージョン。

テストでわかったこと: Patchright 1.63.0 is installed, Chromium browser is downloaded and launchable, the CLI reports its version, and 2237 of 2239 Chromium tests pass (sync + async). 37 分。

使いやすく、プライバシーに配慮した Python HTTP クライアント

テストでわかったこと: wreq Python package builds, installs, and passes all 57 unit tests against a local httpbin server, supporting HTTP/1.1 and HTTP/2 requests, cookie jars, redirect policies, TLS emulation (JA3/JA4), multipart uploads, streaming, and compression. 15 分。

軽量な Ruby 製 Web クローラー/スクレイパーで、エレガントな DSL を備え、ページから構造化データを抽出します。

テストでわかったこと: Wombat 3.3.0 builds and installs as a gem under Ruby 3.2.3, all 56 RSpec tests pass, and a live Wombat.crawl scrape of a local WEBrick page returns correctly parsed structured data. 12 分。

Beanbun は PHP で記述されたマルチプロセス対応の Web クローラーフレームワークで、優れた開放性と高い拡張性を備え、Workerman をベースとしています。

テストでわかったこと: Beanbun 1.0.4 with vendored workerman and guzzle dependencies. PHP 8.3.6 extracted from apt. All source and vendor files parse without errors. Framework class instantiation, configuration, and all Helper methods (randUserAgent, formatUrl, getUrlByHtml) verified working. 16 分。

Newspaper4k は、愛されている Newspaper3k のフォークです。ニュース Web サイトからの記事、タイトル、メタデータの抽出。

テストでわかったこと: newspaper4k 0.9.6 is pip-installed and editable in /work/repo/venv; CLI runs (help + real article extraction into JSON), 234 tests pass with 2 deselected stale summarization fixtures and 5 external-site failures; package state is clean working tree. 38 分。

Apache Storm ベースのスケーラブルで成熟した多用途の Web クローラー。

テストでわかったこと: Apache StormCrawler 4.0.0-SNAPSHOT builds from source (mvn clean install) and its full test suite passes 983 tests with zero errors and zero failures on Java 26 Temurin with Maven 3.10.0. 15 分。

SiteOne Crawler は、SEO、セキュリティ、アクセシビリティ、パフォーマンス最適化のためのクロスプラットフォームの Web サイトクローラー兼アナライザーです。開発者、DevOps、QA エンジニア、コンサルタントに最適です。Windows、macOS、Linux（x64 および...

テストでわかったこと: siteone-crawler 2.7.0.20260925-dev builds cleanly with cargo build --release, its offline test suite passes with 1673 passed and 0 failed, and the binary crawls a local HTTP server end to end returning HTTP 200 for both pages and generating an HTML report. 16 分。

10+ プラットフォーム向けユニバーサルコンテンツリーダー MCP サーバー

テストでわかったこと: x-reader installs in a fresh venv, all 10 tests pass, the CLI fetches real tweets/RSS/web content into the inbox, and the MCP server serves working stdio and SSE transports. 10 分。

高性能・非同期の Douyin(抖音) TikTok Xiaohongshu(小红书) Kuaishou(快手) Weibo(微博) Instagram YouTube(油管) Twitter(X) キャプチャソルバー(验证码解决器) 一時メール(临时邮箱) API(接口)。

テストでわかったこと: SDK installs, all 110 tests pass, CLI prints version and help, type-check and lint are clean, and spec coverage confirms 1010/1010 endpoints are implemented. 1 分。

マルチスレッドのクローラーフレームワークで、多くの組み込み画像クローラーを提供しています。

テストでわかったこと: icrawler installs in a virtualenv, all 5 built-in crawler tests pass against live services (Google, Bing, Baidu, BBC, Pinterest), and downloaded images are valid media files verifiable by Pillow. 21 分。

Scrapy spiders 向け HTTP API

テストでわかったこと: scrapyrt 0.18.1 is installed in a Python 3.12 venv with all dependencies. All 126 tests pass (including real end-to-end crawl tests with Flask site, Twisted reactor, and scrapyrt HTTP server). The CLI command scrapyrt --help prints usage correctly. 5 分。

オープンソースの SEO 監査ツール。

テストでわかったこと: SEOnaut installed from source (Go build OK, frontend CSS built, migrations applied to a local MariaDB) and ran on port 9000, serving sign-in (200), creating a user and project, completing a real crawl of 2 URLs, and rendering the dashboard. 9 分。

ビジュアルワークフロービルダーを備えた AI 搭載の Web スクレイピングエディタ。自然言語を使用して Web スクレイパーをビルド、テスト、デプロイします。ScrapeGraphAI と LangGraph を搭載。

テストでわかったこと: ScrapeCraft backend serves all API endpoints on uvicorn, WebSocket connections establish and respond, frontend builds successfully, chat uses real OpenRouter API key, JWT auth works, pipeline CRUD works, scraping endpoints respond. 14 分。

NetDiscovery は、Vert.x、RxJava 2 などのフレームワークに基づいて実装された汎用クローリングフレームワーク/ミドルウェアです。

テストでわかったこと: The full multi-module Gradle build passes (BUILD SUCCESSFUL, 63 tasks), and the NetDiscovery spider engine example ran as a Java process answering HTTP 200 with JSON on port 8715 routes /netdiscovery/health/, /netdiscovery/spiders/, /netdiscovery/spider/tony1/detail, and /netdiscovery/metrics/, while the downloader... 69 分。

ソーシャルメディアを横断してユーザーのデータを取得します。

テストでわかったこと: 8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access. 16 分。

FreeProxy: インターネットから無料プロキシを収集します。(全球海量高质量免费代理，支持爬取数十个免费代理分享源，支持自定义规则代理筛选，爬虫与数据分析必备，每日更新海量免费代理。)

テストでわかったこと: pyfreeproxy v0.5.2 installed in /tmp/venv, all 48 proxy sources registered, Proxifly/ProxyScrape/Geonode scrape real proxies successfully, filter rules and ProxiedSessionClient work, JSON export round-trips correctly, free proxies collected but actual proxy requests time out as expected from this container network. 3 分。

Python で検出されないウェブスクレイピングとシームレスな HTML パース！

テストでわかったこと: stealth-requests 2.1.0 installed in a fresh venv, all 64 tests pass, and real requests to httpbin.org succeed with proper Chrome impersonation headers. 1 分。

AI 向けのオープンソース Web インフラストラクチャ。Web のスクレイピング、クロール、自動化、クリーンな Markdown、ブラウザセッションを、あなたのエージェントにすぐに利用できるようにします。

テストでわかったこと: Reader CLI builds, all 346 unit tests pass, the daemon starts with Playwright's bundled Chromium, and an end-to-end scrape of https://example.com via HTTP returns clean HTML and markdown content with a 200 status. 13 分。

あらゆるウェブサイトを、AI エージェント向けに特化したコンパクトな CLI に変換します。ウェブの閲覧を、数万トークンではなく、数百トークンで行えます。

テストでわかったこと: only-cli v0.5.8 installs and runs on Node 20.11.1; 263 of 264 tests pass; the CLI fetches, distills, and renders public web pages with token-budgeted output and actionable numbered links. 3 分。

名前が面白い、とてもシンプルなニュースクローラー

テストでわかったこと: Fundus 0.5.7 installs cleanly in a venv, all 1131 unit tests pass, and the crawler successfully fetches live article data from The New Yorker via HTTP. 3 分。

セルフホスト型のマルチチャネル航空券価格監視: フライト詳細収集 → DingTalk の画像テキストプッシュ → 目標達成時の四段階の強力なリマインダー。国内線と国際線(五大陸の目的地)は同じ収集・判定・プッシュのパイプラインを共有します。データは自分のマシン上に残り、設定はすべて Web...

テストでわかったこと: All dependencies installed in venv, Playwright chromium installed, test suite runs 3712 tests all passing, web UI demo server starts and responds with HTTP 200 on its state API endpoint, main.py --version reports 1.5.303. 44 分。

AI エージェント向けの検出防止ブラウザサーバー: Camoufox エンジンをラップし、OpenClaw プラグインをサポートする REST API

テストでわかったこと: Camofox Browser Server builds, starts on port 9998, creates browser contexts via Camoufox Firefox headless, navigates to https://example.com, returns accessibility snapshots, and passes the 677-test full suite with Node.js 20 and rebuilt native addons. 34 分。

クロールワークステーション: 表示、制御、クロール。Solr CrawlDB、Tika、Vue 3。

テストでわかったこと: Sparkler is installed with Python 3.12, Solr 10.0.0 on port 8983, Vue UI built and served on port 8180, APIs responding, all 32 unit tests passing. 7 分。

スーパー個人と一人企業のために、一人で大企業のような体制を構築します。Hydra 九頭龍は、大規模 AI スケジューリング、データ収集、インテリジェンスシステム、データプラットフォーム、分析と意思決定、製品生産のための「軍事」産業基盤を築きます。

テストでわかったこと: After fixing module-name casing, pinning Lombok 1.18.34, and adding the missing System.Subsystem config block, the Maven build succeeds and the ShadowBoot crawler app boots and runs the README's Void minimum-system demo to completion (exit 0, 'Pinecone Runtime : 136 /ms !'), while the full test suite passes with 48... 9 分。

Google Trends 分析のための Python CLI。高度なレート制限、クッキー認証、美しいターミナル出力を備えています。pytrends をベースに、エンタープライズ機能を追加して構築されています。

テストでわかったこと: trends-checker installs and runs, hitting the real Google Trends API via pytrends (with urllib3 compat patch applied to pytrends request.py), returning real interest data verified at score 42.83 for 'AI agents' in US. 5 分。

韓国政府支援事業の全数調査エージェントスキル [Claude Code・Codex・agy(Antigravity)・Cursor・Gemini CLI・Grok Build 対応] K-Startup・기업마당・NIPA・KOCCA・SMTECH クローリング + 即時/ロードマップ/変形 3分類 (韓国限定)

テストでわかったこと: The project's 229 pytest tests pass, and every CLI crawler (K-Startup, bizinfo, NIPA, KOCCA, SMTECH list and detail, scope_plan, diff_surveys) ran successfully against live Korean government sites, producing real announcement records and detail text. 4 分。

高速なWebクローラーとスクレイパー開発のためのライブラリ

テストでわかったこと: 1278 of 1278 default unit tests pass, PHP 8.3.32 and Composer installed, Chrome for Testing available, integration server fixed with short_open_tag=Off and 500ms startup delay. 27 分。

Scrapy 向け Zyte Smart Proxy Manager （旧 Crawlera）ミドルウェア

テストでわかったこと: scrapy-zyte-smartproxy v2.4.1 installed in a Python 3.12 venv; all 82 existing unit tests pass with zero failures. 1 分。

瞬く間にメガバイト単位の不正な HTML を解析する、非常に高速な Web スクレイパーです。PHP5.3+、依存関係なし。

テストでわかったこと: hQuery.php library installs, autoloads, and parses HTML via fromHTML() and find()/text() selectors; all 27 unit tests pass on PHP 8.4.1 via FrankenPHP static binary. 7 分。

Aliexpress の商品詳細を、フィードバック、バリエーション、配送情報、説明、画像などを含む JSON レスポンスとして取得します。

テストでわかったこと: Node 24.0.0 installed, pnpm installed, Chromium 145 downloaded, all 22 tests pass, ESLint clean. 1 分。

CrawlerDetect (Web クローラー検出ライブラリ) 用の Laravel ラッパー

テストでわかったこと: All 9 package tests pass, detecting crawlers from real user agent lists via the Laravel facade and Request macros. 4 分。

Extract public Spotify data, tracks, albums, artists, playlists, podcasts & lyrics, without the official API. Sync + async, typed models, one dependency.

テストでわかったこと: The SpotifyScraper package is installed and working: the CLI fetches real Spotify track/artist/playlist data over the network, the hermetic unit test suite passes completely (921/921), and the MCP server imports and launches correctly after pinning mcp to v1. 3 分。

オープンソースの AI 可視性トラッカー。ChatGPT、Perplexity、Gemini、Copilot、Google AI Mode があなたのブランドをどのように言及し引用しているかを追跡します。セルフホスト型、MIT ライセンス、独自のキーを持参してください。

テストでわかったこと: Next.js dev server runs on port 3000 serving the GEO/AEO Tracker dashboard in demo mode, with all pages (/ and /demo) and API routes (/api/analyze, /api/audit, /api/scrape, etc.) responding correctly. 4 分。

インストール不要で、複数の 4chan スレッドのすべての画像/動画を同時に継続的にダウンロードする Python3 スクリプト

テストでわかったこと: Both scripts compile, install cleanly via venv, and successfully interact with live 4chan API endpoints: thread-watcher queries the catalog and writes URLs, inb4404 downloads thread media files with validated content. 4 分。

xvideos API ライブラリ

テストでわかったこと: npm install completes with warnings. Build succeeds. 5 unit test files (47 tests) pass on fixture HTML. Full test suite: 52 pass, 4 fail (all integration tests blocked by xvideos.com returning 404 on /verified/videos/). 5 分。

LLM 向けに最適化された高性能ウェブクローラー API。リモートブラウザを使用して、あらゆる検索やウェブサイトをクリーンな Markdown に変換します。Firecrawl の代替。

テストでわかったこと: Teracrawl server starts on port 8085 with a local Chromium-backed mock Browser.cash pool and a mock SERP service. GET /health returns 200, POST /scrape converts a live URL to markdown via real headless Chromium, POST /serp/search returns mock search results, and POST /crawl combines both to scrape multiple URLs. 15 分。

無料のセルフホスト型 MCP サーバー。パブリックな Facebook Ad Library をスクレイピングし（API トークン不要）、競合広告調査に利用できます: 広告主、コピー、ランディングページ、CTA、どの国でも。

テストでわかったこと: MCP server loads, imports, starts over stdio, registers both tools, and all 8 offline parser tests pass. 7 分。

golang spider Crawler 映画クローラー

テストでわかったこと: GoMovies binary compiled and serves HTTP on port 8899 with Redis persistence; spider successfully fetches movie data from hhzyapi.com external API. 20 分。

oddsportal.com から直接スポーツベッティングデータをスクレイピングして処理するために設計された Python アプリ

テストでわかったこと: OddsHarvester v0.15.0 installed from source with uv and Playwright; all 1308 unit tests pass and 63 of 82 integration tests pass against HAR replay (19 live-only skipped, 1 xfail for known in-play replay limitation). 40 分。

Project Eyes On は、Y0oshi (@rde0) による、世界中のオープン IP カメラを特定するための高速・マルチスレッドの監視ツールです。Google Dorking と Directory Scraping を単一の OSINT エンジンに統合しています。

テストでわかったこと: Project Eyes On installed, imports correctly, Insecam scraping and multi-engine dorking both find real live IP cameras, and JSON/CSV/HTML reports all produce valid output. 2 分。

すべてのインターフェースに対する one コマンド: API、ブラウザ、デスクトップ、ローカルツール、MCP を横断して実際のソフトウェアを検索、実行、調査します。

テストでわかったこと: Uni-CLI v1.2.1 builds from source, runs 3735 passing unit tests, and executes live commands (hackernews top, search, doctor) against real remote APIs on Node 22.23.4 (npm v10.9.9). The npm global package v1.3.0 is also installed and functional. 20 分。

セルフホスト型の TikTok、Douyin、Bilibili スクレイパーと透かしなし動画ダウンローダーです。非同期 REST API、AI エージェント向け MCP サーバー、CLI、Web...

テストでわかったこと: All 2960 tests pass (2450 unit + 510 integration), the CLI outputs version 5.0.1 and lists 10 commands, the API server starts and serves healthz/readyz/swagger/console root with 200, the web console SPA is built, and both the PostgreSQL+TimescaleDB and Redis backends and the Go downloader sidecar run. 48 分。

AI エージェント向けのステルスヘッドレスブラウザです。Cloudflare、ボット検出、アンチスクレイピングを回避します。Puppeteer/Playwright のドロップイン代替品です。

テストでわかったこと: Camofox browser server installed and verified: Node 22.23.4 in user space, Camoufox 1.3GB binary downloaded, GeoIP 50MB database downloaded, server starts at localhost:9377 with Xvfb virtual display, creates browser tabs navigating to real URLs, returns accessibility snapshots with element refs, and closes cleanly on... 13 分。

単一のリクエストから本格的なクロールまで、すべてを処理する最高の Web スクレイピングフレームワーク！

テストでわかったこと: Scrapling 0.4.15 is installed in a venv with all extras, Playwright Chromium browser available, all 985 tests pass, CLI and MCP server commands respond correctly, and HTTP fetches via StealthyFetcher return status 200 from real endpoints. 8 分。

Web スパイダー向け Python ProxyPool

テストでわかったこと: The ProxyPool Flask API server runs on port 5010 backed by real Redis, responds to all endpoints (/get, /pop, /all, /delete, /count), and all 248 automated tests pass. 6 分。

Web 自動化とスクレイピングのための Chrome DevTools Protocol ドライバー。

テストでわかったこと: Rod compiles with go build ./... passes all vet checks, and launches Chromium 128 to control a browser page via DevTools Protocol. The main rod test suite and lib/cdp, lib/launcher (except known flaky TestManaged), and lib/proto sub-packages all pass. 59 分。

Web ブラウザになりすます HTTP クライアント

テストでわかったこと: The repo builds and runs: Rust workspace checks and per-crate test suites pass (1354 tests), the primp Python extension installs into crates/primp-python/.venv, 493 Python tests pass, and a real impersonated HTTPS request returns HTTP 200. 15 分。

高性能なブラウザ自動化ブリッジおよびマルチインスタンスオーケストレーターであり、高度なステルスインジェクションとリアルタイムダッシュボードを備えています。

テストでわかったこと: A source-built PinchTab server (binary reports pinchtab dev) is running on 127.0.0.1:9867 with a responsive always-on headless instance and answered authenticated health, navigate, snapshot, text, title, and screenshot API calls with HTTP 200, while the full Go unit suite (9166 passed, 18 skipped) and scripts/check.sh... 19 分。

Puppeteer をベースにしたヘッドレス Chrome/Chromium ドライバー。スクリーンショットの取得、PDF の生成、テキストや HTML の抽出を、プロダクション対応の API で実現。

テストでわかったこと: The browserless monorepo installs under Node.js 24 with puppeteer 25, all packages build, Chrome 154 launches headlessly, and 390+ tests pass across 10 packages (browserless, goto, screenshot, capture, function, devices, errors, screencast, lighthouse, ai). 32 分。

100% 無料で完全オープンソースのエッジ Firecrawl 代替であり、エージェント向けのより優れたリンク抽出を備え、自分で cloudflare や vercel にデプロイできます。

テストでわかったこと: Dependencies installed, SDK tests pass (41/41), full monorepo build and typecheck pass, and the dashboard serves HTTP 200 on / and /docs in both dev and production modes; the V0 API worker served 200 on /, /docs and /openapi in local mode with D1 migrations applied. 33 分。

軽量な Web クローラーフレームワークです。（Java クローラーフレームワーク）

テストでわかったこと: XXL-CRAWLER builds from source, produces a deployable jar, and passes 6 tests (4 utility tests + 2 real website crawls extracting structured data from cnblogs.com and baidu.com). 13 分。

Web 自動化のためのオープンソース AI エージェント。実際にログインしているブラウザを使用して、日常のタスクを自動化してください。

テストでわかったこと: Dependencies installed, project builds to dist/ (background.iife.js 1,848.81 kB, manifest.json), TypeScript type-check passes across all 15 packages, unit tests pass (14/14). 15 分。

公式 Firecrawl MCP サーバー、AI エージェント向けのコンテキスト API: 任意の MCP クライアントから、Web の検索、スクレイピング、操作に加え、パース、クロール、マップ、Agent、Monitor を利用可能。

テストでわかったこと: Firecrawl MCP Server v3.24.1 builds, installs, and starts successfully with 25 tools in stdio mode; 81 of 84 tests pass. 24 分。

Scrapy は、Python 向けの高速で高レベルな Web クローリングとスクレイピングのフレームワーク。

テストでわかったこと: Scrapy 2.19.0 installed from source, 4539 tests pass, scrapy bench crawls 1781 pages against a local HTTP server. 15 分。

Go で書かれた、高速でシンプルな動画ダウンロードライブラリおよび CLI ツール。

テストでわかったこと: Lux builds and runs: the binary outputs version info and help, extracts real YouTube video metadata, and 14 of 48 test packages pass (all failures are network-dependent extractor tests or DNS-timeout content-type lookups; no code defects remain). 11 分。

news-please: すぐに動作するニュース向けの統合 Web クローラー兼情報抽出器

テストでわかったこと: news-please 1.6.13 installs and its library API extracts structured article data (title, authors, publication date, description, maintext, language) from HTML via both HTTP and raw HTML input; CLI entry points respond with help output. 5 分。

Playwright のテストおよび自動化ライブラリの検出されない NodeJS バージョン

テストでわかったこと: Repo dev deps install and both repo checks pass under Node 22; the npm-published patchright 1.63.0 with its installed patched Chromium launches headless and loads a page from a local HTTP server in this container. 3 分。

常に最新の、HTTP クライアント向けの最も一般的なブラウザ ユーザーエージェント上位 100 件のリストです。

テストでわかったこと: The repo installs cleanly; with the bundled prebuilt Node 22, npm test passes all 5 tests and require/consumer checks return 100 main, 82 desktop, and 18 mobile valid user-agents from the packed tarball; only the Redis-backed update scripts remain unrunnable in this container because no redis-server is available. 3 分。

AI エージェント向けに構築されたブラウザ自動化 CLI です。アンチボットの壁を突破し、行き詰まった際にはプラットフォームを超えて人間に引き継ぎます。並列マルチタスク実行、独立したマルチセッション操作、分離されたマルチアカウントブラウジングです。

テストでわかったこと: browser-act-cli 1.4.2 installed, skill handshake completed, and the chrome browser type (bundled Chromium) works end-to-end, browser create, open, navigate, state inspection, content extraction via get markdown, and session close all succeed; stealth features require a server-side-validated BrowserAct API key that... 5 分。

ネットワークトポロジー情報と包括的なピア情報を公開する、非依存型のネットワーククローラーです。

テストでわかったこと: Nebula builds with just build, runs dry-run and ClickHouse-backed IPFS crawls against real network peers, persists crawl data to ClickHouse, and passes all 92 tests across 7 packages with Postgres 16.4 and ClickHouse 26.11 running locally on their test ports. 16 分。

AI ブラウザエージェント向けのオープンソース Python ライブラリ、さらに Browser Use Cloud: ステルスブラウザとホスト型エージェント API

テストでわかったこと: browser-use v0.13.10 installed in a Python 3.12 venv with uv, Chromium headless installed via playwright, and all 563 CI tests pass (529 passed, 34 skipped) after fixing 2 test identity comparison bugs in test_beta_agent.py that only manifest under xdist worker parallelism. 75 分。

エアギャップ対応、プライバシー重視のオープンソース NotebookLM の代替品です。ドキュメントを調査、変換、編集する AI エージェントです。

テストでわかったこと: All Python trees (surfsense_backend, surfsense_mcp, surfsense_local/backend, plugins/remote/host core tests) install and pass tests; the web frontend fails to compile native deps on Node 18.x (requires 24.x); docs are clean. 20 分。

Web サイトの変更検出、Web ページの監視、Web サイトの変更アラートのための、最高かつ最もシンプルなツールです。コンテンツの変更、価格下落、再入荷アラート、Web サイトの改ざん監視の追跡に最適で、すべて無料、または SaaS プランをお楽しみいただけます！

テストでわかったこと: changedetection.io 0.60.7 installs into a venv, launches and serves HTTP 200, its full basic test suite passes (680 passed in the main group, exit 0, plus 508 unit tests), and a real watch added via the API detected a content change and exposed it in the UI. 76 分。

jsoup は、Java 製の HTML パーサーで、HTML の編集、クリーニング、スクレイピング、XSS 安全性のために作られています。

テストでわかったこと: jsoup compiles from source with JDK 21 and Apache Maven, all 2,341 unit tests pass, and the built JAR correctly parses HTML and extracts DOM content. 2 分。

リード生成のための無料オープンソース Google Maps スクレイパー (Python、API キー不要、Docker 不要)。名称、電話番号、メールアドレス、ウェブサイト、評価、および Instagram/Facebook/LinkedIn/TikTok/YouTube/X のリンクを CSV...

テストでわかったこと: The scraper binary runs natively, its REST API on localhost:8080 creates/polls/downloads scraping jobs against real Google Maps data, and the included Python CLI successfully produces lead CSVs with real business listings. 7 分。

Elasticsearch ファイルシステムクローラー (FS Crawler)

テストでわかったこと: FSCrawler 3.1-SNAPSHOT builds successfully via Maven, distributable ZIP is packaged, binary launches and shows help/version, and 687 unit tests pass when run with the `-Dtest="*Test"` workaround. 82 分。

puppeteer と playwright 向けのパッチ集です。自動化検出やリークを回避します。Cloudflare や DataDome の CAPTCHA ページを回避するのに役立ちます。パッチの適用/解除が簡単で、必要に応じて有効/無効にできます。

テストでわかったこと: rebrowser-patches repo installs, builds 6 drop-in tarballs, and passes all 43 test gates (detection, scenarios, smoke) with patched Puppeteer-core 25.14.0 and Playwright-core 1.64.1 defeating Runtime.Enable detection. 8 分。

使いやすく、プライバシーに配慮した Rust 製 HTTP クライアント

テストでわかったこと: wreq v0.16.1 builds and all 280+ integration tests pass on Rust 1.99.0 (Ubuntu 24.04) with BoringSSL via btls, after providing libclang (extracted from libclang1-20 + libclang-20-dev debs) and workaround for Ubuntu 24.04's missing /usr/include/stddef.h. 35 分。

Chrome と Firefox 向けの Java API

テストでわかったこと: Jvppeteer 3.6.5 builds and installs via Maven, Chrome for Testing 149.0.7798.0 runs headlessly, and the library launches the browser, navigates pages, evaluates JavaScript, and retrieves page content successfully. 26 分。

AI エージェント向けの全文取得 Web フェッチャー: Chrome TLS フィンガープリンティング、ブラウザー偽装、マルチストラテジー記事抽出、Web スクレイピング。

テストでわかったこと: agent-fetch 0.1.6 builds from source, passes all 904 unit tests, and successfully fetches and extracts real web pages (Wikipedia, example.com) via CLI. 6 分。

公式 Crawl4AI Cloud: AI エージェント向けのホスト型 Web スクレイピング、抽出、検索 API。無料の API キー、月 1,000 クレジット、カード不要。完全オープンソース: このリポジトリは、それを動かしている Apache-2.0 クローラーで、セルフホストすることもできます。

テストでわかったこと: Crawl4AI 0.9.4 installed in venv, Playwright chromium browser downloaded, DB initialized, AsyncWebCrawler can crawl real URLs with markdown output, cache operations work, and 360 core tests pass with 11 skipped. 14 分。

NodeJS とサーバーサイド jQuery のための Web クローラー/スパイダー;-)

テストでわかったこと: crawler v2.1.1 builds from TypeScript, all 51 tests pass under Node 22 with nock-mocked HTTP, and the module loads correctly to process crawl tasks. 4 分。

メッセージングプラットフォーム向けのエージェント型抽出ツールです。Noria はチャット経由でメッセージや URL を受信し、Web データをスクレイピングしてカスタムスコアリングマトリックス（例：求人、奨学金）に対してコンテンツを評価し、計算されたマッチスコアを含む構造化されたサマリーを割り当てられたメッセンジャー番...

テストでわかったこと: npm install completes, all 232 unit tests pass across 17 suites with zero lint errors, the Node.js backend boots registering all domain/LLM/scraper/sender/listener plugins and loading the scholarships and jobs pipeline configs, and the Streamlit Control Center UI starts and serves on port 8501. 11 分。

X/Twitter スクレイピング用の Python ライブラリおよび CLI で、マルチアカウントのローテーションと組み込みのレート制限処理を備えています。

テストでわかったこと: All 217 tests pass with 81% coverage; twscrape CLI reports version 0.20.1 and SQLite 3.45.1. 1 分。

パブリック Web アクセスのためのオールインワンソリューションを提供する強力な Model Context Protocol (MCP) サーバー。

テストでわかったこと: The Bright Data MCP server installs and all 21 unit tests pass under Node.js v22.12.0; the server starts listening when API_TOKEN is set. 4 分。

任意の Web サイトをリバースエンジニアリングして、型付き API クライアントに変換します。Claude Code、Codex、Cursor、OpenCode で動作します。

テストでわかったこと: Project installed via uv sync, all 1025 tests pass, and the reverse-api-engineer CLI displays its help output. 2 分。

Diskover Community Edition - Elasticsearch を搭載したオープンソースのファイルインデクサー、ファイル検索エンジン、データ管理および分析ツールです。

テストでわかったこと: Python scanner installs successfully, compiles cleanly, and completes a directory crawl indexing 22 file/directory documents into a mock Elasticsearch instance. 18 分。

Finviz 分析 Python ライブラリ

テストでわかったこと: All 128 offline tests pass and every package module (quote, news, insider, calendar, screener, group, earnings, forex, crypto, future, util) returns correct data from committed HTML fixtures. 2 分。

Boss直聘爬虫 / BOSS直聘职位データ取得ツールです。Chrome CDP プロトコルに基づき、実際のログイン状態を再利用してフォントによるスクレイピング対策を回避し、平文の給与 JSON/CSV と給与スキル分析を出力します。Chrome-CDP ベースの BOSS Zhipin...

テストでわかったこと: Virtual environment created with all dependencies, both Python scripts compile clean, and the full mock-based test suite (109 tests) passes. The CLI prints correct version (2.2.0), help output, and city listings. Real Chrome CDP scraping cannot be verified in this container, --check correctly reports no Chrome... 2 分。

X 用の Twitter スクレイパー: ツイート、プロフィール、フォロワー、フォロー中を取得できます。API キーは不要です。マルチアカウントプーリング、プロキシサポート、非同期を備えた Python ライブラリ、または Apify 上のホスト型バージョンとして利用できます。

テストでわかったこと: Scweet 5.8.0 installs cleanly in a Python 3.12 venv; 495 unit tests pass; the CLI builds and shows help; the library imports without network; material in tests/fixtures/ provides captured X responses for offline test coverage. 9 分。

Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy は、ImmoScout24、Immowelt、eBay Kleinanzeigen などのプラットフォームでヨーロッパの新しいアパート、家、フラットを検索し続け、結果を...

テストでわかったこと: Fredy backend serves HTTP 200 on port 9998 after DB migration and all 4260 offline tests pass with Node v22.23.3. 6 分。

AI エージェントと SEO 向けのセルフホスト型 Web 検索。Google、Bing、Yandex、Baidu、DuckDuckGo、Ecosia を実際のブラウザでレンダリングし、ランク付けされた結果とクリーンなページの Markdown を提供します。API、CLI、MCP に対応。

テストでわかったこと: OpenSERP v0.8.13 builds, all 12 unit test suites pass, and the HTTP server starts, serving /health and /ready endpoints on 127.0.0.1:7000. 8 分。

WebAI2API: Camoufox を介した Web AI から OpenAI API への変換ツール。LMArena/Gemini などに対応し、マルチウィンドウの並行処理とアカウント分離をサポートします。

テストでわかったこと: The WebAI2API server starts on port 3000 with a Camoufox browser instance, serving OpenAI-compatible /v1/models, WebUI, and /v1/cookies endpoints, all returning HTTP 200, though chat completions require real AI website credentials via the browser adapter and cannot produce output without logging in. 7 分。

ブラウザと同一の TLS/HTTP2 フィンガープリントを備えた Go HTTP クライアント。暗号化レベルで Chrome、Firefox、Safari を完全に模倣することでボット検出を回避します (JA3/JA4、Akamai...

テストでわかったこと: Go 1.26.0 installed, httpcloak project builds cleanly, all 1402 Go test cases pass across 7 sub-packages, shared C library built, Python bindings installed and all 12 Python alias tests pass. 8 分。

HTTP(S)/SOCKS5 ローテーション式レジデンシャルプロキシ - コード例と一般的な情報。

テストでわかったこと: Mock proxy verified: shell/shell.sh (curl via proxy): returned 200 with IP JSON; python/python.py (requests via proxy): returned 200 with IP JSON; nodejs/node.js (axios via proxy): returned 200 with IP JSON. 9 分。

Golang 製のショート動画の透かし除去：抖音、皮皮虾、火山、微视、最右、快手、全民小视频、皮皮搞笑、西瓜视频、虎牙、梨视频、acfun、好看视频...

テストでわかったこと: with a user-local Go 1.24.0 toolchain the project builds, its 90 passing tests and race suite are green, the HTTP server starts and serves 200 on / and /api/v1/health with 26 platforms, and a real Sohu video was parsed, downloaded (22.6 MB), and fully decoded by ffmpeg to h264/aac. 20 分。

660+ muapi-hosted generative-media models plus community-submitted third-party API tools (SEO, enrichment, social, scraping), one YAML file per entry...

テストでわかったこと: PyYAML 6.0.3 installed; catalog_validate.py validates all 665 YAML entries in providers/ and models/ successfully with zero errors. 3 分。

X.com 向けの Pure-Python プロトコルツールと研究ノート。VibeLoft Twitter アカウントのデータセット付き。

テストでわかったこと: All 20 integration tests pass - uv sync installs cleanly, all 8 tool modules import and return valid data from the mock X API server, plus VibeLoft account collection via real API, tweet analysis, and status scripts verified. 6 分。

ChatGPT Team(Business) プロモコード自動スキャンツール: 一括発見・検証・価格収集、17 か国 34 コードに対応、最大 71% オフ | ChatGPT Business プロモコードスキャナー: 一括発見・検証・価格収集、17 か国 34 コード、最大 71% オフ

テストでわかったこと: Repo installs cleanly and every scanning script (auto_scan, discover_codes, verify, open_stripe, partner_scan, and the us/mega/uk scanners) ran and produced valid output against the local mock of the ChatGPT API and Clash proxy; open_stripe.py works after switching its hardcoded proxy to the project config-driven... 43 分。

ChatWeb は Web ページをクロールし、PDF、DOCX、TXT を読み取り、本文を抽出し、その内容に基づいて質問に回答したり、要点を要約したりできます。

テストでわかったこと: ChatWeb runs in all three modes (console, API, webui) behind a mock OpenAI API. The /upload_file, /summary, and /answer endpoints return HTTP 200 with correct JSON schemas; the console mode accepts file paths and /help commands; the webui Gradio interface binds on port 7860 and returns HTTP 200. 15 分。

Oxylabs 製品の公式エージェントスキル

テストでわかったこと: Five Oxylabs agent skills (headless-browser, proxies, video-data, web-scraper-api, web-unblocker) install via skills CLI. .env.example corrected to OXY_RES_USERNAME/OXY_RES_PASSWORD consistent with all docs. Mock server confirms the documented API endpoint patterns respond 200 OK. 7 分。

paste sites 上のリークを検索する Crawler (Bot)

テストでわかったこと: Dashboard serves HTTPS on localhost:8080 returning complete HTML page; analysis engine detects email:password combos, private keys, API tokens, and 18 configurable search terms; SQLite dedup DB tracks crawled paste IDs; all 6 module scripts pass syntax check; pastes.io and pastebin.com external endpoints are reachable. 5 分。

多用途の Ruby Web スパイダリングライブラリで、サイト、複数のドメイン、特定のリンク、または無限にスパイダリングできます。Spidr は高速で使いやすいように設計されています。

テストでわかったこと: Spidr builds and its full 317-example RSpec suite passes, and a locally hosted mock site is spidered end to end (3 URLs visited, no failures) with no real third-party credentials. 20 分。

一つのコマンドで小红书、抖音、TikTok、B 站、快手、微博、闲鱼、淘宝、京东、X を操作します: 統一されたコマンドと JSON 出力は、人間と AI エージェント向けです。

テストでわかったこと: catbus CLI is installed, builds, and all 962 offline tests pass. The binary outputs valid JSON envelopes for version, help, platforms, doctor, and handles platform aliases, native name mapping, and auth-required errors correctly. 3 分。

AI エージェント向けのスキル: SearXNG でウェブ検索、Camofox でブラウズ、CloakBrowser で保護回避。設計上、幻覚防止。セルフホスト型、無料、無制限。

テストでわかったこと: npm install succeeds, CloakBrowser (with Node 20, not the system Node 18) fetches live pages, the SearXNG and Camofox deterministic scripts pass their full command flows against schema-correct mocks, unit suites pass 28/28 and 12/12, and setup.sh/audit.sh complete without failed checks; real SearXNG/Camofox Docker... 33 分。

半自動 Web コンテンツ抽出ツールを作成するためのフレームワーク

テストでわかったこと: Scrapple 0.3.0 installs, builds, and runs on Python 3.12; the CLI accepts all 4 commands (genconfig, run, generate, web), scrapes live websites via XPath and CSS selectors, and generates executable Python scripts, 13/17 tests pass with the remaining 4 failing only because their target websites changed HTML since 2018. 10 分。

Node.js 向け HTTP クライアント、ブラウザの TLS フィンガープリント偽装を備えています。

テストでわかったこと: wreq-js v3.2.0 is installed and working on x86_64 Ubuntu 24.04 with Node.js v22.23.4, the TypeScript build completes, the native Rust binding (prebuilt) loads correctly, and the test suite passes 195/200 tests against a local HTTP/HTTPS/WebSocket test server. 5 tests are skipped: 4 requiring full native setCookies... 28 分。

名前とドメインを使用してプロフェッショナルなメールを発見し、検証します。

テストでわかったこと: Project builds from source, 9 unit tests pass, and both email-sleuth/es binaries execute their full pipeline (config loading, SMTP connectivity testing, pattern generation, DNS resolution, JSON output) without crashing. 6 分。

Google News 向け軽量スクレイパー

テストでわかったこと: TypeScript compiles cleanly, rollup builds CJS+ESM bundles, both module formats load at runtime, and all 46 unit/integration tests pass on Node 18.19.1. 13 分。

StormCrawler によるニュースのクローリング: コンテンツを WARC として保存します。

テストでわかったこと: The NewsCrawlBootstrap topology runs in Storm LocalCluster against local mocks, detects the RSS feed, acks status updates to OpenSearch, and writes a gzip-valid WARC containing fetched feed content; mvn clean package and all 10 unit tests pass. 69 分。

Graphlit Platform 向け Model Context Protocol (MCP) サーバー

テストでわかったこと: Graphlit MCP Server builds, launches, and responds correctly to MCP protocol initialize, resources/list, and tools/list requests. 10 分。

Twitter のフロントエンドを簡単にスクレイピングするための Python パッケージです。

テストでわかったこと: Package installs in a virtualenv, all 9 tests pass, xquik search function verified end-to-end with a mock HTTP server. 2 分。

GPlay Scraper は、Google Play ストアから包括的なアプリデータを抽出するための、強力な Python 製 Google Play スクレイパーライブラリです。Google Play ストアのアプリをスクレイピングして、評価、インストール数、レビュー、ASO メトリクス、開発者情報、および 65...

テストでわかったこと: gplay-scraper installed in a venv with all dependencies; all 48 tests pass after fixing the tls_client client_identifier string from 'chrome112' to 'chrome_112'. 4 分。

MinerU-HTML は、SLM を活用して HTML のメインコンテンツを抽出し、クリーンな HTML 本文を出力するツールです。Deep Research エージェント、RAG アプリケーション、トレーニングデータ生成に最適です。

テストでわかったこと: MinerU-HTML v1.1.2 package installs and imports correctly in a Python 3.12 venv; the full extraction pipeline runs to completion with a mock LLM backend, correctly filtering navigation/auxiliary elements from main content HTML; all 20 internal modules import cleanly; config validation, fallback handlers... 16 分。

Laravel アプリケーションのルートをスキャンして、SEO 改善の提案を取得します。

テストでわかったこと: composer install works, the full Pest suite passes (171 passed, 3 skipped), PHPStan passes, and seo:scan-url returns real results (score 65, 28 passed, 15 failed) plus seo:scan persists the score to MariaDB, all against local mocks in this container. 28 分。

Hyperbrowser の使用例

テストでわかったこと: After npm install, TypeScript compiles cleanly and the company-researcher CLI runs end-to-end against a schema-correct local Hyperbrowser mock, producing the full structured research output and exiting 0; real Hyperbrowser/OpenAI API keys were not exercised. 12 分。

Google Maps からデータをスクレイピングします。各場所について、名前、住所、電話番号、ウェブサイトの URL、評価、レビュー数、緯度と経度、レビュー、メールアドレスなどのデータを抽出します。

テストでわかったこと: All 17 Go packages with tests passed with race detection (no failures), the binary compiled and prints version/help correctly, and all 10 JS skill tests plus shell helper tests passed. 6 分。

LLMs を使用して Web データを堅牢に抽出します。

テストでわかったこと: npm install builds successfully, 84 unit tests pass, 63 html-to-markdown integration tests pass with real ground-truth data, all LLM extraction integration tests pass with mocked providers, processedContent tests pass; Playwright browser tests fail at import on Node 18. 39 分。

AI ベースの Python スクレイパー

テストでわかったこと: 191 unit tests pass after fixing 13 categories of test failures covering models_tokens assertions, cleanup_html behaviors, logger capture, file paths, missing dependencies, mock patterns, and mock class completeness. 46 分。

SERP API 経由の Google 検索結果の pip Python パッケージ

テストでわかったこと: The SerpApi Python client library installs from source, runs 43 unit tests successfully against a locally hosted mock backend, and passes a basic smoke test (OOBT). 11 分。

レジデンシャル、データセンター、ISP、モバイル プロキシ (90M+ の IP、200+ か国)、さらに Scraper と SERP API。コード例は Python、Node.js、PHP、Go、Java、C#、Ruby、curl。

テストでわかったこと: Python and Node.js quickstarts and curl HTTP-examples work through mock proxy to real ipinfo.io; PHP/Go/Ruby/Java/C# examples not tested due to missing runtimes; SOCKS5 not tested due to minimal mock. 5 分。

搜狗微信搜索に基づく微信公众号クローラーインターフェース

テストでわかったこと: wechatsogou 4.5.4 is installed in a Python 3.12 venv; pip install -e . succeeds; 24 offline tests pass (constants, tools, URL generation, HTML parsing); real-network API tests fail only because DNS is unavailable in the container. 13 分。

オープンソースのセルフホスト型エンタープライズ＆サイト検索サーバーで、OpenSearch 上に構築されています。Web / ファイル / DB / クラウドソースをクロールし、20 以上の言語、REST API、AI/RAG およびセマンティック検索に対応しています。Apache-2.0 ライセンスです。

テストでわかったこと: Fess 15.9.0-SNAPSHOT builds and packages successfully from source. All 7,634 unit tests pass. The embedded Tomcat binds port 8080 but the application fails at runtime because no OpenSearch backend is reachable on localhost:9200. 36 分。

AgentQL は、AI を Web に接続するためのツールスイートです。クエリ言語と Playwright 統合を備え、要素との対話やデータの抽出を迅速かつ正確に、大規模に行えます。REST API、Python および JavaScript SDK、ブラウザデバッガーが含まれます。

テストでわかったこと: 検証できませんでした。どこで止まったかはログで確認できます。

Krawl は、カスタマイズ可能で軽量かつクラウドネイティブな Web 欺瞞サーバーおよびアンチクローラーであり、現実的でランダムに生成されたデコイデータと AI 生成の HTML テンプレートを使用して、簡単に悪用できる脆弱性を持つ偽の Web アプリを作成します。

テストでわかったこと: Krawl standalone mode builds and runs: after pip install -r requirements.txt, uvicorn app:app --app-dir src serves HTTP 200 on /dashf/healthz, answers the honeypot with 204 on /, records POST credentials from 198.51.100.77 into SQLite, and the dashboard API shows that IP categorized as attacker. 92 分。