오픈 소스 웹 스크래핑 도구, 설치 및 실행

AI coding agents를 사용하여 하나의 명령으로 어떤 웹사이트든 복제

테스트 결과: Next.js 16.3.0 project builds, typechecks, and serves HTTP 200 on the root route via npm run dev. 4분.

Golang용 우아한 스크래퍼 및 크롤러 프레임워크

테스트 결과: The Colly module builds, vets, passes its full unit and race test suites, its CLI prints help, and its scraper successfully crawled a local mock site end to end. 14분.

차세대 크롤링 및 스파이더링 프레임워크

테스트 결과: katana v1.7.0 is installed, resolves from a fresh login shell, crawls HTTP sites in standard and headless modes, and its unit, functional, and integration suites pass. 7분.

문서 웹사이트, GitHub 리포지토리, PDF를 Claude AI skill로 변환하고 충돌을 자동으로 감지합니다.

테스트 결과: skill-seekers 3.10.0.dev0 installed and all 3857 unit/adaptor/scraper tests pass without external API keys or network dependencies. 6분.

newspaper3k는 Python 3에서 뉴스, 전문, 기사 메타데이터 추출입니다. 고급 문서:

테스트 결과: newspaper3k 0.3.0 installs in a virtualenv on Python 3.12, all 40 unit tests pass, and core Article download/parse/nlp pipeline produces correct output from static HTML. 4분.

제한 없는 브라우저 자동화 및 테스트. SeleniumBase의 CDP Mode는 봇 탐지를 쉽게 우회합니다. 예제를 확인하세요!

테스트 결과: SeleniumBase 4.54.7 is installed in a Python 3.12 venv; 8 framework unit tests, 7 offline HTML tests, and 2 real web tests passed using headless Chrome 154. 5분.

언어와 프레임워크에 관계없이 스파이더를 관리하기 위한 분산형 웹 크롤러 관리 플랫폼.

테스트 결과: Crawlab v0.6.3 backend compiles, starts as master node, connects to MongoDB, and serves its REST API on port 8000 (system-info, login, nodes, spiders, tasks, users, stats endpoints confirmed reachable). 67분.

Java용 확장 가능한 웹 크롤러 프레임워크

테스트 결과: The webmagic project compiles and passes all 108 tests with JDK 22 and Maven 3.9.9. Tests exercise real HTTP downloads from github.com (e.g. GithubRepoPageProcessorTest downloads and processes 1 page), SSL compatibility checks, XPath/CSS/regex selectors, file pipeline, proxy providers, duplicate-removal scheduling... 13분.

Crawlee: 신뢰할 수 있는 크롤러를 구축하기 위한 Python용 웹 스크래핑 및 브라우저 자동화 라이브러리입니다. AI, LLMs, RAG 또는 GPTs용 데이터를 추출합니다. 웹사이트에서 HTML, PDF, JPG, PNG 및 기타 파일을 다운로드합니다. Parsel...

테스트 결과: Dependencies installed with uv sync --all-extras, Playwright browsers (chromium + firefox) downloaded, all 2480 unit tests pass, lint and type-check pass, and the package builds and imports successfully at version 1.10.3. 8분.

Python을 사용한 경량 웹 자동화

테스트 결과: Helium 7.0.3 installed from source via pip install -e . Selenium 4.49.0 with Chrome 154 headless via Selenium Manager; all 332 tests pass with 2 regressions fixed (date input JS fallback, subprocess module discovery). 33분.

JMComic용 Python API | JMComic 접근용 Python API 제공, 웹 및 모바일 지원 | JMComic GitHub Actions 다운로더

테스트 결과: Package jmcomic 2.7.7 installed in a Python 3.12.3 venv with all dependencies; 238/240 tests pass including real network calls against JMComic API servers; CLI commands jmcomic and jmv produce correct help output. 10분.

웹에서 텍스트와 메타데이터를 수집하는 Python 및 명령줄 도구: 크롤링, 스크래핑, 추출, CSV, JSON, HTML, MD, TXT, XML로 출력

테스트 결과: Trafilatura 2.2.0 is installed in editable mode in a .venv, all 428 tests pass, and both CLI and Python extraction work correctly on sample HTML input. 6분.

curl-impersonate 포크를 cffi로 바인딩한 Python 라이브러리입니다. 브라우저의 TLS/ja3/http2 지문을 모방할 수 있는 HTTP 클라이언트입니다.

테스트 결과: After installing the pre-built curl-cffi wheel (v0.16.3) into a fresh venv, the library imports, the CLI runs (curl-cffi get, doctor, --help), real HTTP requests with browser impersonation return 200, and the unit test suite passes 600+ tests across all 20 test modules including sync/async HTTP, websockets... 38분.

구조화된 추출 워크플로를 위한 선언적 데이터 자동화 언어 및 Go 런타임

테스트 결과: Go 1.27.1 installed, all dependencies resolved, all 68 test packages pass with race detection, CLI binary compiles and runs FQL queries end-to-end. 7분.

Scrapy용 Redis 기반 구성 요소

테스트 결과: scrapy-redis 0.9.1 is installed in a venv at /work/repo/.venv with real Redis 6.2 running on localhost:6379; all 102 tests pass covering connection pooling, dupefilter, queue (FIFO/LIFO/priority), scheduler, spider setup, idle backoff, multi-key consumption, and utility modules. 9분.

사람을 위한 Node.js 스크래퍼

테스트 결과: scrape-it installs, builds, and passes its full test suite on Node 18.19.1 with cheerio pinned to 1.0.0. 3분.

모든 웹 사이트는 API를 제공합니다.

테스트 결과: toapi 2.2.4 installed from source, all 7 tests pass, CLI help works, Flask server answers 200 with JSON, version 2.2.4 confirmed. 2분.

MCP 및 Chrome DevTools Protocol을 통해 AI agent용 스텔스 브라우저 자동화: 탐색, 네트워크 훅, DOM 추출, 픽셀 정확한 UI 복제.

테스트 결과: Stealth Browser MCP server runs on stdio transport, spawns a headless Chromium 157.0.8086.0, navigates to data URLs, extracts page HTML content, and closes cleanly -- all via MCP protocol over stdio. 15분.

PHP Curl Class는 HTTP 요청 전송 및 웹 API 연동을 쉽게 해줍니다.

테스트 결과: php-curl-class repository is fully installed with PHP 8.5.8 static binary and all Composer dependencies; the full test suite passes with 264 tests and 23390 assertions and zero failures. 43분.

Google Play에서 데이터를 가져오는 Node.js 스크래퍼

테스트 결과: The google-play-scraper npm package installs, all 84 tests pass against live Google Play, and the library's app/list/search/suggest/developer/reviews/similar/permissions/datasafety/categories methods all fetch and parse real data correctly. 8분.

owllook-소설 검색 엔진

테스트 결과: The owllook web server launches on port 8001 and responds with 200 HTTP status on /, /novels/search, /novels/top, /api/search, and /health routes, with real HTML content, connecting to running Redis and MongoDB instances. The existing pytest test suite passes (1 passed, 0 failed). 15분.

https://spatie.be/docs/crawler

테스트 결과: PHP 8.4.23 and Composer 2.7.1 installed from static binaries, all dependencies resolved via `composer update --prefer-stable`, and the full test suite passes (229/229) including both fake-HTTP unit tests and real-HTTP integration tests against a local PHP server. 6분.

Rust로 구현한 기초적인 저지연 웹 데이터 수집

테스트 결과: Rust 1.99.0 installed, cargo build succeeds, spider CLI binary crawls and scrapes example.com returning status 200 and expected page content, all 608 spider core tests pass, workspace-wide crate tests all pass. 56분.

Geziyor는 Go를 위한 초고속 웹 크롤링 및 스크래핑 프레임워크입니다. JS 렌더링을 지원합니다.

테스트 결과: The Geziyor web scraping framework builds and passes every test across all 7 packages, and a compiled demo successfully scraped a live website. 16분.

사용하기 쉬운 경량 웹 크롤러（易用的轻量化网络爬虫）

테스트 결과: Build succeeded (mvn compile, package, test-compile all exit 0); demo crawler successfully fetched and parsed https://www.baidu.com/, producing JSON output. 5분.

CrawlerDetect는 사용자 에이전트를 통해 봇/크롤러/스파이더를 탐지하는 PHP 클래스입니다.

테스트 결과: The CrawlerDetect PHP library installs, builds, and passes its full test suite of 28 tests with 170,886 assertions on PHP 8.0.30. 5분.

Website Cloner - 강력한 Go 루틴을 활용하여 웹사이트를 몇 초 안에 컴퓨터로 복제합니다.

테스트 결과: goclone binary builds from source, all 9 test suites across 3 packages pass, the built binary's help and version commands print correct output. 11분.

asyncio 기반 웹 크롤링 프레임워크

테스트 결과: All 7 tests pass, ruff lint passes, library imports correctly, and item attribute extraction from HTML produces expected results. 1분.

유연한 Node.js 크롤러 라이브러리

테스트 결과: x-crawl library builds successfully; its crawlData, crawlHTML, async/sync modes, baseUrl, timeout, errorCollect, proxy rotation, and Puppeteer browser APIs work correctly against a real HTTP server and CONNECT proxy. 34분.

asyncio 기반의 비동기 Python 3.6+ 웹 스크래핑 마이크로 프레임워크

테스트 결과: Ruia 0.8.5 is installed in a Python 3.12 venv with uvloop; pip install -e .[uvloop] succeeds; 66 of 67 tests pass including all field extraction, item parsing, middleware, request fetching, and spider orchestration tests against live httpbin.org and news.ycombinator.com. 22분.

Modest 및 Lexbor 엔진에 대한 Python 바인딩. Python용 CSS 선택자를 지원하는 빠른 HTML5 파서.

테스트 결과: selectolax C extension successfully built, installed in a venv, all 279 tests passing, and basic HTML parsing + CSS selector usage verified. 4분.

Playwright 테스트 및 자동화 라이브러리의 탐지되지 않는 Python 버전입니다.

테스트 결과: Patchright 1.63.0 is installed, Chromium browser is downloaded and launchable, the CLI reports its version, and 2237 of 2239 Chromium tests pass (sync + async). 37분.

편리하고 프라이버시를 고려한 Python HTTP 클라이언트

테스트 결과: wreq Python package builds, installs, and passes all 57 unit tests against a local httpbin server, supporting HTTP/1.1 and HTTP/2 requests, cookie jars, redirect policies, TLS emulation (JA3/JA4), multipart uploads, streaming, and compression. 15분.

페이지에서 구조화된 데이터를 추출하는 우아한 DSL을 갖춘 경량 Ruby 웹 크롤러/스크래퍼

테스트 결과: Wombat 3.3.0 builds and installs as a gem under Ruby 3.2.3, all 56 RSpec tests pass, and a live Wombat.crawl scrape of a local WEBrick page returns correctly parsed structured data. 12분.

Beanbun은 PHP로 작성된 다중 프로세스 웹 크롤링 프레임워크로, 좋은 개방성과 높은 확장성을 가지며 Workerman을 기반으로 합니다.

테스트 결과: Beanbun 1.0.4 with vendored workerman and guzzle dependencies. PHP 8.3.6 extracted from apt. All source and vendor files parse without errors. Framework class instantiation, configuration, and all Helper methods (randUserAgent, formatUrl, getUrlByHtml) verified working. 16분.

Newspaper4k는 사랑받는 Newspaper3k의 포크. 뉴스 웹사이트에서 기사, 제목, 메타데이터 추출.

테스트 결과: newspaper4k 0.9.6 is pip-installed and editable in /work/repo/venv; CLI runs (help + real article extraction into JSON), 234 tests pass with 2 deselected stale summarization fixtures and 5 external-site failures; package state is clean working tree. 38분.

확장 가능한, 성숙한, 다재다능한 Apache Storm 기반 웹 크롤러

테스트 결과: Apache StormCrawler 4.0.0-SNAPSHOT builds from source (mvn clean install) and its full test suite passes 983 tests with zero errors and zero failures on Java 26 Temurin with Maven 3.10.0. 15분.

SiteOne Crawler는 SEO, 보안, 접근성, 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며, 개발자, DevOps, QA 엔지니어, 컨설턴트에게 적합합니다. Windows, macOS, Linux(x64 및 arm64)를 지원합니다.

테스트 결과: siteone-crawler 2.7.0.20260925-dev builds cleanly with cargo build --release, its offline test suite passes with 1673 passed and 0 failed, and the binary crawls a local HTTP server end to end returning HTTP 200 for both pages and generating an HTML report. 16분.

10+ 플랫폼용 범용 콘텐츠 리더 MCP Server

테스트 결과: x-reader installs in a fresh venv, all 10 tests pass, the CLI fetches real tweets/RSS/web content into the inbox, and the MCP server serves working stdio and SSE transports. 10분.

고성능 비동기 Douyin(抖音) TikTok Xiaohongshu(小红书) Kuaishou(快手) Weibo(微博) Instagram YouTube(油管) Twitter(X) Captcha Solver(验证码解决器) Temp Mail(临时邮箱) API(接口)입니다.

테스트 결과: SDK installs, all 110 tests pass, CLI prints version and help, type-check and lint are clean, and spec coverage confirms 1010/1010 endpoints are implemented. 1분.

많은 내장 이미지 크롤러를 제공하는 멀티스레드 크롤러 프레임워크

테스트 결과: icrawler installs in a virtualenv, all 5 built-in crawler tests pass against live services (Google, Bing, Baidu, BBC, Pinterest), and downloaded images are valid media files verifiable by Pillow. 21분.

Scrapy spiders용 HTTP API

테스트 결과: scrapyrt 0.18.1 is installed in a Python 3.12 venv with all dependencies. All 126 tests pass (including real end-to-end crawl tests with Flask site, Twisted reactor, and scrapyrt HTTP server). The CLI command scrapyrt --help prints usage correctly. 5분.

오픈 소스 SEO 감사 도구.

테스트 결과: SEOnaut installed from source (Go build OK, frontend CSS built, migrations applied to a local MariaDB) and ran on port 9000, serving sign-in (200), creating a user and project, completing a real crawl of 2 URLs, and rendering the dashboard. 9분.

시각적 워크플로 빌더를 갖춘 AI 기반 웹 스크래핑 편집기. 자연어를 사용하여 웹 스크래퍼를 빌드, 테스트 및 배포합니다. ScrapeGraphAI 및 LangGraph 기반입니다.

테스트 결과: ScrapeCraft backend serves all API endpoints on uvicorn, WebSocket connections establish and respond, frontend builds successfully, chat uses real OpenRouter API key, JWT auth works, pipeline CRUD works, scraping endpoints respond. 14분.

NetDiscovery는 Vert.x, RxJava 2 등의 프레임워크를 기반으로 구현된 범용 웹 크롤러 프레임워크/미들웨어입니다.

테스트 결과: The full multi-module Gradle build passes (BUILD SUCCESSFUL, 63 tasks), and the NetDiscovery spider engine example ran as a Java process answering HTTP 200 with JSON on port 8715 routes /netdiscovery/health/, /netdiscovery/spiders/, /netdiscovery/spider/tony1/detail, and /netdiscovery/metrics/, while the downloader... 69분.

소셜 미디어 전반에서 사용자 데이터 가져오기

테스트 결과: 8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access. 16분.

FreeProxy: 인터넷에서 무료 프록시 수집. (전 세계의 방대한 고품질 무료 프록시, 수십 개의 무료 프록시 공유 소스 크롤링 지원, 사용자 정의 규칙 프록시 필터링 지원, 크롤러와 데이터 분석에 필수, 매일 방대한 무료 프록시 업데이트.)

테스트 결과: pyfreeproxy v0.5.2 installed in /tmp/venv, all 48 proxy sources registered, Proxifly/ProxyScrape/Geonode scrape real proxies successfully, filter rules and ProxiedSessionClient work, JSON export round-trips correctly, free proxies collected but actual proxy requests time out as expected from this container network. 3분.

Python에서 탐지되지 않는 웹 스크래핑 및 원활한 HTML 파싱!

테스트 결과: stealth-requests 2.1.0 installed in a fresh venv, all 64 tests pass, and real requests to httpbin.org succeed with proper Chrome impersonation headers. 1분.

AI를 위한 오픈 소스 웹 인프라. 웹 스크래핑, 웹 크롤링, 웹 자동화, 마크다운 정리, 브라우저 세션, 여러분의 agents를 위해 준비 완료.

테스트 결과: Reader CLI builds, all 346 unit tests pass, the daemon starts with Playwright's bundled Chromium, and an end-to-end scrape of https://example.com via HTTP returns clean HTML and markdown content with a 200 status. 13분.

모든 웹사이트를 AI agent를 위한 컴팩트 CLI로 전환합니다. 웹을 hundreds의 토큰으로 탐색하며, tens of thousands가 아닙니다.

테스트 결과: only-cli v0.5.8 installs and runs on Node 20.11.1; 263 of 264 tests pass; the CLI fetches, distills, and renders public web pages with token-budgeted output and actionable numbered links. 3분.

재미있는 이름을 가진 매우 간단한 뉴스 크롤러

테스트 결과: Fundus 0.5.7 installs cleanly in a venv, all 1131 unit tests pass, and the crawler successfully fetches live article data from The New Yorker via HTTP. 3분.

자체 호스팅 다채널 항공권 가격 모니터링: 항공편 상세 정보 수집 → 钉钉 이미지 텍스트 푸시 → 기준 도달 시 四단계 강력 알림. 국내 노선과 국제 노선(五대륙 목적지)은 동일한 수집-판정-푸시 체인입니다. 데이터는 로컬에 유지되고, 구성은 전부 웹 페이지에서 처리되며, 오픈...

테스트 결과: All dependencies installed in venv, Playwright chromium installed, test suite runs 3712 tests all passing, web UI demo server starts and responds with HTTP 200 on its state API endpoint, main.py --version reports 1.5.303. 44분.

AI agents용 탐지 방지 브라우저 서버: Camoufox 엔진을 래핑하는 REST API, OpenClaw 플러그인 지원 포함

테스트 결과: Camofox Browser Server builds, starts on port 9998, creates browser contexts via Camoufox Firefox headless, navigates to https://example.com, returns accessibility snapshots, and passes the 677-test full suite with Node.js 20 and rebuilt native addons. 34분.

크롤 워크스테이션: 보기, 제어, 크롤. Solr CrawlDB, Tika, Vue 3.

테스트 결과: Sparkler is installed with Python 3.12, Solr 10.0.0 on port 8983, Vue UI built and served on port 8180, APIs responding, all 32 unit tests passing. 7분.

슈퍼 개인과 한 사람 기업을 위한 한 사람의 대기업을 만들기 위해, Hydra九头龙은 대규모 AI 스케줄링, 데이터 수집, 정보 시스템, 데이터 플랫폼, 분석 의사 결정, 제품 생산의 '군사' 산업 기반을 구축합니다.

테스트 결과: After fixing module-name casing, pinning Lombok 1.18.34, and adding the missing System.Subsystem config block, the Maven build succeeds and the ShadowBoot crawler app boots and runs the README's Void minimum-system demo to completion (exit 0, 'Pinecone Runtime : 136 /ms !'), while the full test suite passes with 48... 9분.

pytrends를 기반으로 하며 엔터프라이즈 기능을 포함하는, 고급 속도 제한, 쿠키 인증, 그리고 아름다운 터미널 출력을 갖춘 Google Trends 분석용 Python CLI

테스트 결과: trends-checker installs and runs, hitting the real Google Trends API via pytrends (with urllib3 compat patch applied to pytrends request.py), returning real interest data verified at score 42.83 for 'AI agents' in US. 5분.

한국 정부 지원사업 전수조사 agent skill [Claude Code·Codex·agy(Antigravity)·Cursor·Gemini CLI·Grok Build 지원] K-Startup·기업마당·NIPA·KOCCA·SMTECH 크롤링 + 즉시/로드맵/변형 3분류 (한국 전용)

테스트 결과: The project's 229 pytest tests pass, and every CLI crawler (K-Startup, bizinfo, NIPA, KOCCA, SMTECH list and detail, scope_plan, diff_surveys) ran successfully against live Korean government sites, producing real announcement records and detail text. 4분.

빠른 (웹) 크롤러 및 스크레이퍼 개발을 위한 라이브러리

테스트 결과: 1278 of 1278 default unit tests pass, PHP 8.3.32 and Composer installed, Chrome for Testing available, integration server fixed with short_open_tag=Off and 500ms startup delay. 27분.

Scrapy용 Zyte Smart Proxy Manager(이전 명칭 Crawlera) 미들웨어

테스트 결과: scrapy-zyte-smartproxy v2.4.1 installed in a Python 3.12 venv; all 82 existing unit tests pass with zero failures. 1분.

눈 깜짝할 사이에 수 메가바이트의 유효하지 않은 HTML을 파싱하는 매우 빠른 웹 스크래퍼. PHP5.3+, 종속성 없음.

테스트 결과: hQuery.php library installs, autoloads, and parses HTML via fromHTML() and find()/text() selectors; all 27 unit tests pass on PHP 8.4.1 via FrankenPHP static binary. 7분.

Aliexpress 제품 상세 정보를 피드백, 변형, 배송 정보, 설명, 이미지 등을 포함한 JSON 응답으로 가져옵니다.

테스트 결과: Node 24.0.0 installed, pnpm installed, Chromium 145 downloaded, all 22 tests pass, ESLint clean. 1분.

CrawlerDetect - 웹 크롤러 탐지 라이브러리를 위한 Laravel 래퍼

테스트 결과: All 9 package tests pass, detecting crawlers from real user agent lists via the Laravel facade and Request macros. 4분.

공식 API 없이 Spotify의 공개 데이터(트랙, 앨범, 아티스트, 플레이리스트, 팟캐스트, 가사)를 추출합니다. 동기 + 비동기, 타입이 지정된 모델, 단일 종속성.

테스트 결과: The SpotifyScraper package is installed and working: the CLI fetches real Spotify track/artist/playlist data over the network, the hermetic unit test suite passes completely (921/921), and the MCP server imports and launches correctly after pinning mcp to v1. 3분.

오픈 소스 AI 가시성 추적기입니다. ChatGPT, Perplexity, Gemini, Copilot 및 Google AI Mode가 브랜드를 언급하고 인용하는 방식을 추적합니다. 자체 호스팅이며 MIT 라이선스이고, 자체 키를 가져와야 합니다.

테스트 결과: Next.js dev server runs on port 3000 serving the GEO/AEO Tracker dashboard in demo mode, with all pages (/ and /demo) and API routes (/api/analyze, /api/audit, /api/scrape, etc.) responding correctly. 4분.

여러 4chan 스레드의 모든 이미지/비디오를 동시에 지속적으로 다운로드하는 Python3 스크립트 - 설치 없이

테스트 결과: Both scripts compile, install cleanly via venv, and successfully interact with live 4chan API endpoints: thread-watcher queries the catalog and writes URLs, inb4404 downloads thread media files with validated content. 4분.

xvideos API 라이브러리

테스트 결과: npm install completes with warnings. Build succeeds. 5 unit test files (47 tests) pass on fixture HTML. Full test suite: 52 pass, 4 fail (all integration tests blocked by xvideos.com returning 404 on /verified/videos/). 5분.

LLM에 최적화된 고성능 웹 크롤러 API입니다. 모든 검색 또는 웹사이트를 원격 브라우저를 사용하여 깔끔한 Markdown으로 변환합니다. Firecrawl 대안

테스트 결과: Teracrawl server starts on port 8085 with a local Chromium-backed mock Browser.cash pool and a mock SERP service. GET /health returns 200, POST /scrape converts a live URL to markdown via real headless Chromium, POST /serp/search returns mock search results, and POST /crawl combines both to scrape multiple URLs. 15분.

공개 Facebook Ad Library를 API token 없이 스크래핑하여 경쟁 광고 조사에 사용하는 무료 자체 호스팅 MCP 서버 (광고주, 카피, 랜딩 페이지, CTA, 어떤 국가든).

테스트 결과: MCP server loads, imports, starts over stdio, registers both tools, and all 8 offline parser tests pass. 7분.

golang spider Crawler 爬虫 电影

테스트 결과: GoMovies binary compiled and serves HTTP on port 8899 with Redis persistence; spider successfully fetches movie data from hhzyapi.com external API. 20분.

oddsportal.com에서 직접 스포츠 베팅 데이터를 스크래핑하고 처리하도록 설계된 python 앱

테스트 결과: OddsHarvester v0.15.0 installed from source with uv and Playwright; all 1308 unit tests pass and 63 of 82 integration tests pass against HAR replay (19 live-only skipped, 1 xfail for known in-play replay limitation). 40분.

Project Eyes On은 Y0oshi(@rde0)가 개발한, 전 세계의 공개 IP 카메라를 찾기 위한 고속 멀티스레드 감시 도구입니다. Google Dorking과 Directory Scraping을 단일 OSINT 엔진으로 통합합니다.

테스트 결과: Project Eyes On installed, imports correctly, Insecam scraping and multi-engine dorking both find real live IP cameras, and JSON/CSV/HTML reports all produce valid output. 2분.

모든 인터페이스에 대해 하나의 명령: API, 브라우저, 데스크톱, 로컬 도구 및 MCP에서 실제 소프트웨어를 검색, 실행 및 검사합니다.

테스트 결과: Uni-CLI v1.2.1 builds from source, runs 3735 passing unit tests, and executes live commands (hackernews top, search, doctor) against real remote APIs on Node 22.23.4 (npm v10.9.9). The npm global package v1.3.0 is also installed and functional. 20분.

자체 호스팅 TikTok, Douyin & Bilibili 스크레이퍼 및 워터마크 없는 동영상 다운로더. 비동기 REST API, AI agents용 MCP 서버, CLI 및 웹 콘솔, 그리고 다운로드한 동영상의 오프라인 음성 텍스트 변환. 자가 치유 신원 풀, PostgreSQL...

테스트 결과: All 2960 tests pass (2450 unit + 510 integration), the CLI outputs version 5.0.1 and lists 10 commands, the API server starts and serves healthz/readyz/swagger/console root with 200, the web console SPA is built, and both the PostgreSQL+TimescaleDB and Redis backends and the Go downloader sidecar run. 48분.

AI agent용 스텔스 헤드리스 브라우저. Cloudflare, 봇 탐지, 안티 스크래핑을 우회합니다. Puppeteer/Playwright의 드롭인 대체품입니다.

테스트 결과: Camofox browser server installed and verified: Node 22.23.4 in user space, Camoufox 1.3GB binary downloaded, GeoIP 50MB database downloaded, server starts at localhost:9377 with Xvfb virtual display, creates browser tabs navigating to real URLs, returns accessibility snapshots with element refs, and closes cleanly on... 13분.

단일 요청부터 대규모 크롤링까지 모든 것을 처리하는 최고의 웹 스크래핑 프레임워크입니다!

테스트 결과: Scrapling 0.4.15 is installed in a venv with all extras, Playwright Chromium browser available, all 985 tests pass, CLI and MCP server commands respond correctly, and HTTP fetches via StealthyFetcher return status 200 from real endpoints. 8분.

웹 스파이더용 Python ProxyPool

테스트 결과: The ProxyPool Flask API server runs on port 5010 backed by real Redis, responds to all endpoints (/get, /pop, /all, /delete, /count), and all 248 automated tests pass. 6분.

웹 자동화 및 스크래핑을 위한 Chrome DevTools Protocol 드라이버

테스트 결과: Rod compiles with go build ./... passes all vet checks, and launches Chromium 128 to control a browser page via DevTools Protocol. The main rod test suite and lib/cdp, lib/launcher (except known flaky TestManaged), and lib/proto sub-packages all pass. 59분.

웹 브라우저를 가장할 수 있는 HTTP 클라이언트

테스트 결과: The repo builds and runs: Rust workspace checks and per-crate test suites pass (1354 tests), the primp Python extension installs into crates/primp-python/.venv, 493 Python tests pass, and a real impersonated HTTPS request returns HTTP 200. 15분.

고성능 브라우저 자동화 브리지 및 다중 인스턴스 오케스트레이터, 고급 스텔스 주입과 실시간 대시보드 포함.

테스트 결과: A source-built PinchTab server (binary reports pinchtab dev) is running on 127.0.0.1:9867 with a responsive always-on headless instance and answered authenticated health, navigate, snapshot, text, title, and screenshot API calls with HTTP 200, while the full Go unit suite (9166 passed, 18 skipped) and scripts/check.sh... 19분.

Puppeteer 기반의 헤드리스 Chrome/Chromium 드라이버. 프로덕션 준비 완료 API를 통해 스크린샷을 촬영하고, PDF를 생성하며, 텍스트와 HTML을 추출할 수 있습니다.

테스트 결과: The browserless monorepo installs under Node.js 24 with puppeteer 25, all packages build, Chrome 154 launches headlessly, and 390+ tests pass across 10 packages (browserless, goto, screenshot, capture, function, devices, errors, screencast, lighthouse, ai). 32분.

agents를 위한 더 나은 링크 추출 기능을 갖추고 직접 cloudflare 또는 vercel에 배포할 수 있는 100% 무료이며 완전한 오픈 소스 엣지 Firecrawl 대안

테스트 결과: Dependencies installed, SDK tests pass (41/41), full monorepo build and typecheck pass, and the dashboard serves HTTP 200 on / and /docs in both dev and production modes; the V0 API worker served 200 on /, /docs and /openapi in local mode with D1 migrations applied. 33분.

경량 웹 크롤러 프레임워크입니다. (Java 크롤러 프레임워크)

테스트 결과: XXL-CRAWLER builds from source, produces a deployable jar, and passes 6 tests (4 utility tests + 2 real website crawls extracting structured data from cnblogs.com and baidu.com). 13분.

웹 자동화를 위한 오픈 소스 AI agent. 실제 로그인된 브라우저를 사용하여 일상 작업을 자동화합니다.

테스트 결과: Dependencies installed, project builds to dist/ (background.iife.js 1,848.81 kB, manifest.json), TypeScript type-check passes across all 15 packages, unit tests pass (14/14). 15분.

Firecrawl 공식 MCP 서버는 AI agents를 위한 컨텍스트 API로, 웹 검색, 스크레이핑, 상호작용뿐만 아니라 어떤 MCP 클라이언트에서든 파싱, 크롤링, 매핑, Agent 및 Monitor를 지원합니다.

테스트 결과: Firecrawl MCP Server v3.24.1 builds, installs, and starts successfully with 25 tools in stdio mode; 81 of 84 tests pass. 24분.

Scrapy, Python용 빠른 고수준 웹 크롤링 및 스크래핑 프레임워크.

테스트 결과: Scrapy 2.19.0 installed from source, 4539 tests pass, scrapy bench crawls 1781 pages against a local HTTP server. 15분.

Go로 작성한 빠르고 간단한 동영상 다운로드 라이브러리 및 CLI 도구

테스트 결과: Lux builds and runs: the binary outputs version info and help, extracts real YouTube video metadata, and 14 of 48 test packages pass (all failures are network-dependent extractor tests or DNS-timeout content-type lookups; no code defects remain). 11분.

news-please - 바로 작동하는 뉴스용 통합 웹 크롤러 및 정보 추출기

테스트 결과: news-please 1.6.13 installs and its library API extracts structured article data (title, authors, publication date, description, maintext, language) from HTML via both HTTP and raw HTML input; CLI entry points respond with help output. 5분.

Playwright 테스트 및 자동화 라이브러리의 탐지되지 않는 NodeJS 버전

테스트 결과: Repo dev deps install and both repo checks pass under Node 22; the npm-published patchright 1.63.0 with its installed patched Chromium launches headless and loads a page from a local HTTP server in this container. 3분.

항상 최신 상태로 유지되는 HTTP 클라이언트용 브라우저 user-agent 상위 100개 목록

테스트 결과: The repo installs cleanly; with the bundled prebuilt Node 22, npm test passes all 5 tests and require/consumer checks return 100 main, 82 desktop, and 18 mobile valid user-agents from the packed tarball; only the Redis-backed update scripts remain unrunnable in this container because no redis-server is available. 3분.

AI 에이전트를 위해 빌드된 브라우저 자동화 CLI입니다. 안티봇 장벽을 돌파하고, 막힐 때 플랫폼 간에 사람에게 넘깁니다. 병렬 멀티태스크 실행, 독립적인 멀티세션 운영, 격리된 멀티계정 브라우징.

테스트 결과: browser-act-cli 1.4.2 installed, skill handshake completed, and the chrome browser type (bundled Chromium) works end-to-end, browser create, open, navigate, state inspection, content extraction via get markdown, and session close all succeed; stealth features require a server-side-validated BrowserAct API key that... 5분.

애그노스틱 네트워크 크롤러로, 포괄적인 피어 정보와 네트워크 토폴로지 정보를 제공합니다.

테스트 결과: Nebula builds with just build, runs dry-run and ClickHouse-backed IPFS crawls against real network peers, persists crawl data to ClickHouse, and passes all 92 tests across 7 packages with Postgres 16.4 and ClickHouse 26.11 running locally on their test ports. 16분.

AI 브라우저 agent를 위한 오픈 소스 Python 라이브러리, 그리고 Browser Use Cloud: 스텔스 브라우저 및 호스팅된 agent API.

테스트 결과: browser-use v0.13.10 installed in a Python 3.12 venv with uv, Chromium headless installed via playwright, and all 563 CI tests pass (529 passed, 34 skipped) after fixing 2 test identity comparison bugs in test_beta_agent.py that only manifest under xdist worker parallelism. 75분.

에어갭, 프라이버시 중심, 오픈 소스 NotebookLM 대안입니다. 문서를 조사하고 변환하며 편집하는 AI agent입니다.

테스트 결과: All Python trees (surfsense_backend, surfsense_mcp, surfsense_local/backend, plugins/remote/host core tests) install and pass tests; the web frontend fails to compile native deps on Node 18.x (requires 24.x); docs are clean. 20분.

웹사이트 변경 감지, 웹 페이지 모니터링, 웹사이트 변경 알림을 위한 최고이자 가장 간단한 도구입니다. 콘텐츠 변경, 가격 인하, 재입고 알림, 웹사이트 변조 모니터링을 추적하는 데 적합합니다. 모두 무료이거나 SaaS 플랜을 이용할 수 있습니다.

테스트 결과: changedetection.io 0.60.7 installs into a venv, launches and serves HTTP 200, its full basic test suite passes (680 passed in the main group, exit 0, plus 508 unit tests), and a real watch added via the API detected a content change and exposed it in the UI. 76분.

jsoup: HTML 편집, 정리, 스크래핑, XSS 안전을 위해 만들어진 Java HTML 파서

테스트 결과: jsoup compiles from source with JDK 21 and Apache Maven, all 2,341 unit tests pass, and the built JAR correctly parses HTML and extracts DOM content. 2분.

리드 생성용 무료 오픈 소스 Google Maps 스크레이퍼 (Python, API 키 없음, Docker 없음). 이름, 전화번호, 이메일, 웹사이트, 평점 및 Instagram/Facebook/LinkedIn/TikTok/YouTube/X 링크를 CSV로 내보냅니다. 44초 안에...

테스트 결과: The scraper binary runs natively, its REST API on localhost:8080 creates/polls/downloads scraping jobs against real Google Maps data, and the included Python CLI successfully produces lead CSVs with real business listings. 7분.

Elasticsearch 파일 시스템 크롤러 (FS Crawler)

테스트 결과: FSCrawler 3.1-SNAPSHOT builds successfully via Maven, distributable ZIP is packaged, binary launches and shows help/version, and 687 unit tests pass when run with the `-Dtest="*Test"` workaround. 82분.

puppeteer와 playwright의 자동화 탐지 및 누출을 방지하기 위한 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 방지하는 데 도움을 줍니다. 패치/패치 해제가 쉬우며, 요청 시 활성화/비활성화할 수 있습니다.

테스트 결과: rebrowser-patches repo installs, builds 6 drop-in tarballs, and passes all 43 test gates (detection, scenarios, smoke) with patched Puppeteer-core 25.14.0 and Playwright-core 1.64.1 defeating Runtime.Enable detection. 8분.

인체공학적이고 프라이버시를 고려한 Rust HTTP 클라이언트

테스트 결과: wreq v0.16.1 builds and all 280+ integration tests pass on Rust 1.99.0 (Ubuntu 24.04) with BoringSSL via btls, after providing libclang (extracted from libclang1-20 + libclang-20-dev debs) and workaround for Ubuntu 24.04's missing /usr/include/stddef.h. 35분.

Chrome 및 Firefox용 Java API

테스트 결과: Jvppeteer 3.6.5 builds and installs via Maven, Chrome for Testing 149.0.7798.0 runs headlessly, and the library launches the browser, navigates pages, evaluates JavaScript, and retrieves page content successfully. 26분.

AI agent를 위한 전체 콘텐츠 웹 페처: Chrome TLS 핑거프린팅, 브라우저 위장, 다중 전략 기사 추출 및 웹 스크래핑.

테스트 결과: agent-fetch 0.1.6 builds from source, passes all 904 unit tests, and successfully fetches and extracts real web pages (Wikipedia, example.com) via CLI. 6분.

공식 Crawl4AI Cloud: AI agent를 위한 호스팅 웹 스크래핑, 추출, 검색 API. 무료 API 키, 월 1,000 크레딧, 카드 불필요. 완전 오픈 소스: 이 repo는 그것을 구동하는 Apache-2.0 크롤러이며, 여러분은 이를 자체 호스팅할 수 있습니다.

테스트 결과: Crawl4AI 0.9.4 installed in venv, Playwright chromium browser downloaded, DB initialized, AsyncWebCrawler can crawl real URLs with markdown output, cache operations work, and 360 core tests pass with 11 skipped. 14분.

NodeJS 및 서버 사이드 jQuery용 웹 크롤러/스파이더;-)

테스트 결과: crawler v2.1.1 builds from TypeScript, all 51 tests pass under Node 22 with nock-mocked HTTP, and the module loads correctly to process crawl tasks. 4분.

메시징 플랫폼용 agent 기반 추출기. Noria는 채팅을 통해 메시지와 URL을 수신하고, 웹 데이터를 스크랩하여 사용자 지정 점수 매트릭스(예: 채용, 장학금)에 대해 콘텐츠를 평가하며, 계산된 매치 점수와 함께 구조화된 요약을 지정된 메신저 번호로 직접 전송합니다.

테스트 결과: npm install completes, all 232 unit tests pass across 17 suites with zero lint errors, the Node.js backend boots registering all domain/LLM/scraper/sender/listener plugins and loading the scholarships and jobs pipeline configs, and the Streamlit Control Center UI starts and serves on port 8501. 11분.

다중 계정 로테이션과 내장 레이트 리밋 처리를 지원하는 X/Twitter 스크래핑용 Python 라이브러리 및 CLI

테스트 결과: All 217 tests pass with 81% coverage; twscrape CLI reports version 0.20.1 and SQLite 3.45.1. 1분.

공개 웹 액세스를 위한 올인원 솔루션을 제공하는 강력한 Model Context Protocol (MCP) 서버

테스트 결과: The Bright Data MCP server installs and all 21 unit tests pass under Node.js v22.12.0; the server starts listening when API_TOKEN is set. 4분.

모든 웹사이트를 타입 지정 API 클라이언트로 리버스 엔지니어링합니다. Claude Code, Codex, Cursor 및 OpenCode와 함께 작동합니다.

테스트 결과: Project installed via uv sync, all 1025 tests pass, and the reverse-api-engineer CLI displays its help output. 2분.

Diskover Community Edition - Elasticsearch 기반 오픈 소스 파일 인덱서, 파일 검색 엔진, 데이터 관리 및 분석

테스트 결과: Python scanner installs successfully, compiles cleanly, and completes a directory crawl indexing 22 file/directory documents into a mock Elasticsearch instance. 18분.

Finviz 분석 python 라이브러리.

테스트 결과: All 128 offline tests pass and every package module (quote, news, insider, calendar, screener, group, earnings, forex, crypto, future, util) returns correct data from committed HTML fixtures. 2분.

Boss直聘 크롤러 / BOSS直聘 채용 데이터 수집 도구로, Chrome CDP 프로토콜을 기반으로 실제 로그인 상태를 재사용하여 폰트 안티 크롤링을 우회하고, 평문 급여 JSON/CSV와 급여 기술 분석을 출력합니다. Chrome-CDP 기반 BOSS Zhipin 채용...

테스트 결과: Virtual environment created with all dependencies, both Python scripts compile clean, and the full mock-based test suite (109 tests) passes. The CLI prints correct version (2.2.0), help output, and city listings. Real Chrome CDP scraping cannot be verified in this container, --check correctly reports no Chrome... 2분.

X용 Twitter 스크래퍼: 트윗, 프로필, 팔로워 및 팔로잉, API 키 불필요. 멀티 계정 풀링, 프록시 지원 및 async를 갖춘 Python 라이브러리, 또는 Apify의 호스팅 버전.

테스트 결과: Scweet 5.8.0 installs cleanly in a Python 3.12 venv; 495 unit tests pass; the CLI builds and shows help; the library imports without network; material in tests/fixtures/ provides captured X responses for offline test coverage. 9분.

Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 유럽의 새로운 아파트, 주택, 플랫을 계속 검색하고, 결과를 Slack, Telegram...

테스트 결과: Fredy backend serves HTTP 200 on port 9998 after DB migration and all 4260 offline tests pass with Node v22.23.3. 6분.

AI agent와 SEO를 위한 자체 호스팅 웹 검색입니다. Google, Bing, Yandex, Baidu, DuckDuckGo 및 Ecosia를 실제 브라우저에서 렌더링하여 순위가 매겨진 결과와 깨끗한 페이지 Markdown을 제공합니다. API, CLI, MCP를 지원합니다.

테스트 결과: OpenSERP v0.8.13 builds, all 12 unit test suites pass, and the HTTP server starts, serving /health and /ready endpoints on 127.0.0.1:7000. 8분.

WebAI2API: Camoufox 기반의 웹 AI를 API로 변환하는 도구, LMArena/Gemini 등 지원, 다중 창 동시 실행 및 계정 격리. | Camoufox를 통한 웹 AI의 OpenAI API 변환. LMArena/Gemini 등 지원, 다중 창 동시 실행 및 계정...

테스트 결과: The WebAI2API server starts on port 3000 with a Camoufox browser instance, serving OpenAI-compatible /v1/models, WebUI, and /v1/cookies endpoints, all returning HTTP 200, though chat completions require real AI website credentials via the browser adapter and cannot produce output without logging in. 7분.

브라우저와 동일한 TLS/HTTP2 지문을 생성하는 Go HTTP 클라이언트. Chrome, Firefox, Safari를 암호화 수준(JA3/JA4, Akamai 지문, 헤더 순서)에서 완벽하게 모방하여 봇 탐지를 우회합니다. HTTP/1.1, HTTP/2, HTTP/3, 세션...

테스트 결과: Go 1.26.0 installed, httpcloak project builds cleanly, all 1402 Go test cases pass across 7 sub-packages, shared C library built, Python bindings installed and all 12 Python alias tests pass. 8분.

HTTP(S)/SOCKS5 회전형 주거용 프록시 - 코드 예제 및 일반 정보

테스트 결과: Mock proxy verified: shell/shell.sh (curl via proxy): returned 200 with IP JSON; python/python.py (requests via proxy): returned 200 with IP JSON; nodejs/node.js (axios via proxy): returned 200 with IP JSON. 9분.

Golang 짧은 동영상 워터마크 제거：抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

테스트 결과: with a user-local Go 1.24.0 toolchain the project builds, its 90 passing tests and race suite are green, the HTTP server starts and serves 200 on / and /api/v1/health with 26 platforms, and a real Sohu video was parsed, downloaded (22.6 MB), and fully decoded by ffmpeg to h264/aac. 20분.

660개 이상의 muapi 호스팅 생성형 미디어 모델과 커뮤니티가 제출한 타사 API 도구(SEO, 강화, 소셜, 스크래핑), 항목당 YAML 파일 하나씩, 기능별로 탐색 가능.

테스트 결과: PyYAML 6.0.3 installed; catalog_validate.py validates all 665 YAML entries in providers/ and models/ successfully with zero errors. 3분.

X.com을 위한 Pure-Python 프로토콜 도구 및 연구 노트, VibeLoft Twitter 계정 데이터셋 포함

테스트 결과: All 20 integration tests pass - uv sync installs cleanly, all 8 tool modules import and return valid data from the mock X API server, plus VibeLoft account collection via real API, tweet analysis, and status scripts verified. 6분.

ChatGPT Team(Business) 프로모션 코드 자동 스캔 도구: 일괄 발견/검증/가격 수집, 17개국 34개 코드 지원, 최대 71% 할인 | ChatGPT Business 프로모션 코드 스캐너: 일괄 발견, 검증, 가격 수집, 17개국 34개 코드, 최대 71% 할인

테스트 결과: Repo installs cleanly and every scanning script (auto_scan, discover_codes, verify, open_stripe, partner_scan, and the us/mega/uk scanners) ran and produced valid output against the local mock of the ChatGPT API and Clash proxy; open_stripe.py works after switching its hardcoded proxy to the project config-driven... 43분.

ChatWeb은 웹 페이지를 크롤링하고, PDF, DOCX, TXT를 읽고 주요 콘텐츠를 추출한 다음, 콘텐츠를 기반으로 질문에 답변하거나 핵심 요점을 요약합니다.

테스트 결과: ChatWeb runs in all three modes (console, API, webui) behind a mock OpenAI API. The /upload_file, /summary, and /answer endpoints return HTTP 200 with correct JSON schemas; the console mode accepts file paths and /help commands; the webui Gradio interface binds on port 7860 and returns HTTP 200. 15분.

Oxylabs 제품의 공식 Agent skills

테스트 결과: Five Oxylabs agent skills (headless-browser, proxies, video-data, web-scraper-api, web-unblocker) install via skills CLI. .env.example corrected to OXY_RES_USERNAME/OXY_RES_PASSWORD consistent with all docs. Mock server confirms the documented API endpoint patterns respond 200 OK. 7분.

페이스트 사이트에서 유출 정보를 검색하는 크롤러(봇)

테스트 결과: Dashboard serves HTTPS on localhost:8080 returning complete HTML page; analysis engine detects email:password combos, private keys, API tokens, and 18 configurable search terms; SQLite dedup DB tracks crawled paste IDs; all 6 module scripts pass syntax check; pastes.io and pastebin.com external endpoints are reachable. 5분.

사이트, 여러 도메인, 특정 링크 또는 무한히 크롤링할 수 있는 다용도 Ruby 웹 크롤링 라이브러리. Spidr는 빠르고 사용하기 쉽게 설계되었습니다.

테스트 결과: Spidr builds and its full 317-example RSpec suite passes, and a locally hosted mock site is spidered end to end (3 URLs visited, no failures) with no real third-party credentials. 20분.

하나의 명령으로 小红书, 抖音, TikTok, B 站, 快手, 微博, 闲鱼, 淘宝, 京东, X를 조작: 통일된 명령과 JSON 출력, 사람과 AI Agent용

테스트 결과: catbus CLI is installed, builds, and all 962 offline tests pass. The binary outputs valid JSON envelopes for version, help, platforms, doctor, and handles platform aliases, native name mapping, and auth-required errors correctly. 3분.

AI agent용 skill: SearXNG로 웹 검색, Camofox로 브라우징, CloakBrowser로 보호 우회. 설계상 환각 방지. 자체 호스팅, 무료, 무제한.

테스트 결과: npm install succeeds, CloakBrowser (with Node 20, not the system Node 18) fetches live pages, the SearXNG and Camofox deterministic scripts pass their full command flows against schema-correct mocks, unit suites pass 28/28 and 12/12, and setup.sh/audit.sh complete without failed checks; real SearXNG/Camofox Docker... 33분.

반자동 웹 콘텐츠 추출기를 생성하기 위한 프레임워크입니다.

테스트 결과: Scrapple 0.3.0 installs, builds, and runs on Python 3.12; the CLI accepts all 4 commands (genconfig, run, generate, web), scrapes live websites via XPath and CSS selectors, and generates executable Python scripts, 13/17 tests pass with the remaining 4 failing only because their target websites changed HTML since 2018. 10분.

브라우저 TLS 핑거프린트 위장을 지원하는 Node.js HTTP 클라이언트

테스트 결과: wreq-js v3.2.0 is installed and working on x86_64 Ubuntu 24.04 with Node.js v22.23.4, the TypeScript build completes, the native Rust binding (prebuilt) loads correctly, and the test suite passes 195/200 tests against a local HTTP/HTTPS/WebSocket test server. 5 tests are skipped: 4 requiring full native setCookies... 28분.

이름 + 도메인을 사용한 전문 이메일 발견 및 검증

테스트 결과: Project builds from source, 9 unit tests pass, and both email-sleuth/es binaries execute their full pipeline (config loading, SMTP connectivity testing, pattern generation, DNS resolution, JSON output) without crashing. 6분.

Google News용 경량 스크래퍼

테스트 결과: TypeScript compiles cleanly, rollup builds CJS+ESM bundles, both module formats load at runtime, and all 46 unit/integration tests pass on Node 18.19.1. 13분.

StormCrawler로 뉴스 크롤링 - 콘텐츠를 WARC로 저장

테스트 결과: The NewsCrawlBootstrap topology runs in Storm LocalCluster against local mocks, detects the RSS feed, acks status updates to OpenSearch, and writes a gzip-valid WARC containing fetched feed content; mvn clean package and all 10 unit tests pass. 69분.

Graphlit Platform용 Model Context Protocol (MCP) Server

테스트 결과: Graphlit MCP Server builds, launches, and responds correctly to MCP protocol initialize, resources/list, and tools/list requests. 10분.

Python 패키지로 Twitter의 프론트엔드를 쉽게 스크래핑합니다.

테스트 결과: Package installs in a virtualenv, all 9 tests pass, xquik search function verified end-to-end with a mock HTTP server. 2분.

GPlay Scraper는 Google Play Store에서 포괄적인 앱 데이터를 추출하기 위한 강력한 Python Google Play 스크레이퍼 라이브러리입니다. Google Play Store 앱을 스크레이핑하여 평점, 설치 횟수, 리뷰, ASO 지표, 개발자 정보 및 65개...

테스트 결과: gplay-scraper installed in a venv with all dependencies; all 48 tests pass after fixing the tls_client client_identifier string from 'chrome112' to 'chrome_112'. 4분.

MinerU-HTML: SLM 기반 HTML 주요 콘텐츠 추출기로 깨끗한 HTML 본문을 출력합니다. Deep Research Agents, RAG 애플리케이션 및 학습 데이터 생성에 적합합니다.

테스트 결과: MinerU-HTML v1.1.2 package installs and imports correctly in a Python 3.12 venv; the full extraction pipeline runs to completion with a mock LLM backend, correctly filtering navigation/auxiliary elements from main content HTML; all 20 internal modules import cleanly; config validation, fallback handlers... 16분.

Laravel 애플리케이션의 route를 스캔하여 SEO 개선 제안을 제공합니다.

테스트 결과: composer install works, the full Pest suite passes (171 passed, 3 skipped), PHPStan passes, and seo:scan-url returns real results (score 65, 28 passed, 15 failed) plus seo:scan persists the score to MariaDB, all against local mocks in this container. 28분.

Hyperbrowser 사용 예제

테스트 결과: After npm install, TypeScript compiles cleanly and the company-researcher CLI runs end-to-end against a schema-correct local Hyperbrowser mock, producing the full structured research output and exiting 0; real Hyperbrowser/OpenAI API keys were not exercised. 12분.

Google Maps에서 데이터를 스크래핑합니다. 각 장소의 이름, 주소, 전화번호, 웹사이트 URL, 평점, 리뷰 수, 위도와 경도, 리뷰, 이메일 등을 추출합니다.

테스트 결과: All 17 Go packages with tests passed with race detection (no failures), the binary compiled and prints version/help correctly, and all 10 JS skill tests plus shell helper tests passed. 6분.

LLM을 사용하여 웹 데이터를 강력하게 추출합니다.

테스트 결과: npm install builds successfully, 84 unit tests pass, 63 html-to-markdown integration tests pass with real ground-truth data, all LLM extraction integration tests pass with mocked providers, processedContent tests pass; Playwright browser tests fail at import on Node 18. 39분.

AI 기반 Python 스크레이퍼

테스트 결과: 191 unit tests pass after fixing 13 categories of test failures covering models_tokens assertions, cleanup_html behaviors, logger capture, file paths, missing dependencies, mock patterns, and mock class completeness. 46분.

SERP API를 통한 Google 검색 결과 pip Python 패키지

테스트 결과: The SerpApi Python client library installs from source, runs 43 unit tests successfully against a locally hosted mock backend, and passes a basic smoke test (OOBT). 11분.

200+ 국가에서 90M+ IP를 보유한 리지덴셜, 데이터센터, ISP 및 모바일 프록시와 Scraper 및 SERP API. Python, Node.js, PHP, Go, Java, C#, Ruby 및 curl 코드 예제.

테스트 결과: Python and Node.js quickstarts and curl HTTP-examples work through mock proxy to real ipinfo.io; PHP/Go/Ruby/Java/C# examples not tested due to missing runtimes; SOCKS5 not tested due to minimal mock. 5분.

搜狗微信搜索를 기반으로 한 微信公众号 크롤러 인터페이스

테스트 결과: wechatsogou 4.5.4 is installed in a Python 3.12 venv; pip install -e . succeeds; 24 offline tests pass (constants, tools, URL generation, HTML parsing); real-network API tests fail only because DNS is unavailable in the container. 13분.

오픈 소스, 자체 호스팅 엔터프라이즈 및 사이트 검색 서버로 OpenSearch 기반입니다. 웹/파일/DB/클라우드 소스를 크롤링하며, 20개 이상의 언어, REST API, AI/RAG 및 의미 검색을 지원합니다. Apache-2.0 라이선스입니다.

테스트 결과: Fess 15.9.0-SNAPSHOT builds and packages successfully from source. All 7,634 unit tests pass. The embedded Tomcat binds port 8080 but the application fails at runtime because no OpenSearch backend is reachable on localhost:9200. 36분.

AgentQL은 AI를 웹에 연결하기 위한 도구 모음입니다. 쿼리 언어와 Playwright 통합을 제공하여 요소와 상호작용하고 데이터를 빠르고 정확하게 대규모로 추출할 수 있습니다. REST API, Python 및 JavaScript SDK, 브라우저 디버거를 포함합니다.

테스트 결과: 검증할 수 없었습니다. 어디서 멈췄는지는 log에서 볼 수 있습니다.

Krawl은 사용자 지정이 가능한 경량 클라우드 네이티브 웹 디셉션 서버이자 안티 크롤러입니다. 실제와 같은 무작위 생성 디코이 데이터와 AI 생성 HTML 템플릿을 사용하여 낮은 난이도의 취약점을 가진 가짜 웹 애플리케이션을 생성합니다.

테스트 결과: Krawl standalone mode builds and runs: after pip install -r requirements.txt, uvicorn app:app --app-dir src serves HTTP 200 on /dashf/healthz, answers the honeypot with 204 on /, records POST credentials from 198.51.100.77 into SQLite, and the dashboard API shows that IP categorized as attacker. 92분.