Các công cụ web scraping mã nguồn mở, được cài đặt và chạy

Clone bất kỳ website nào chỉ bằng một lệnh sử dụng AI coding agents

Kết quả test: Next.js 16.3.0 project builds, typechecks, and serves HTTP 200 on the root route via npm run dev. 4 phút.

Framework scraper và crawler thanh lịch cho Golang

Kết quả test: The Colly module builds, vets, passes its full unit and race test suites, its CLI prints help, and its scraper successfully crawled a local mock site end to end. 14 phút.

Một framework crawling và spidering thế hệ tiếp theo.

Kết quả test: katana v1.7.0 is installed, resolves from a fresh login shell, crawls HTTP sites in standard and headless modes, and its unit, functional, and integration suites pass. 7 phút.

Chuyển đổi các trang web tài liệu, repo GitHub và PDF thành Claude AI skills với khả năng tự động phát hiện xung đột

Kết quả test: skill-seekers 3.10.0.dev0 installed and all 3857 unit/adaptor/scraper tests pass without external API keys or network dependencies. 6 phút.

newspaper3k là một trình trích xuất tin tức, toàn văn và siêu dữ liệu bài báo trong Python 3. Tài liệu nâng cao:

Kết quả test: newspaper3k 0.3.0 installs in a virtualenv on Python 3.12, all 40 unit tests pass, and core Article download/parse/nlp pipeline produces correct output from static HTML. 4 phút.

Tự động hóa và kiểm thử trình duyệt không giới hạn. CDP Mode của SeleniumBase vượt qua cơ chế phát hiện bot một cách dễ dàng. Hãy xem các ví dụ!

Kết quả test: SeleniumBase 4.54.7 is installed in a Python 3.12 venv; 8 framework unit tests, 7 offline HTML tests, and 2 real web tests passed using headless Chrome 154. 5 phút.

Nền tảng quản trị web crawler phân tán dành cho việc quản lý spider, không phụ thuộc vào ngôn ngữ và framework.

Kết quả test: Crawlab v0.6.3 backend compiles, starts as master node, connects to MongoDB, and serves its REST API on port 8000 (system-info, login, nodes, spiders, tasks, users, stats endpoints confirmed reachable). 67 phút.

Một framework thu thập dữ liệu web có khả năng mở rộng cho Java.

Kết quả test: The webmagic project compiles and passes all 108 tests with JDK 22 and Maven 3.9.9. Tests exercise real HTTP downloads from github.com (e.g. GithubRepoPageProcessorTest downloads and processes 1 page), SSL compatibility checks, XPath/CSS/regex selectors, file pipeline, proxy providers, duplicate-removal scheduling... 13 phút.

Crawlee là thư viện thu thập dữ liệu web và tự động hóa trình duyệt cho Python để xây dựng các crawler đáng tin cậy. Trích xuất dữ liệu cho AI, LLMs, RAG hoặc...

Kết quả test: Dependencies installed with uv sync --all-extras, Playwright browsers (chromium + firefox) downloaded, all 2480 unit tests pass, lint and type-check pass, and the package builds and imports successfully at version 1.10.3. 8 phút.

Tự động hóa web nhẹ hơn với Python

Kết quả test: Helium 7.0.3 installed from source via pip install -e . Selenium 4.49.0 with Chrome 154 headless via Selenium Manager; all 332 tests pass with 2 regressions fixed (date input JS fallback, subprocess module discovery). 33 phút.

Python API cho JMComic | Cung cấp Python API để truy cập 禁漫天堂, hỗ trợ cả web và di động | Trình tải xuống 禁漫天堂 bằng GitHub Actions

Kết quả test: Package jmcomic 2.7.7 installed in a Python 3.12.3 venv with all dependencies; 238/240 tests pass including real network calls against JMComic API servers; CLI commands jmcomic and jmv produce correct help output. 10 phút.

Công cụ dòng lệnh Python để thu thập văn bản và siêu dữ liệu trên Web: Crawling, scraping, trích xuất, xuất ra CSV, JSON, HTML, MD, TXT, XML.

Kết quả test: Trafilatura 2.2.0 is installed in editable mode in a .venv, all 428 tests pass, and both CLI and Python extraction work correctly on sample HTML input. 6 phút.

Python binding cho fork curl-impersonate qua cffi. Một http client có thể giả mạo dấu vân tay tls/ja3/http2 của trình duyệt.

Kết quả test: After installing the pre-built curl-cffi wheel (v0.16.3) into a fresh venv, the library imports, the CLI runs (curl-cffi get, doctor, --help), real HTTP requests with browser impersonation return 200, and the unit test suite passes 600+ tests across all 20 test modules including sync/async HTTP, websockets... 38 phút.

Ngôn ngữ tự động hóa dữ liệu khai báo và runtime Go cho các quy trình trích xuất có cấu trúc.

Kết quả test: Go 1.27.1 installed, all dependencies resolved, all 68 test packages pass with race detection, CLI binary compiles and runs FQL queries end-to-end. 7 phút.

Các thành phần dựa trên Redis cho Scrapy.

Kết quả test: scrapy-redis 0.9.1 is installed in a venv at /work/repo/.venv with real Redis 6.2 running on localhost:6379; all 102 tests pass covering connection pooling, dupefilter, queue (FIFO/LIFO/priority), scheduler, spider setup, idle backoff, multi-key consumption, and utility modules. 9 phút.

Một scraper Node.js dành cho con người.

Kết quả test: scrape-it installs, builds, and passes its full test suite on Node 18.19.1 with cheerio pinned to 1.0.0. 3 phút.

Mọi trang web đều cung cấp API.

Kết quả test: toapi 2.2.4 installed from source, all 7 tests pass, CLI help works, Flask server answers 200 with JSON, version 2.2.4 confirmed. 2 phút.

Tự động hóa trình duyệt ẩn danh cho AI agent qua MCP và Chrome DevTools Protocol: điều hướng, hook mạng, trích xuất DOM và sao chép giao diện chính xác đến...

Kết quả test: Stealth Browser MCP server runs on stdio transport, spawns a headless Chromium 157.0.8086.0, navigates to data URLs, extracts page HTML content, and closes cleanly -- all via MCP protocol over stdio. 15 phút.

PHP Curl Class giúp dễ dàng gửi các yêu cầu HTTP và tích hợp với các web API.

Kết quả test: php-curl-class repository is fully installed with PHP 8.5.8 static binary and all Composer dependencies; the full test suite passes with 264 tests and 23390 assertions and zero failures. 43 phút.

Node.js scraper để lấy dữ liệu từ Google Play

Kết quả test: The google-play-scraper npm package installs, all 84 tests pass against live Google Play, and the library's app/list/search/suggest/developer/reviews/similar/permissions/datasafety/categories methods all fetch and parse real data correctly. 8 phút.

owllook - công cụ tìm kiếm tiểu thuyết

Kết quả test: The owllook web server launches on port 8001 and responds with 200 HTTP status on /, /novels/search, /novels/top, /api/search, and /health routes, with real HTML content, connecting to running Redis and MongoDB instances. The existing pytest test suite passes (1 passed, 0 failed). 15 phút.

https://spatie.be/docs/crawler

Kết quả test: PHP 8.4.23 and Composer 2.7.1 installed from static binaries, all dependencies resolved via `composer update --prefer-stable`, and the full test suite passes (229/229) including both fake-HTTP unit tests and real-HTTP integration tests against a local PHP server. 6 phút.

Nền tảng thu thập dữ liệu web có độ trễ thấp được viết bằng Rust

Kết quả test: Rust 1.99.0 installed, cargo build succeeds, spider CLI binary crawls and scrapes example.com returning status 200 and expected page content, all 608 spider core tests pass, workspace-wide crate tests all pass. 56 phút.

Geziyor, web crawling & scraping framework cực nhanh cho Go. Hỗ trợ JS rendering.

Kết quả test: The Geziyor web scraping framework builds and passes every test across all 7 packages, and a compiled demo successfully scraped a live website. 16 phút.

Trình thu thập web nhẹ, dễ sử dụng (易用的轻量化网络爬虫)

Kết quả test: Build succeeded (mvn compile, package, test-compile all exit 0); demo crawler successfully fetched and parsed https://www.baidu.com/, producing JSON output. 5 phút.

CrawlerDetect là một class PHP để phát hiện bot/crawler/spider thông qua user agent

Kết quả test: The CrawlerDetect PHP library installs, builds, and passes its full test suite of 28 tests with 170,886 assertions on PHP 8.0.30. 5 phút.

Website Cloner - Sử dụng các Go routines mạnh mẽ để clone các website về máy tính của bạn trong vài giây.

Kết quả test: goclone binary builds from source, all 9 test suites across 3 packages pass, the built binary's help and version commands print correct output. 11 phút.

Web crawling framework dựa trên asyncio.

Kết quả test: All 7 tests pass, ruff lint passes, library imports correctly, and item attribute extraction from HTML produces expected results. 1 phút.

Thư viện crawler Node.js linh hoạt

Kết quả test: x-crawl library builds successfully; its crawlData, crawlHTML, async/sync modes, baseUrl, timeout, errorCollect, proxy rotation, and Puppeteer browser APIs work correctly against a real HTTP server and CONNECT proxy. 34 phút.

Micro-framework thu thập dữ liệu web async Python 3.6+ dựa trên asyncio

Kết quả test: Ruia 0.8.5 is installed in a Python 3.12 venv with uvloop; pip install -e .[uvloop] succeeds; 66 of 67 tests pass including all field extraction, item parsing, middleware, request fetching, and spider orchestration tests against live httpbin.org and news.ycombinator.com. 22 phút.

Python binding cho Modest và Lexbor engines. Trình phân tích HTML5 nhanh với CSS selectors cho Python.

Kết quả test: selectolax C extension successfully built, installed in a venv, all 279 tests passing, and basic HTML parsing + CSS selector usage verified. 4 phút.

Phiên bản Python không bị phát hiện của thư viện kiểm thử và tự động hóa Playwright.

Kết quả test: Patchright 1.63.0 is installed, Chromium browser is downloaded and launchable, the CLI reports its version, and 2237 of 2239 Chromium tests pass (sync + async). 37 phút.

Một HTTP Client Python thân thiện, chú trọng quyền riêng tư

Kết quả test: wreq Python package builds, installs, and passes all 57 unit tests against a local httpbin server, supporting HTTP/1.1 and HTTP/2 requests, cookie jars, redirect policies, TLS emulation (JA3/JA4), multipart uploads, streaming, and compression. 15 phút.

Trình thu thập dữ liệu web/cào dữ liệu Ruby nhẹ với DSL thanh lịch giúp trích xuất dữ liệu có cấu trúc từ các trang.

Kết quả test: Wombat 3.3.0 builds and installs as a gem under Ruby 3.2.3, all 56 RSpec tests pass, and a live Wombat.crawl scrape of a local WEBrick page returns correctly parsed structured data. 12 phút.

Beanbun là một framework thu thập dữ liệu web đa tiến trình được viết bằng PHP, có tính mở tốt và khả năng mở rộng cao, dựa trên Workerman.

Kết quả test: Beanbun 1.0.4 with vendored workerman and guzzle dependencies. PHP 8.3.6 extracted from apt. All source and vendor files parse without errors. Framework class instantiation, configuration, and all Helper methods (randUserAgent, formatUrl, getUrlByHtml) verified working. 16 phút.

Newspaper4k là một fork của Newspaper3k được yêu thích. Trích xuất bài viết, tiêu đề và metadata từ các trang tin tức.

Kết quả test: newspaper4k 0.9.6 is pip-installed and editable in /work/repo/venv; CLI runs (help + real article extraction into JSON), 234 tests pass with 2 deselected stale summarization fixtures and 5 external-site failures; package state is clean working tree. 38 phút.

Một trình thu thập web có khả năng mở rộng, trưởng thành và linh hoạt dựa trên Apache Storm.

Kết quả test: Apache StormCrawler 4.0.0-SNAPSHOT builds from source (mvn clean install) and its full test suite passes 983 tests with zero errors and zero failures on Java 26 Temurin with Maven 3.10.0. 15 phút.

SiteOne Crawler là một trình thu thập và phân tích trang web đa nền tảng cho SEO, bảo mật, khả năng tiếp cận và tối ưu hiệu suất, lý tưởng cho nhà phát triển...

Kết quả test: siteone-crawler 2.7.0.20260925-dev builds cleanly with cargo build --release, its offline test suite passes with 1673 passed and 0 failed, and the binary crawls a local HTTP server end to end returning HTTP 200 for both pages and generating an HTML report. 16 phút.

MCP Server đọc nội dung phổ quát cho 10+ nền tảng

Kết quả test: x-reader installs in a fresh venv, all 10 tests pass, the CLI fetches real tweets/RSS/web content into the inbox, and the MCP server serves working stdio and SSE transports. 10 phút.

API(接口) bất đồng bộ hiệu suất cao cho Douyin(抖音) TikTok Xiaohongshu(小红书) Kuaishou(快手) Weibo(微博) Instagram YouTube(油管) Twitter(X) Captcha Solver(验证码解决器) Temp...

Kết quả test: SDK installs, all 110 tests pass, CLI prints version and help, type-check and lint are clean, and spec coverage confirms 1010/1010 endpoints are implemented. 1 phút.

Một framework crawler đa luồng với nhiều crawler ảnh tích hợp sẵn.

Kết quả test: icrawler installs in a virtualenv, all 5 built-in crawler tests pass against live services (Google, Bing, Baidu, BBC, Pinterest), and downloaded images are valid media files verifiable by Pillow. 21 phút.

HTTP API cho các spider của Scrapy

Kết quả test: scrapyrt 0.18.1 is installed in a Python 3.12 venv with all dependencies. All 126 tests pass (including real end-to-end crawl tests with Flask site, Twisted reactor, and scrapyrt HTTP server). The CLI command scrapyrt --help prints usage correctly. 5 phút.

Công cụ kiểm tra SEO mã nguồn mở.

Kết quả test: SEOnaut installed from source (Go build OK, frontend CSS built, migrations applied to a local MariaDB) and ran on port 9000, serving sign-in (200), creating a user and project, completing a real crawl of 2 URLs, and rendering the dashboard. 9 phút.

Trình soạn thảo web scraping được hỗ trợ bởi AI với trình xây dựng workflow trực quan. Xây dựng, kiểm thử & triển khai các web scraper bằng ngôn ngữ tự nhiên...

Kết quả test: ScrapeCraft backend serves all API endpoints on uvicorn, WebSocket connections establish and respond, frontend builds successfully, chat uses real OpenRouter API key, JWT auth works, pipeline CRUD works, scraping endpoints respond. 14 phút.

NetDiscovery là một framework/ middleware crawler tổng quát được triển khai dựa trên các framework như Vert.x, RxJava 2.

Kết quả test: The full multi-module Gradle build passes (BUILD SUCCESSFUL, 63 tasks), and the NetDiscovery spider engine example ran as a Java process answering HTTP 200 with JSON on port 8715 routes /netdiscovery/health/, /netdiscovery/spiders/, /netdiscovery/spider/tony1/detail, and /netdiscovery/metrics/, while the downloader... 69 phút.

Lấy dữ liệu người dùng trên các mạng xã hội

Kết quả test: 8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access. 16 phút.

FreeProxy: Thu thập proxy miễn phí từ internet. (Hàng loạt proxy miễn phí chất lượng cao trên toàn cầu, hỗ trợ thu thập từ hàng chục nguồn chia sẻ proxy miễn...

Kết quả test: pyfreeproxy v0.5.2 installed in /tmp/venv, all 48 proxy sources registered, Proxifly/ProxyScrape/Geonode scrape real proxies successfully, filter rules and ProxiedSessionClient work, JSON export round-trips correctly, free proxies collected but actual proxy requests time out as expected from this container network. 3 phút.

Web-scraping không bị phát hiện và phân tích HTML mượt mà trong Python!

Kết quả test: stealth-requests 2.1.0 installed in a fresh venv, all 64 tests pass, and real requests to httpbin.org succeed with proper Chrome impersonation headers. 1 phút.

Hạ tầng web mã nguồn mở cho AI. Scrape, crawl và tự động hóa web, làm sạch markdown, phiên trình duyệt, sẵn sàng cho các agent của bạn.

Kết quả test: Reader CLI builds, all 346 unit tests pass, the daemon starts with Playwright's bundled Chromium, and an end-to-end scrape of https://example.com via HTTP returns clean HTML and markdown content with a 200 status. 13 phút.

Biến bất kỳ trang web nào thành một CLI gọn nhẹ được thiết kế riêng cho AI agents. Duyệt web trong hàng trăm tokens, không phải hàng chục nghìn.

Kết quả test: only-cli v0.5.8 installs and runs on Node 20.11.1; 263 of 264 tests pass; the CLI fetches, distills, and renders public web pages with token-budgeted output and actionable numbered links. 3 phút.

Một crawler tin tức rất đơn giản với cái tên vui nhộn

Kết quả test: Fundus 0.5.7 installs cleanly in a venv, all 1131 unit tests pass, and the crawler successfully fetches live article data from The New Yorker via HTTP. 3 phút.

Công cụ giám sát giá vé máy bay đa kênh tự lưu trữ: thu thập chi tiết chuyến bay → đẩy tin kèm hình ảnh qua 钉钉 → nhắc nhở mạnh bốn cấp khi đạt tiêu chuẩn...

Kết quả test: All dependencies installed in venv, Playwright chromium installed, test suite runs 3712 tests all passing, web UI demo server starts and responds with HTTP 200 on its state API endpoint, main.py --version reports 1.5.303. 44 phút.

Máy chủ trình duyệt chống phát hiện cho AI agents: REST API bọc quanh Camoufox engine với hỗ trợ plugin OpenClaw

Kết quả test: Camofox Browser Server builds, starts on port 9998, creates browser contexts via Camoufox Firefox headless, navigates to https://example.com, returns accessibility snapshots, and passes the 677-test full suite with Node.js 20 and rebuilt native addons. 34 phút.

Một trạm làm việc crawl: Xem, Điều khiển và Crawl. Solr CrawlDB, Tika, Vue 3.

Kết quả test: Sparkler is installed with Python 3.12, Solr 10.0.0 on port 8983, Vue UI built and served on port 8180, APIs responding, all 32 unit tests passing. 7 phút.

Xây dựng một công ty lớn cho siêu cá nhân và công ty một người, Hydra九头龙 thiết lập nền tảng công nghiệp 'quân sự' cho điều phối AI quy mô lớn, thu thập dữ...

Kết quả test: After fixing module-name casing, pinning Lombok 1.18.34, and adding the missing System.Subsystem config block, the Maven build succeeds and the ShadowBoot crawler app boots and runs the README's Void minimum-system demo to completion (exit 0, 'Pinecone Runtime : 136 /ms !'), while the full test suite passes with 48... 9 phút.

Python CLI cho phân tích Google Trends với giới hạn tốc độ nâng cao, xác thực cookie, và đầu ra terminal đẹp mắt. Được xây dựng trên pytrends với các tính năng...

Kết quả test: trends-checker installs and runs, hitting the real Google Trends API via pytrends (with urllib3 compat patch applied to pytrends request.py), returning real interest data verified at score 42.83 for 'AI agents' in US. 5 phút.

Agent skill khảo sát toàn bộ các dự án hỗ trợ của chính phủ Hàn Quốc [Hỗ trợ Claude Code·Codex·agy(Antigravity)·Cursor·Gemini CLI·Grok Build] Crawling...

Kết quả test: The project's 229 pytest tests pass, and every CLI crawler (K-Startup, bizinfo, NIPA, KOCCA, SMTECH list and detail, scope_plan, diff_surveys) ran successfully against live Korean government sites, producing real announcement records and detail text. 4 phút.

Thư viện để phát triển nhanh (web) crawler và scraper

Kết quả test: 1278 of 1278 default unit tests pass, PHP 8.3.32 and Composer installed, Chrome for Testing available, integration server fixed with short_open_tag=Off and 500ms startup delay. 27 phút.

Zyte Smart Proxy Manager (trước đây là Crawlera) middleware cho Scrapy

Kết quả test: scrapy-zyte-smartproxy v2.4.1 installed in a Python 3.12 venv; all 82 existing unit tests pass with zero failures. 1 phút.

Một web scraper cực nhanh xử lý hàng megabyte HTML không hợp lệ trong chớp mắt. PHP5.3+, không phụ thuộc.

Kết quả test: hQuery.php library installs, autoloads, and parses HTML via fromHTML() and find()/text() selectors; all 27 unit tests pass on PHP 8.4.1 via FrankenPHP static binary. 7 phút.

Lấy chi tiết sản phẩm Aliexpress dưới dạng phản hồi JSON bao gồm đánh giá, biến thể, thông tin vận chuyển, mô tả, hình ảnh, v.v.

Kết quả test: Node 24.0.0 installed, pnpm installed, Chromium 145 downloaded, all 22 tests pass, ESLint clean. 1 phút.

Một Laravel wrapper cho CrawlerDetect - thư viện phát hiện web crawler

Kết quả test: All 9 package tests pass, detecting crawlers from real user agent lists via the Laravel facade and Request macros. 4 phút.

Trích xuất dữ liệu công khai của Spotify (bài hát, album, nghệ sĩ, danh sách phát, podcast và lời bài hát) mà không cần API chính thức. Sync + async, mô hình...

Kết quả test: The SpotifyScraper package is installed and working: the CLI fetches real Spotify track/artist/playlist data over the network, the hermetic unit test suite passes completely (921/921), and the MCP server imports and launches correctly after pinning mcp to v1. 3 phút.

Công cụ theo dõi mức độ hiển thị AI mã nguồn mở. Theo dõi cách ChatGPT, Perplexity, Gemini, Copilot và Google AI Mode nhắc đến và trích dẫn thương hiệu của...

Kết quả test: Next.js dev server runs on port 3000 serving the GEO/AEO Tracker dashboard in demo mode, with all pages (/ and /demo) and API routes (/api/analyze, /api/audit, /api/scrape, etc.) responding correctly. 4 phút.

Script Python3 để liên tục tải xuống tất cả hình ảnh/video của nhiều thread 4chan cùng lúc, không cần cài đặt

Kết quả test: Both scripts compile, install cleanly via venv, and successfully interact with live 4chan API endpoints: thread-watcher queries the catalog and writes URLs, inb4404 downloads thread media files with validated content. 4 phút.

thư viện API xvideos

Kết quả test: npm install completes with warnings. Build succeeds. 5 unit test files (47 tests) pass on fixture HTML. Full test suite: 52 pass, 4 fail (all integration tests blocked by xvideos.com returning 404 on /verified/videos/). 5 phút.

API web crawler hiệu suất cao được tối ưu hóa cho LLM. Biến bất kỳ tìm kiếm hoặc trang web nào thành Markdown sạch bằng trình duyệt từ xa. Giải pháp thay thế...

Kết quả test: Teracrawl server starts on port 8085 with a local Chromium-backed mock Browser.cash pool and a mock SERP service. GET /health returns 200, POST /scrape converts a live URL to markdown via real headless Chromium, POST /serp/search returns mock search results, and POST /crawl combines both to scrape multiple URLs. 15 phút.

Máy chủ MCP tự lưu trữ miễn phí, thu thập dữ liệu từ Thư viện quảng cáo công khai của Facebook (không cần token API) để nghiên cứu quảng cáo cạnh tranh: nhà...

Kết quả test: MCP server loads, imports, starts over stdio, registers both tools, and all 8 offline parser tests pass. 7 phút.

Spider Crawler golang 爬虫 thu thập dữ liệu phim

Kết quả test: GoMovies binary compiled and serves HTTP on port 8899 with Redis persistence; spider successfully fetches movie data from hhzyapi.com external API. 20 phút.

Một ứng dụng Python được thiết kế để thu thập và xử lý dữ liệu cá cược thể thao trực tiếp từ oddsportal.com

Kết quả test: OddsHarvester v0.15.0 installed from source with uv and Playwright; all 1308 unit tests pass and 63 of 82 integration tests pass against HAR replay (19 live-only skipped, 1 xfail for known in-play replay limitation). 40 phút.

Project Eyes On là một công cụ giám sát tốc độ cao, đa luồng của Y0oshi (@rde0) để định vị các camera IP mở trên toàn thế giới. Hợp nhất Google Dorking và...

Kết quả test: Project Eyes On installed, imports correctly, Insecam scraping and multi-engine dorking both find real live IP cameras, and JSON/CSV/HTML reports all produce valid output. 2 phút.

Một lệnh cho mọi giao diện: tìm kiếm, chạy và kiểm tra phần mềm thực tế trên APIs, trình duyệt, máy tính để bàn, công cụ cục bộ và MCP.

Kết quả test: Uni-CLI v1.2.1 builds from source, runs 3735 passing unit tests, and executes live commands (hackernews top, search, doctor) against real remote APIs on Node 22.23.4 (npm v10.9.9). The npm global package v1.3.0 is also installed and functional. 20 phút.

Trình thu thập dữ liệu TikTok, Douyin và Bilibili tự lưu trữ và trình tải video không watermark, API REST không đồng bộ, MCP server cho các AI agents, CLI và...

Kết quả test: All 2960 tests pass (2450 unit + 510 integration), the CLI outputs version 5.0.1 and lists 10 commands, the API server starts and serves healthz/readyz/swagger/console root with 200, the web console SPA is built, and both the PostgreSQL+TimescaleDB and Redis backends and the Go downloader sidecar run. 48 phút.

Trình duyệt headless ẩn danh cho AI agent, vượt qua Cloudflare, phát hiện bot và chống scraping. Thay thế trực tiếp cho Puppeteer/Playwright.

Kết quả test: Camofox browser server installed and verified: Node 22.23.4 in user space, Camoufox 1.3GB binary downloaded, GeoIP 50MB database downloaded, server starts at localhost:9377 with Xvfb virtual display, creates browser tabs navigating to real URLs, returns accessibility snapshots with element refs, and closes cleanly on... 13 phút.

Framework Web Scraping TỐT NHẤT, xử lý mọi thứ từ một request duy nhất đến crawl toàn diện quy mô lớn!

Kết quả test: Scrapling 0.4.15 is installed in a venv with all extras, Playwright Chromium browser available, all 985 tests pass, CLI and MCP server commands respond correctly, and HTTP fetches via StealthyFetcher return status 200 from real endpoints. 8 phút.

ProxyPool Python cho trình thu thập dữ liệu web

Kết quả test: The ProxyPool Flask API server runs on port 5010 backed by real Redis, responds to all endpoints (/get, /pop, /all, /delete, /count), and all 248 automated tests pass. 6 phút.

Một trình điều khiển Chrome DevTools Protocol cho tự động hóa web và scraping.

Kết quả test: Rod compiles with go build ./... passes all vet checks, and launches Chromium 128 to control a browser page via DevTools Protocol. The main rod test suite and lib/cdp, lib/launcher (except known flaky TestManaged), and lib/proto sub-packages all pass. 59 phút.

HTTP client có thể mạo danh trình duyệt web

Kết quả test: The repo builds and runs: Rust workspace checks and per-crate test suites pass (1354 tests), the primp Python extension installs into crates/primp-python/.venv, 493 Python tests pass, and a real impersonated HTTPS request returns HTTP 200. 15 phút.

Cầu nối tự động hóa trình duyệt hiệu suất cao và bộ điều phối đa instance với tính năng chèn ẩn tiên tiến và bảng điều khiển thời gian thực.

Kết quả test: A source-built PinchTab server (binary reports pinchtab dev) is running on 127.0.0.1:9867 with a responsive always-on headless instance and answered authenticated health, navigate, snapshot, text, title, and screenshot API calls with HTTP 200, while the full Go unit suite (9166 passed, 18 skipped) and scripts/check.sh... 19 phút.

Trình điều khiển Chrome/Chromium headless trên nền tảng Puppeteer. Chụp màn hình, tạo PDF, trích xuất văn bản và HTML với API sẵn sàng cho sản xuất.

Kết quả test: The browserless monorepo installs under Node.js 24 with puppeteer 25, all packages build, Chrome 154 launches headlessly, and 390+ tests pass across 10 packages (browserless, goto, screenshot, capture, function, devices, errors, screencast, lighthouse, ai). 32 phút.

Giải pháp thay thế Firecrawl chạy trên edge, 100% miễn phí và hoàn toàn mã nguồn mở, với khả năng trích xuất liên kết tốt hơn cho agents, mà bạn có thể tự...

Kết quả test: Dependencies installed, SDK tests pass (41/41), full monorepo build and typecheck pass, and the dashboard serves HTTP 200 on / and /docs in both dev and production modes; the V0 API worker served 200 on /, /docs and /openapi in local mode with D1 migrations applied. 33 phút.

Một framework thu thập web nhẹ.（Java爬虫框架）

Kết quả test: XXL-CRAWLER builds from source, produces a deployable jar, and passes 6 tests (4 utility tests + 2 real website crawls extracting structured data from cnblogs.com and baidu.com). 13 phút.

AI agent mã nguồn mở cho tự động hóa web. Sử dụng trình duyệt thực đã đăng nhập của bạn để tự động hóa các tác vụ hàng ngày.

Kết quả test: Dependencies installed, project builds to dist/ (background.iife.js 1,848.81 kB, manifest.json), TypeScript type-check passes across all 15 packages, unit tests pass (14/14). 15 phút.

MCP server chính thức của Firecrawl, context API cho AI agent: tìm kiếm, scrape và tương tác với web, cùng với parse, crawl, map, Agent và Monitor, từ bất kỳ...

Kết quả test: Firecrawl MCP Server v3.24.1 builds, installs, and starts successfully with 25 tools in stdio mode; 81 of 84 tests pass. 24 phút.

Scrapy, một framework crawl và scrape web nhanh, cấp cao cho Python.

Kết quả test: Scrapy 2.19.0 installed from source, 4539 tests pass, scrapy bench crawls 1781 pages against a local HTTP server. 15 phút.

Thư viện tải video nhanh và đơn giản cùng công cụ CLI viết bằng Go

Kết quả test: Lux builds and runs: the binary outputs version info and help, extracts real YouTube video metadata, and 14 of 48 test packages pass (all failures are network-dependent extractor tests or DNS-timeout content-type lookups; no code defects remain). 11 phút.

news-please - trình thu thập web và trích xuất thông tin tích hợp dành cho tin tức, dùng là chạy

Kết quả test: news-please 1.6.13 installs and its library API extracts structured article data (title, authors, publication date, description, maintext, language) from HTML via both HTTP and raw HTML input; CLI entry points respond with help output. 5 phút.

Phiên bản NodeJS không bị phát hiện của thư viện kiểm thử và tự động hóa Playwright.

Kết quả test: Repo dev deps install and both repo checks pass under Node 22; the npm-published patchright 1.63.0 with its installed patched Chromium launches headless and loads a page from a local HTTP server in this container. 3 phút.

Danh sách luôn được cập nhật về 100 user-agents phổ biến nhất của các trình duyệt cho các HTTP clients.

Kết quả test: The repo installs cleanly; with the bundled prebuilt Node 22, npm test passes all 5 tests and require/consumer checks return 100 main, 82 desktop, and 18 mobile valid user-agents from the packed tarball; only the Redis-backed update scripts remain unrunnable in this container because no redis-server is available. 3 phút.

CLI tự động hóa trình duyệt được xây dựng cho AI agents. Vượt qua các bức tường chống bot, bàn giao cho con người trên nhiều nền tảng khi bị kẹt. Thực thi song...

Kết quả test: browser-act-cli 1.4.2 installed, skill handshake completed, and the chrome browser type (bundled Chromium) works end-to-end, browser create, open, navigate, state inspection, content extraction via get markdown, and session close all succeed; stealth features require a server-side-validated BrowserAct API key that... 5 phút.

Một crawler mạng không phụ thuộc nền tảng, cung cấp thông tin peer toàn diện và thông tin topology mạng.

Kết quả test: Nebula builds with just build, runs dry-run and ClickHouse-backed IPFS crawls against real network peers, persists crawl data to ClickHouse, and passes all 92 tests across 7 packages with Postgres 16.4 and ClickHouse 26.11 running locally on their test ports. 16 phút.

Thư viện Python mã nguồn mở cho các AI agent trình duyệt, cùng với Browser Use Cloud: trình duyệt ẩn danh và API agent được lưu trữ.

Kết quả test: browser-use v0.13.10 installed in a Python 3.12 venv with uv, Chromium headless installed via playwright, and all 563 CI tests pass (529 passed, 34 skipped) after fixing 2 test identity comparison bugs in test_beta_agent.py that only manifest under xdist worker parallelism. 75 phút.

Giải pháp thay thế NotebookLM mã nguồn mở, air-gapped, tập trung vào quyền riêng tư. AI agent nghiên cứu, chuyển đổi và chỉnh sửa tài liệu của bạn.

Kết quả test: All Python trees (surfsense_backend, surfsense_mcp, surfsense_local/backend, plugins/remote/host core tests) install and pass tests; the web frontend fails to compile native deps on Node 18.x (requires 24.x); docs are clean. 20 phút.

Công cụ tốt nhất và đơn giản nhất để phát hiện thay đổi trang web, giám sát trang web và cảnh báo thay đổi trang web. Hoàn hảo để theo dõi thay đổi nội dung...

Kết quả test: changedetection.io 0.60.7 installs into a venv, launches and serves HTTP 200, its full basic test suite passes (680 passed in the main group, exit 0, plus 508 unit tests), and a real watch added via the API detected a content change and exposed it in the UI. 76 phút.

jsoup: trình phân tích HTML cho Java, được xây dựng để chỉnh sửa, làm sạch, thu thập dữ liệu HTML và đảm bảo an toàn trước XSS.

Kết quả test: jsoup compiles from source with JDK 21 and Apache Maven, all 2,341 unit tests pass, and the built JAR correctly parses HTML and extracts DOM content. 2 phút.

Trình thu thập Google Maps miễn phí, mã nguồn mở để tạo khách hàng tiềm năng (Python, không cần API key, không cần Docker). Xuất tên, số điện thoại, email...

Kết quả test: The scraper binary runs natively, its REST API on localhost:8080 creates/polls/downloads scraping jobs against real Google Maps data, and the included Python CLI successfully produces lead CSVs with real business listings. 7 phút.

Trình thu thập hệ thống tệp Elasticsearch (FS Crawler)

Kết quả test: FSCrawler 3.1-SNAPSHOT builds successfully via Maven, distributable ZIP is packaged, binary launches and shows help/version, and 687 unit tests pass when run with the `-Dtest="*Test"` workaround. 82 phút.

Bộ sưu tập các bản vá cho puppeteer và playwright để tránh bị phát hiện tự động hóa và rò rỉ. Giúp tránh các trang CAPTCHA của Cloudflare và DataDome. Dễ dàng...

Kết quả test: rebrowser-patches repo installs, builds 6 drop-in tarballs, and passes all 43 test gates (detection, scenarios, smoke) with patched Puppeteer-core 25.14.0 and Playwright-core 1.64.1 defeating Runtime.Enable detection. 8 phút.

Một HTTP client Rust tiện dụng và chú trọng quyền riêng tư.

Kết quả test: wreq v0.16.1 builds and all 280+ integration tests pass on Rust 1.99.0 (Ubuntu 24.04) with BoringSSL via btls, after providing libclang (extracted from libclang1-20 + libclang-20-dev debs) and workaround for Ubuntu 24.04's missing /usr/include/stddef.h. 35 phút.

API Java cho Chrome và Firefox

Kết quả test: Jvppeteer 3.6.5 builds and installs via Maven, Chrome for Testing 149.0.7798.0 runs headlessly, and the library launches the browser, navigates pages, evaluates JavaScript, and retrieves page content successfully. 26 phút.

Trình tải toàn bộ nội dung web cho AI agent: Chrome TLS fingerprinting, browser impersonation, trích xuất bài viết đa chiến lược và web scraping.

Kết quả test: agent-fetch 0.1.6 builds from source, passes all 904 unit tests, and successfully fetches and extracts real web pages (Wikipedia, example.com) via CLI. 6 phút.

Crawl4AI Cloud chính thức: API scraping, trích xuất và tìm kiếm web được lưu trữ sẵn dành cho AI agents. API key miễn phí, 1,000 credit mỗi tháng, không cần...

Kết quả test: Crawl4AI 0.9.4 installed in venv, Playwright chromium browser downloaded, DB initialized, AsyncWebCrawler can crawl real URLs with markdown output, cache operations work, and 360 core tests pass with 11 skipped. 14 phút.

Web Crawler/Spider cho NodeJS + jQuery phía server ;-)

Kết quả test: crawler v2.1.1 builds from TypeScript, all 51 tests pass under Node 22 with nock-mocked HTTP, and the module loads correctly to process crawl tasks. 4 phút.

Một trình trích xuất agentic cho các nền tảng nhắn tin. Noria nhận tin nhắn và URL qua chat; thu thập dữ liệu web để đánh giá nội dung dựa trên các ma trận...

Kết quả test: npm install completes, all 232 unit tests pass across 17 suites with zero lint errors, the Node.js backend boots registering all domain/LLM/scraper/sender/listener plugins and loading the scholarships and jobs pipeline configs, and the Streamlit Control Center UI starts and serves on port 8501. 11 phút.

Thư viện Python và CLI để scraping X/Twitter với tính năng xoay vòng nhiều tài khoản và xử lý giới hạn tốc độ tích hợp sẵn.

Kết quả test: All 217 tests pass with 81% coverage; twscrape CLI reports version 0.20.1 and SQLite 3.45.1. 1 phút.

Một máy chủ Model Context Protocol (MCP) mạnh mẽ cung cấp giải pháp tất cả trong một cho truy cập web công cộng.

Kết quả test: The Bright Data MCP server installs and all 21 unit tests pass under Node.js v22.12.0; the server starts listening when API_TOKEN is set. 4 phút.

Dịch ngược bất kỳ trang web nào thành một typed API client. Hoạt động với Claude Code, Codex, Cursor và OpenCode.

Kết quả test: Project installed via uv sync, all 1025 tests pass, and the reverse-api-engineer CLI displays its help output. 2 phút.

Diskover Community Edition - Trình lập chỉ mục tệp mã nguồn mở, công cụ tìm kiếm tệp và quản lý dữ liệu và phân tích được hỗ trợ bởi Elasticsearch

Kết quả test: Python scanner installs successfully, compiles cleanly, and completes a directory crawl indexing 22 file/directory documents into a mock Elasticsearch instance. 18 phút.

Thư viện Python phân tích Finviz.

Kết quả test: All 128 offline tests pass and every package module (quote, news, insider, calendar, screener, group, earnings, forex, crypto, future, util) returns correct data from committed HTML fixtures. 2 phút.

Boss直聘爬虫 / BOSS直聘职位数据抓取工具，基于 Chrome CDP 协议复用真实登录态，绕过字体反爬，输出明文薪资 JSON/CSV + 薪资技能分析。Một công cụ thu thập dữ liệu việc làm BOSS Zhipin dựa trên Chrome CDP.

Kết quả test: Virtual environment created with all dependencies, both Python scripts compile clean, and the full mock-based test suite (109 tests) passes. The CLI prints correct version (2.2.0), help output, and city listings. Real Chrome CDP scraping cannot be verified in this container, --check correctly reports no Chrome... 2 phút.

Trình thu thập Twitter cho X: tweet, hồ sơ, người theo dõi và đang theo dõi, không cần API key. Thư viện Python với nhóm nhiều tài khoản, hỗ trợ proxy và...

Kết quả test: Scweet 5.8.0 installs cleanly in a Python 3.12 venv; 495 unit tests pass; the CLI builds and shows help; the library imports without network; material in tests/fixtures/ provides captured X responses for offline test coverage. 9 phút.

Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] - Fredy liên tục tìm kiếm các căn hộ, nhà ở và căn hộ nhỏ mới ở châu Âu trên các nền tảng như ImmoScout24...

Kết quả test: Fredy backend serves HTTP 200 on port 9998 after DB migration and all 4260 offline tests pass with Node v22.23.3. 6 phút.

Self-hosted web search dành cho AI agent và SEO. Google, Bing, Yandex, Baidu, DuckDuckGo & Ecosia, được render trong trình duyệt thực: kết quả xếp hạng và...

Kết quả test: OpenSERP v0.8.13 builds, all 12 unit test suites pass, and the HTTP server starts, serving /health and /ready endpoints on 127.0.0.1:7000. 8 phút.

WebAI2API: Công cụ chuyển đổi AI trên web sang OpenAI API dựa trên Camoufox, hỗ trợ LMArena/Gemini và nhiều nền tảng khác, chạy đồng thời nhiều cửa sổ và cô...

Kết quả test: The WebAI2API server starts on port 3000 with a Camoufox browser instance, serving OpenAI-compatible /v1/models, WebUI, and /v1/cookies endpoints, all returning HTTP 200, though chat completions require real AI website credentials via the browser adapter and cannot produce output without logging in. 7 phút.

HTTP client cho Go với fingerprint TLS/HTTP2 giống hệt trình duyệt. Vượt qua cơ chế phát hiện bot bằng cách mô phỏng hoàn hảo Chrome, Firefox và Safari ở cấp...

Kết quả test: Go 1.26.0 installed, httpcloak project builds cleanly, all 1402 Go test cases pass across 7 sub-packages, shared C library built, Python bindings installed and all 12 Python alias tests pass. 8 phút.

HTTP(S)/SOCKS5 proxy dân cư xoay vòng - ví dụ code và thông tin chung.

Kết quả test: Mock proxy verified: shell/shell.sh (curl via proxy): returned 200 with IP JSON; python/python.py (requests via proxy): returned 200 with IP JSON; nodejs/node.js (axios via proxy): returned 200 with IP JSON. 9 phút.

Xóa watermark video ngắn bằng Golang: 抖音,皮皮虾,火山,微视,最右,快手,全民小视频,皮皮搞笑,西瓜视频,虎牙,梨视频,acfun,好看视频...

Kết quả test: with a user-local Go 1.24.0 toolchain the project builds, its 90 passing tests and race suite are green, the HTTP server starts and serves 200 on / and /api/v1/health with 26 platforms, and a real Sohu video was parsed, downloaded (22.6 MB), and fully decoded by ffmpeg to h264/aac. 20 phút.

660+ mô hình generative-media do muapi lưu trữ cùng các công cụ API bên thứ ba do cộng đồng đóng góp (SEO, enrichment, social, scraping). Mỗi mục một tệp YAML...

Kết quả test: PyYAML 6.0.3 installed; catalog_validate.py validates all 665 YAML entries in providers/ and models/ successfully with zero errors. 3 phút.

Các công cụ giao thức thuần Python và ghi chú nghiên cứu cho X.com, kèm theo bộ dữ liệu tài khoản Twitter VibeLoft

Kết quả test: All 20 integration tests pass - uv sync installs cleanly, all 8 tool modules import and return valid data from the mock X API server, plus VibeLoft account collection via real API, tweet analysis, and status scripts verified. 6 phút.

Công cụ tự động quét mã khuyến mãi ChatGPT Team(Business): phát hiện/xác minh/thu thập giá hàng loạt, hỗ trợ 34 mã tại 17 quốc gia, giảm giá lên đến 71% | Công...

Kết quả test: Repo installs cleanly and every scanning script (auto_scan, discover_codes, verify, open_stripe, partner_scan, and the us/mega/uk scanners) ran and produced valid output against the local mock of the ChatGPT API and Clash proxy; open_stripe.py works after switching its hardcoded proxy to the project config-driven... 43 phút.

ChatWeb có thể thu thập dữ liệu từ các trang web, đọc PDF, DOCX, TXT, trích xuất nội dung chính, sau đó trả lời câu hỏi của bạn dựa trên nội dung đó, hoặc tóm...

Kết quả test: ChatWeb runs in all three modes (console, API, webui) behind a mock OpenAI API. The /upload_file, /summary, and /answer endpoints return HTTP 200 with correct JSON schemas; the console mode accepts file paths and /help commands; the webui Gradio interface binds on port 7860 and returns HTTP 200. 15 phút.

Agent skills chính thức của các sản phẩm Oxylabs

Kết quả test: Five Oxylabs agent skills (headless-browser, proxies, video-data, web-scraper-api, web-unblocker) install via skills CLI. .env.example corrected to OXY_RES_USERNAME/OXY_RES_PASSWORD consistent with all docs. Mock server confirms the documented API endpoint patterns respond 200 OK. 7 phút.

Crawler (Bot) tìm kiếm rò rỉ trên các trang paste.

Kết quả test: Dashboard serves HTTPS on localhost:8080 returning complete HTML page; analysis engine detects email:password combos, private keys, API tokens, and 18 configurable search terms; SQLite dedup DB tracks crawled paste IDs; all 6 module scripts pass syntax check; pastes.io and pastebin.com external endpoints are reachable. 5 phút.

Một thư viện spidering web đa năng bằng Ruby, có thể spider một trang web, nhiều tên miền, các liên kết cụ thể hoặc vô hạn. Spidr được thiết kế để nhanh và dễ...

Kết quả test: Spidr builds and its full 317-example RSpec suite passes, and a locally hosted mock site is spidered end to end (3 URLs visited, no failures) with no real third-party credentials. 20 phút.

Một lệnh điều khiển 小红书, 抖音, TikTok, B 站, 快手, 微博, 闲鱼, 淘宝, 京东, X: lệnh thống nhất và đầu ra JSON, dùng cho con người và AI Agent.

Kết quả test: catbus CLI is installed, builds, and all 962 offline tests pass. The binary outputs valid JSON envelopes for version, help, platforms, doctor, and handles platform aliases, native name mapping, and auth-required errors correctly. 3 phút.

Một skill cho AI agents: tìm kiếm web với SearXNG, duyệt web với Camofox, vượt qua các biện pháp bảo vệ với CloakBrowser. Chống ảo giác theo thiết kế. Tự lưu...

Kết quả test: npm install succeeds, CloakBrowser (with Node 20, not the system Node 18) fetches live pages, the SearXNG and Camofox deterministic scripts pass their full command flows against schema-correct mocks, unit suites pass 28/28 and 12/12, and setup.sh/audit.sh complete without failed checks; real SearXNG/Camofox Docker... 33 phút.

Một framework để tạo ra các trình trích xuất nội dung web bán tự động.

Kết quả test: Scrapple 0.3.0 installs, builds, and runs on Python 3.12; the CLI accepts all 4 commands (genconfig, run, generate, web), scrapes live websites via XPath and CSS selectors, and generates executable Python scripts, 13/17 tests pass with the remaining 4 failing only because their target websites changed HTML since 2018. 10 phút.

HTTP client cho Node.js với khả năng giả mạo dấu vân tay TLS của trình duyệt

Kết quả test: wreq-js v3.2.0 is installed and working on x86_64 Ubuntu 24.04 with Node.js v22.23.4, the TypeScript build completes, the native Rust binding (prebuilt) loads correctly, and the test suite passes 195/200 tests against a local HTTP/HTTPS/WebSocket test server. 5 tests are skipped: 4 requiring full native setCookies... 28 phút.

Khám phá và xác minh email chuyên nghiệp bằng cách sử dụng tên + tên miền

Kết quả test: Project builds from source, 9 unit tests pass, and both email-sleuth/es binaries execute their full pipeline (config loading, SMTP connectivity testing, pattern generation, DNS resolution, JSON output) without crashing. 6 phút.

Trình thu thập dữ liệu nhẹ cho Google News

Kết quả test: TypeScript compiles cleanly, rollup builds CJS+ESM bundles, both module formats load at runtime, and all 46 unit/integration tests pass on Node 18.19.1. 13 phút.

Thu thập tin tức với StormCrawler - lưu trữ nội dung dưới dạng WARC

Kết quả test: The NewsCrawlBootstrap topology runs in Storm LocalCluster against local mocks, detects the RSS feed, acks status updates to OpenSearch, and writes a gzip-valid WARC containing fetched feed content; mvn clean package and all 10 unit tests pass. 69 phút.

Máy chủ Model Context Protocol (MCP) cho Graphlit Platform

Kết quả test: Graphlit MCP Server builds, launches, and responds correctly to MCP protocol initialize, resources/list, and tools/list requests. 10 phút.

Gói Python để cào front-end của Twitter một cách dễ dàng

Kết quả test: Package installs in a virtualenv, all 9 tests pass, xquik search function verified end-to-end with a mock HTTP server. 2 phút.

GPlay Scraper là một thư viện Python mạnh mẽ để trích xuất dữ liệu ứng dụng toàn diện từ Google Play Store. Scrape các ứng dụng Google Play Store để lấy xếp...

Kết quả test: gplay-scraper installed in a venv with all dependencies; all 48 tests pass after fixing the tls_client client_identifier string from 'chrome112' to 'chrome_112'. 4 phút.

MinerU-HTML: Một trình trích xuất nội dung chính HTML sử dụng SLM, xuất ra các phần thân HTML sạch. Hoàn hảo cho Deep Research Agents, ứng dụng RAG và tạo dữ...

Kết quả test: MinerU-HTML v1.1.2 package installs and imports correctly in a Python 3.12 venv; the full extraction pipeline runs to completion with a mock LLM backend, correctly filtering navigation/auxiliary elements from main content HTML; all 20 internal modules import cleanly; config validation, fallback handlers... 16 phút.

Quét các route trong ứng dụng Laravel của bạn để tìm các gợi ý cải thiện SEO.

Kết quả test: composer install works, the full Pest suite passes (171 passed, 3 skipped), PHPStan passes, and seo:scan-url returns real results (score 65, 28 passed, 15 failed) plus seo:scan persists the score to MariaDB, all against local mocks in this container. 28 phút.

Ví dụ về cách sử dụng Hyperbrowser

Kết quả test: After npm install, TypeScript compiles cleanly and the company-researcher CLI runs end-to-end against a schema-correct local Hyperbrowser mock, producing the full structured research output and exiting 0; real Hyperbrowser/OpenAI API keys were not exercised. 12 phút.

Cào dữ liệu từ Google Maps. Trích xuất dữ liệu như tên, địa chỉ, số điện thoại, URL trang web, xếp hạng, số lượng đánh giá, vĩ độ và kinh độ, đánh giá, email...

Kết quả test: All 17 Go packages with tests passed with race detection (no failures), the binary compiled and prints version/help correctly, and all 10 JS skill tests plus shell helper tests passed. 6 phút.

Sử dụng LLM để trích xuất dữ liệu web một cách ổn định

Kết quả test: npm install builds successfully, 84 unit tests pass, 63 html-to-markdown integration tests pass with real ground-truth data, all LLM extraction integration tests pass with mocked providers, processedContent tests pass; Playwright browser tests fail at import on Node 18. 39 phút.

Python scraper dựa trên AI

Kết quả test: 191 unit tests pass after fixing 13 categories of test failures covering models_tokens assertions, cleanup_html behaviors, logger capture, file paths, missing dependencies, mock patterns, and mock class completeness. 46 phút.

Gói Python pip cho kết quả tìm kiếm Google thông qua SERP API

Kết quả test: The SerpApi Python client library installs from source, runs 43 unit tests successfully against a locally hosted mock backend, and passes a basic smoke test (OOBT). 11 phút.

Proxy dân cư, datacenter, ISP và di động với 90M+ IP ở 200+ quốc gia, cộng với Scraper & SERP APIs. Ví dụ mã trong Python, Node.js, PHP, Go, Java, C#, Ruby và...

Kết quả test: Python and Node.js quickstarts and curl HTTP-examples work through mock proxy to real ipinfo.io; PHP/Go/Ruby/Java/C# examples not tested due to missing runtimes; SOCKS5 not tested due to minimal mock. 5 phút.

API crawler cho tài khoản công khai WeChat dựa trên tìm kiếm WeChat của Sogou

Kết quả test: wechatsogou 4.5.4 is installed in a Python 3.12 venv; pip install -e . succeeds; 24 offline tests pass (constants, tools, URL generation, HTML parsing); real-network API tests fail only because DNS is unavailable in the container. 13 phút.

Máy chủ tìm kiếm doanh nghiệp và trang web mã nguồn mở, tự lưu trữ, được xây dựng trên OpenSearch. Thu thập dữ liệu từ web / file / DB / nguồn đám mây, hỗ trợ...

Kết quả test: Fess 15.9.0-SNAPSHOT builds and packages successfully from source. All 7,634 unit tests pass. The embedded Tomcat binds port 8080 but the application fails at runtime because no OpenSearch backend is reachable on localhost:9200. 36 phút.

AgentQL là một bộ công cụ để kết nối AI của bạn với web. Nổi bật với ngôn ngữ truy vấn và tích hợp Playwright để tương tác với các phần tử và trích xuất dữ...

Kết quả test: không kiểm chứng được; log cho thấy dự án dừng ở đâu.

Krawl là một máy chủ mồi nhử web và anti-crawler có thể tùy chỉnh, nhẹ, cloud-native, tạo ra các ứng dụng web giả có các lỗ hổng dễ khai thác bằng cách sử dụng...

Kết quả test: Krawl standalone mode builds and runs: after pip install -r requirements.txt, uvicorn app:app --app-dir src serves HTTP 200 on /dashf/healthz, answers the honeypot with 204 on /, records POST credentials from 198.51.100.77 into SQLite, and the dashboard API shows that IP categorized as attacker. 92 phút.