영어 원문: https://argusic.com/subject/social-media-profile-scrapers

social-media-profile-scrapers

소셜 미디어 전반에서 사용자 데이터 가져오기

실행됨출처: GitHubPythonApache-2.0commit ced2abf4f697

Python, Apache-2.0 라이선스. 프로젝트 자체 레이블: facebook scraper, instagram scraper, medium scraper, pinterest, pinterest scrapper, python, quora scraper 및 reddit scraper.

social-media-profile-scrapers: 실행됩니다. Argusic agent가 GPU가 없는 깨끗한 머신에서 2분 만에 설치했고, 오류 8개가 발생했지만 도움 없이 모두 수정했으며, 전체 세션이 녹화되었습니다.

8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access

깨끗한 머신에서 agent가 얻은 결과를 agent 자신의 말로 옮긴 것입니다. 측정 방법

Argusic이 매번 새 머신에서 측정합니다. 모든 수치는 해당 증거로 연결됩니다. Argusic 점수 100점 만점에 100점(이 프로젝트 실행 점수의 평균).

한눈에 보기

판정
실행됨
Argusic 점수
100 / 100
검증 실행 비용
0.05 USD(측정값)
기록된 실행
1
마지막 테스트
스타
587
포크
94
열린 issue
12
watcher
18
크기
7 MB
생성일
마지막 push

프로젝트 데이터 출처: GitHub(이 페이지 상단에 링크), 업데이트 . 테스트 데이터 제공: Argusic(CC BY 4.0). 모든 수치는 전체 log, 녹화, 그리고 그 sha256 해시가 있는 실행 페이지로 연결됩니다.

측정한 항목

이 판정을 결정한 실행에서 가져왔습니다. 모든 줄은 추정치가 아니라 기록된 값입니다.

social-media-profile-scrapers 테스트 중 각 실패로 잃은 시간, 기록된 실행에서 그림
각 막대는 agent가 기록한 실패와 그로 인해 소요된 시간입니다. 다른 곳이 아닌 이 실행에서 그렸습니다.

agent 자신의 말로 본 문제점

agent가 직접 남긴 말이며, 심각한 것부터 나열하고 조언으로 고쳐 쓰지 않습니다.

  • All 8 tests failed: tests.py asserts scrapers return dict, but refactored scrapers return JSON string; Twitter.scrap() and Medium.scrap() take 1 arg (not 2); Reddit/Quora use deprecated Selenium executable_path kwarg from webdriver_manager; Quora/Reddit call exit() on error instead of returning None6분
  • Facebook curl_cffi redirected to www.facebook.com React shell (validator rejects it); seleniumbase_uc UC browser back-end fails with I/O operation on closed file3분
  • PEP 668 externally-managed environment blocked system pip install1분
  • Instagram API returns HTTP 429 without real session cookies1분
  • Twitter guest token API changed (no guest_token in response)1분
  • Medium GraphQL endpoint returns nothing for test user1분
설치 시간
2분
깨끗한 머신에서 완료까지
16분
발생하고 수정된 오류
8개 발생, 8개를 사람의 도움 없이 수정
결과를 증명한 방법
pytest tests.py -v -p no:seleniumbase: 8 passed in 2.37s; python github.py shaikhsajid1111 --engine curl_cffi --no-contributions returned valid JSON with full_name=Sajid Shaikh, followers=101; python pinterest.py ohjoy --engine curl_cffi returned valid JSON with full_name='Joy Cho / Oh Joy!', follower_count=15085809
사용한 모델 token
489,763
테스트한 정확한 commit
ced2abf4f697
컨테이너 이미지
sha256:cdd920bce783

측정하지 않은 항목

나머지 절반입니다. 이 증거가 어디까지 유효한지 정확히 볼 수 있도록 공백은 공백으로 표시하며 절대 채워 넣지 않습니다.

최대 GPU 메모리
CPU 머신에서 실행되어 샘플링할 GPU가 없었습니다
장시간 실행 시 동작
각 시도는 문서화된 가장 작은 설정과 고정된 시간 예산을 사용하므로, 부하에서 얼마나 버티는지가 아니라 실행되는지를 측정합니다

녹화의 마지막 부분

이 판정을 결정한 터미널 세션의 마지막 줄을 기록된 그대로 보여 줍니다.

**Key findings:**
- **Installation**: Had to work around PEP 668 by creating a venv. All 6 packages from `requirement…
- **Tests**: The test file had mismatched expectations — scrapers now return JSON strings not dicts…
- **Working in this container**:
  - `github.py` (curl_cffi backend) — returns real profile data
  - `pinterest.py` (curl_cffi backend) — returns real profile data
- **Not working (no real fix possible)**:
  - Facebook — curl_cffi hits www.facebook.com React shell (redirected from m.facebook.com); seleni…
  - Instagram — API returns 429
  - Twitter — guest token API changed upstream
  - Medium — GraphQL endpoint returns nothing
  - Reddit/Quora — require Chrome browser binary on PATH

전체 세션 다시 보기, 깨끗한 머신에서 이 시점까지의 모든 명령.

테스트 방법

하나의 agent, 하나의 컨테이너, 사람의 도움 없음. agent는 프로젝트 문서가 안내하는 방식대로 프로젝트를 설치하고 실행하며, 문제가 생기면 수정합니다. 아래의 모든 내용은 실제로 일어난 그대로 기록되었습니다: 터미널 세션, log, 정확한 commit. 전체 방법론.

장점과 한계

의견이 아니라 측정된 사실입니다. 콘텐츠 작성 방식.

잘된 점

  • 깨끗한 머신에서 실행 상태에 도달했으며, 세션이 녹화되었습니다.
  • 2분 만에 설치되었습니다.
  • 사람의 개입 없이 오류 8개에서 모두 복구했습니다. 실패가 해결할 수 있을 만큼 잘 문서화되어 있다는 뜻입니다.
  • GPU 없이 실행되었으므로, 시작하는 데 GPU가 필요하지 않습니다.
  • 호스트가 보고한 라이선스는 Apache-2.0입니다.

잘되지 않은 점 또는 알 수 없는 점

  • 지금까지 한 번 측정되었습니다. 한 번의 시도는 실행될 수 있음을 보여 줄 뿐, 안정적으로 실행된다는 것을 보여 주지는 않습니다.

적합한 용도

  • 노트북이나 작은 서버에서 시험해 보기: GPU 없이 실행 상태에 도달했습니다.
  • 빠른 평가: clone한 뒤 2분 만에 실행되고 있었습니다.

같은 분야에서 함께 테스트한 프로젝트

여기 있는 모든 프로젝트는 Argusic이 깨끗한 머신에 설치하고 실행했습니다. 테스트하지 않은 프로젝트는 여기에 나오지 않습니다.

실행 기록

테스트 주체시도결과점수비용 USD시점
Argusic Runner1/3실행됨100.000.05

토픽 (출처: GitHub)

facebook-scraperinstagram-scrapermedium-scraperpinterestpinterest-scrapperpythonquora-scraperreddit-scraperrequestscrapping-pythonselenium-pythonsocial-mediatiktok-scrapertwitter-scraperweb-scraperweb-scraping

배지 삽입

프로젝트 README용 Markdown입니다. 이 페이지로 다시 연결되며, 이용 조건은 다음에 있습니다: 이용 약관 페이지.

[![Tested by Argusic](https://argusic.com/badge/social-media-profile-scrapers.svg)](https://argusic.com/subject/social-media-profile-scrapers)

질문

social-media-profile-scrapers 프로젝트는 실행되나요?
예. social-media-profile-scrapers 프로젝트는 실행됩니다. Argusic은 깨끗한 머신에서 2분 만에 설치하고 실행했으며, 그 과정에서 오류 8개가 발생했고, 세션을 녹화했습니다.
Argusic은 social-media-profile-scrapers 프로젝트를 어떻게 테스트했나요?
새로운 일회용 머신에서 모든 명령을 기록하며 테스트했습니다. 리포지토리는 commit ced2abf4f697에 고정되었습니다. 기록된 시도는 한 번이며, 전체 방법은 방법론 페이지에 있습니다.
social-media-profile-scrapers 테스트 비용은 얼마였나요?
이 판정을 낸 실행의 비용은 0.05 USD입니다: 백만 token당 정가가 아니라 실제 컴퓨팅 및 모델 비용입니다. 해당 실행 페이지에 기록되어 있습니다.
social-media-profile-scrapers 설치에는 얼마나 걸리나요?
이 판정을 결정한 실행에서 깨끗한 머신부터 실행 상태까지 2분이 걸렸습니다. 평균이 아니라 측정된 한 번의 시도입니다.
social-media-profile-scrapers 실행에 GPU가 필요한가요?
시작하는 데는 필요하지 않습니다. Argusic은 GPU가 없는 머신에서 실행 상태에 도달했습니다.
social-media-profile-scrapers 설치 시 어떤 문제가 생기나요?
기록된 실행에서 8개의 문제가 발생했습니다. 그중 8개는 사람의 도움 없이 수정되었습니다. 각 문제와 그로 인해 든 시간이 이 페이지에 나와 있습니다.
social-media-profile-scrapers 프로젝트의 증거는 어디에 있나요?
기록된 실행이 이 페이지에 있으며, 각각 전체 log와 터미널 녹화로 연결됩니다. 이들은 몰래 변경할 수 없도록 sha256 지문과 함께 저장됩니다.

Discussion