영어 원문: https://argusic.com/subject/social-media-profile-scrapers
social-media-profile-scrapers
소셜 미디어 전반에서 사용자 데이터 가져오기
실행됨출처: GitHubPythonApache-2.0commit ced2abf4f697
Python, Apache-2.0 라이선스. 프로젝트 자체 레이블: facebook scraper, instagram scraper, medium scraper, pinterest, pinterest scrapper, python, quora scraper 및 reddit scraper.
social-media-profile-scrapers: 실행됩니다. Argusic agent가 GPU가 없는 깨끗한 머신에서 2분 만에 설치했고, 오류 8개가 발생했지만 도움 없이 모두 수정했으며, 전체 세션이 녹화되었습니다.
8/8 tests pass; GitHub and Pinterest CLI scrapers fetch real profile data; the 6 remaining scrapers return None gracefully given no browser binary or API access
깨끗한 머신에서 agent가 얻은 결과를 agent 자신의 말로 옮긴 것입니다. 측정 방법
Argusic이 매번 새 머신에서 측정합니다. 모든 수치는 해당 증거로 연결됩니다. Argusic 점수 100점 만점에 100점(이 프로젝트 실행 점수의 평균).
한눈에 보기
프로젝트 데이터 출처: GitHub(이 페이지 상단에 링크), 업데이트 . 테스트 데이터 제공: Argusic(CC BY 4.0). 모든 수치는 전체 log, 녹화, 그리고 그 sha256 해시가 있는 실행 페이지로 연결됩니다.
측정한 항목
이 판정을 결정한 실행에서 가져왔습니다. 모든 줄은 추정치가 아니라 기록된 값입니다.

agent 자신의 말로 본 문제점
agent가 직접 남긴 말이며, 심각한 것부터 나열하고 조언으로 고쳐 쓰지 않습니다.
- All 8 tests failed: tests.py asserts scrapers return dict, but refactored scrapers return JSON string; Twitter.scrap() and Medium.scrap() take 1 arg (not 2); Reddit/Quora use deprecated Selenium executable_path kwarg from webdriver_manager; Quora/Reddit call exit() on error instead of returning None6분
- Facebook curl_cffi redirected to www.facebook.com React shell (validator rejects it); seleniumbase_uc UC browser back-end fails with I/O operation on closed file3분
- PEP 668 externally-managed environment blocked system pip install1분
- Instagram API returns HTTP 429 without real session cookies1분
- Twitter guest token API changed (no guest_token in response)1분
- Medium GraphQL endpoint returns nothing for test user1분
- 설치 시간
- 2분
- 깨끗한 머신에서 완료까지
- 16분
- 발생하고 수정된 오류
- 8개 발생, 8개를 사람의 도움 없이 수정
- 결과를 증명한 방법
- pytest tests.py -v -p no:seleniumbase: 8 passed in 2.37s; python github.py shaikhsajid1111 --engine curl_cffi --no-contributions returned valid JSON with full_name=Sajid Shaikh, followers=101; python pinterest.py ohjoy --engine curl_cffi returned valid JSON with full_name='Joy Cho / Oh Joy!', follower_count=15085809
- 사용한 모델 token
- 489,763
- 테스트한 정확한 commit
- ced2abf4f697
- 컨테이너 이미지
- sha256:cdd920bce783
측정하지 않은 항목
나머지 절반입니다. 이 증거가 어디까지 유효한지 정확히 볼 수 있도록 공백은 공백으로 표시하며 절대 채워 넣지 않습니다.
- 최대 GPU 메모리
- CPU 머신에서 실행되어 샘플링할 GPU가 없었습니다
- 장시간 실행 시 동작
- 각 시도는 문서화된 가장 작은 설정과 고정된 시간 예산을 사용하므로, 부하에서 얼마나 버티는지가 아니라 실행되는지를 측정합니다
녹화의 마지막 부분
이 판정을 결정한 터미널 세션의 마지막 줄을 기록된 그대로 보여 줍니다.
**Key findings:** - **Installation**: Had to work around PEP 668 by creating a venv. All 6 packages from `requirement… - **Tests**: The test file had mismatched expectations — scrapers now return JSON strings not dicts… - **Working in this container**: - `github.py` (curl_cffi backend) — returns real profile data - `pinterest.py` (curl_cffi backend) — returns real profile data - **Not working (no real fix possible)**: - Facebook — curl_cffi hits www.facebook.com React shell (redirected from m.facebook.com); seleni… - Instagram — API returns 429 - Twitter — guest token API changed upstream - Medium — GraphQL endpoint returns nothing - Reddit/Quora — require Chrome browser binary on PATH
전체 세션 다시 보기, 깨끗한 머신에서 이 시점까지의 모든 명령.
테스트 방법
하나의 agent, 하나의 컨테이너, 사람의 도움 없음. agent는 프로젝트 문서가 안내하는 방식대로 프로젝트를 설치하고 실행하며, 문제가 생기면 수정합니다. 아래의 모든 내용은 실제로 일어난 그대로 기록되었습니다: 터미널 세션, log, 정확한 commit. 전체 방법론.
장점과 한계
의견이 아니라 측정된 사실입니다. 콘텐츠 작성 방식.
잘된 점
- 깨끗한 머신에서 실행 상태에 도달했으며, 세션이 녹화되었습니다.
- 2분 만에 설치되었습니다.
- 사람의 개입 없이 오류 8개에서 모두 복구했습니다. 실패가 해결할 수 있을 만큼 잘 문서화되어 있다는 뜻입니다.
- GPU 없이 실행되었으므로, 시작하는 데 GPU가 필요하지 않습니다.
- 호스트가 보고한 라이선스는 Apache-2.0입니다.
잘되지 않은 점 또는 알 수 없는 점
- 지금까지 한 번 측정되었습니다. 한 번의 시도는 실행될 수 있음을 보여 줄 뿐, 안정적으로 실행된다는 것을 보여 주지는 않습니다.
적합한 용도
- 노트북이나 작은 서버에서 시험해 보기: GPU 없이 실행 상태에 도달했습니다.
- 빠른 평가: clone한 뒤 2분 만에 실행되고 있었습니다.
같은 분야에서 함께 테스트한 프로젝트
여기 있는 모든 프로젝트는 Argusic이 깨끗한 머신에 설치하고 실행했습니다. 테스트하지 않은 프로젝트는 여기에 나오지 않습니다.
실행 기록
토픽 (출처: GitHub)
facebook-scraperinstagram-scrapermedium-scraperpinterestpinterest-scrapperpythonquora-scraperreddit-scraperrequestscrapping-pythonselenium-pythonsocial-mediatiktok-scrapertwitter-scraperweb-scraperweb-scraping
배지 삽입
프로젝트 README용 Markdown입니다. 이 페이지로 다시 연결되며, 이용 조건은 다음에 있습니다: 이용 약관 페이지.
[](https://argusic.com/subject/social-media-profile-scrapers)질문
- social-media-profile-scrapers 프로젝트는 실행되나요?
- 예. social-media-profile-scrapers 프로젝트는 실행됩니다. Argusic은 깨끗한 머신에서 2분 만에 설치하고 실행했으며, 그 과정에서 오류 8개가 발생했고, 세션을 녹화했습니다.
- Argusic은 social-media-profile-scrapers 프로젝트를 어떻게 테스트했나요?
- 새로운 일회용 머신에서 모든 명령을 기록하며 테스트했습니다. 리포지토리는 commit ced2abf4f697에 고정되었습니다. 기록된 시도는 한 번이며, 전체 방법은 방법론 페이지에 있습니다.
- social-media-profile-scrapers 테스트 비용은 얼마였나요?
- 이 판정을 낸 실행의 비용은 0.05 USD입니다: 백만 token당 정가가 아니라 실제 컴퓨팅 및 모델 비용입니다. 해당 실행 페이지에 기록되어 있습니다.
- social-media-profile-scrapers 설치에는 얼마나 걸리나요?
- 이 판정을 결정한 실행에서 깨끗한 머신부터 실행 상태까지 2분이 걸렸습니다. 평균이 아니라 측정된 한 번의 시도입니다.
- social-media-profile-scrapers 실행에 GPU가 필요한가요?
- 시작하는 데는 필요하지 않습니다. Argusic은 GPU가 없는 머신에서 실행 상태에 도달했습니다.
- social-media-profile-scrapers 설치 시 어떤 문제가 생기나요?
- 기록된 실행에서 8개의 문제가 발생했습니다. 그중 8개는 사람의 도움 없이 수정되었습니다. 각 문제와 그로 인해 든 시간이 이 페이지에 나와 있습니다.
- social-media-profile-scrapers 프로젝트의 증거는 어디에 있나요?
- 기록된 실행이 이 페이지에 있으며, 각각 전체 log와 터미널 녹화로 연결됩니다. 이들은 몰래 변경할 수 없도록 sha256 지문과 함께 저장됩니다.