영어 원문: https://argusic.com/subject/shepherd

shepherd

런타임 기반은 agent의 실행을 되돌릴 수 있는 Git과 유사한 추적으로 변환하여, 메타 agents가 모든 실행을 관찰하고, 포크하고, 재생하고, 되돌릴 수 있게 합니다. 쓰기 시 복사 포크로 agent와 환경을 결합하며, docker commit보다 ~5x 더 빠르고, 재생 시 ~95%의 KV-cache를 재사용합니다. 메타 agents가 다른 agents를 감독하고, 최적화하고, 훈련시키기 위해 구축된 프레임워크입니다.

실행됨출처: GitHub홈페이지PythonMITcommit d34d5ca33487

Python, MIT 라이선스. 프로젝트 자체 레이블: mcts rl, meta agents, meta optimization, runtime supervision, tree rl 및 workflow automation.

shepherd: 실행됩니다. Argusic agent가 GPU가 없는 깨끗한 머신에서 28분 만에 설치했고, 오류 3개가 발생했지만 도움 없이 모두 수정했으며, 전체 세션이 녹화되었습니다.

All 50 workspace packages installed via uv sync; integration test suite reports 77/82 passed (4 skipped due to missing native jail, 1 expected failure for fuse-overlayfs check); core package tests 553/554 passed (1 slow-hypothesis flake); shepherd2 tests 186/186 passed; offline quickstart runs successfully end-to-end.

깨끗한 머신에서 agent가 얻은 결과를 agent 자신의 말로 옮긴 것입니다. 측정 방법

Argusic이 매번 새 머신에서 측정합니다. 모든 수치는 해당 증거로 연결됩니다. Argusic 점수 100점 만점에 100점(이 프로젝트 실행 점수의 평균).

한눈에 보기

판정
실행됨
Argusic 점수
100 / 100
검증 실행 비용
0.09 USD(측정값)
기록된 실행
1
마지막 테스트
스타
2,504
포크
219
열린 issue
13
watcher
9
크기
17 MB
생성일
마지막 push

프로젝트 데이터 출처: GitHub(이 페이지 상단에 링크), 업데이트 . 테스트 데이터 제공: Argusic(CC BY 4.0). 모든 수치는 전체 log, 녹화, 그리고 그 sha256 해시가 있는 실행 페이지로 연결됩니다.

측정한 항목

이 판정을 결정한 실행에서 가져왔습니다. 모든 줄은 추정치가 아니라 기록된 값입니다.

agent 자신의 말로 본 문제점

agent가 직접 남긴 말이며, 심각한 것부터 나열하고 조언으로 고쳐 쓰지 않습니다.

  • Integration test test_launch_helper_bootstrap_validates_kernel_and_example_root fails on Linux without fuse-overlayfs: NotebookSetupError: 'No copy-on-write overlay backend is available on this Linux host.'
  • Core package property test test_task_started_roundtrip failed with Hypothesis FailedHealthCheck (input generation too slow).
  • shepherd/packages/dialect/tests/test_providers.py hangs indefinitely (timeout > 30s).
설치 시간
28분
깨끗한 머신에서 완료까지
33분
발생하고 수정된 오류
3개 발생, 3개를 사람의 도움 없이 수정
결과를 증명한 방법
uv sync installed 50 packages; pytest integration-tests/ exited 0 with 77 passed, 4 skipped, 1 expected env-related failure; offline quickstart test (test_offline_quickstart_example_runs) passed end-to-end; pytest shepherd/packages/core/tests/ ran 554 tests (553 passed, 1 hypothesis health-check flake); pytest shepherd2/tests/ ran 186 passed; python3 -c 'from shepherd import task, May, GitRepo, ReadOnly, ReadWrite' verified all 15 workspace packages import cleanly.
사용한 모델 token
84,638
테스트한 정확한 commit
d34d5ca33487
컨테이너 이미지
sha256:cdd920bce783

측정하지 않은 항목

나머지 절반입니다. 이 증거가 어디까지 유효한지 정확히 볼 수 있도록 공백은 공백으로 표시하며 절대 채워 넣지 않습니다.

최대 GPU 메모리
CPU 머신에서 실행되어 샘플링할 GPU가 없었습니다
장시간 실행 시 동작
각 시도는 문서화된 가장 작은 설정과 고정된 시간 예산을 사용하므로, 부하에서 얼마나 버티는지가 아니라 실행되는지를 측정합니다

녹화의 마지막 부분

이 판정을 결정한 터미널 세션의 마지막 줄을 기록된 그대로 보여 줍니다.

print(result.stdout)
print(result.stderr[-300:] if len(result.stderr) > 300 else result.stderr)
print('Exit code:', result.returncode)
\" 2>&1" in /work/repo
 succeeded in 9534ms:
.                                                                        [100%]
1 passed in 7.78s
Exit code: 0
Now I have all the data. Let me produce the final structured report.
tokens used
84,638
Now I have all the data. Let me produce the final structured report.

전체 세션 다시 보기, 깨끗한 머신에서 이 시점까지의 모든 명령.

테스트 방법

하나의 agent, 하나의 컨테이너, 사람의 도움 없음. agent는 프로젝트 문서가 안내하는 방식대로 프로젝트를 설치하고 실행하며, 문제가 생기면 수정합니다. 아래의 모든 내용은 실제로 일어난 그대로 기록되었습니다: 터미널 세션, log, 정확한 commit. 전체 방법론.

장점과 한계

의견이 아니라 측정된 사실입니다. 콘텐츠 작성 방식.

잘된 점

  • 깨끗한 머신에서 실행 상태에 도달했으며, 세션이 녹화되었습니다.
  • 28분 만에 설치되었습니다.
  • 사람의 개입 없이 오류 3개에서 모두 복구했습니다. 실패가 해결할 수 있을 만큼 잘 문서화되어 있다는 뜻입니다.
  • GPU 없이 실행되었으므로, 시작하는 데 GPU가 필요하지 않습니다.
  • 호스트가 보고한 라이선스는 MIT입니다.

잘되지 않은 점 또는 알 수 없는 점

  • 지금까지 한 번 측정되었습니다. 한 번의 시도는 실행될 수 있음을 보여 줄 뿐, 안정적으로 실행된다는 것을 보여 주지는 않습니다.

적합한 용도

  • 노트북이나 작은 서버에서 시험해 보기: GPU 없이 실행 상태에 도달했습니다.

실행 기록

테스트 주체시도결과점수비용 USD시점
Argusic Runner1/3실행됨100.000.09

토픽 (출처: GitHub)

mcts-rlmeta-agentsmeta-optimizationruntime-supervisiontree-rlworkflow-automation

배지 삽입

프로젝트 README용 Markdown입니다. 이 페이지로 다시 연결되며, 이용 조건은 다음에 있습니다: 이용 약관 페이지.

[![Tested by Argusic](https://argusic.com/badge/shepherd.svg)](https://argusic.com/subject/shepherd)

질문

shepherd 프로젝트는 실행되나요?
예. shepherd 프로젝트는 실행됩니다. Argusic은 깨끗한 머신에서 28분 만에 설치하고 실행했으며, 그 과정에서 오류 3개가 발생했고, 세션을 녹화했습니다.
Argusic은 shepherd 프로젝트를 어떻게 테스트했나요?
새로운 일회용 머신에서 모든 명령을 기록하며 테스트했습니다. 리포지토리는 commit d34d5ca33487에 고정되었습니다. 기록된 시도는 한 번이며, 전체 방법은 방법론 페이지에 있습니다.
shepherd 테스트 비용은 얼마였나요?
이 판정을 낸 실행의 비용은 0.09 USD입니다: 백만 token당 정가가 아니라 실제 컴퓨팅 및 모델 비용입니다. 해당 실행 페이지에 기록되어 있습니다.
shepherd 설치에는 얼마나 걸리나요?
이 판정을 결정한 실행에서 깨끗한 머신부터 실행 상태까지 28분이 걸렸습니다. 평균이 아니라 측정된 한 번의 시도입니다.
shepherd 실행에 GPU가 필요한가요?
시작하는 데는 필요하지 않습니다. Argusic은 GPU가 없는 머신에서 실행 상태에 도달했습니다.
shepherd 설치 시 어떤 문제가 생기나요?
기록된 실행에서 3개의 문제가 발생했습니다. 그중 3개는 사람의 도움 없이 수정되었습니다. 각 문제와 그로 인해 든 시간이 이 페이지에 나와 있습니다.
shepherd 프로젝트의 증거는 어디에 있나요?
기록된 실행이 이 페이지에 있으며, 각각 전체 log와 터미널 녹화로 연결됩니다. 이들은 몰래 변경할 수 없도록 sha256 지문과 함께 저장됩니다.

Discussion