영어 원문: https://argusic.com/subject/agentenv

AgentENV

AgentENV (AENV)는 agent 환경을 대규모로 실행하기 위한 분산 플랫폼입니다.

실행됨출처: GitHubRustMITcommit 5843159b1eaf

Rust, MIT 라이선스.

AgentENV: 실행됩니다. Argusic agent가 GPU가 없는 깨끗한 머신에서 36분 만에 설치했고, 오류 5개가 발생했으며, 전체 세션이 녹화되었습니다.

Both server and aenv CLI binaries compile from source in debug profile; 947 agentenv unit tests, 110 CLI tests, 7 object-store-operator tests, 18 ublk tests pass; overlaybd lib tests pass with 6 expected direct-I/O failures on tmpfs; cargo fmt --check and cargo clippy --all-targets both clean

깨끗한 머신에서 agent가 얻은 결과를 agent 자신의 말로 옮긴 것입니다. 측정 방법

Argusic이 매번 새 머신에서 측정합니다. 모든 수치는 해당 증거로 연결됩니다. Argusic 점수 100점 만점에 96점(이 프로젝트 실행 점수의 평균).

한눈에 보기

판정
실행됨
Argusic 점수
96 / 100
검증 실행 비용
0.15 USD(측정값)
기록된 실행
1
마지막 테스트
스타
3,724
포크
356
열린 issue
90
watcher
14
크기
26 MB
생성일
마지막 push

프로젝트 데이터 출처: GitHub(이 페이지 상단에 링크), 업데이트 . 테스트 데이터 제공: Argusic(CC BY 4.0). 모든 수치는 전체 log, 녹화, 그리고 그 sha256 해시가 있는 실행 페이지로 연결됩니다.

측정한 항목

이 판정을 결정한 실행에서 가져왔습니다. 모든 줄은 추정치가 아니라 기록된 값입니다.

AgentENV 테스트 중 각 실패로 잃은 시간, 기록된 실행에서 그림
각 막대는 agent가 기록한 실패와 그로 인해 소요된 시간입니다. 다른 곳이 아닌 이 실행에서 그렸습니다.

agent 자신의 말로 본 문제점

agent가 직접 남긴 말이며, 심각한 것부터 나열하고 조언으로 고쳐 쓰지 않습니다.

  • libclang not found (bindgen dependency)3분
  • Rust toolchain not installed2분
  • stdbool.h not found (rocksdb-sys dependency)2분
  • protoc not found (prost-build dependency)1분
  • 6 overlaybd direct-I/O tests fail in container (O_DIRECT unsupported on tmpfs)
설치 시간
36분
깨끗한 머신에서 완료까지
42분
발생하고 수정된 오류
5개 발생, 4개를 사람의 도움 없이 수정
결과를 증명한 방법
cargo test --lib -p agentenv: 947/947 passed; cargo test -p aenv: 110/110 passed; cargo test --lib -p object-store-operator: 7/7 passed; cargo test --lib -p uvm-ublk: 18/18 passed; cargo clippy --all-targets: clean; cargo fmt --check: clean; aenv --version: aenv 0.2.3; server --help: prints usage
사용한 모델 token
309,117
테스트한 정확한 commit
5843159b1eaf
컨테이너 이미지
sha256:cdd920bce783

측정하지 않은 항목

나머지 절반입니다. 이 증거가 어디까지 유효한지 정확히 볼 수 있도록 공백은 공백으로 표시하며 절대 채워 넣지 않습니다.

최대 GPU 메모리
CPU 머신에서 실행되어 샘플링할 GPU가 없었습니다
장시간 실행 시 동작
각 시도는 문서화된 가장 작은 설정과 고정된 시간 예산을 사용하므로, 부하에서 얼마나 버티는지가 아니라 실행되는지를 측정합니다

녹화의 마지막 부분

이 판정을 결정한 터미널 세션의 마지막 줄을 기록된 그대로 보여 줍니다.

- `cargo test --lib -p agentenv` — **947 passed, 0 failed, 4 ignored**
- `cargo test -p aenv` — **110 passed, 0 failed**
- `cargo test --lib -p object-store-operator` — **7 passed, 0 failed**
- `cargo test --lib -p uvm-ublk` — **18 passed, 0 failed**
- `cargo test --lib -p overlaybd` — **377 passed, 6 failed** (all 6 failures are direct-I/O tests t…
- Integration tests (`cargo test -p agentenv --test integration`): 21 tests skipped — all require `…
exec
/bin/sh -lc "echo '{\"install_succeeded\": true, \"launch_succeeded\": true, \"install_minutes\": 3…
 succeeded in 0ms:
{"install_succeeded": true, "launch_succeeded": true, "install_minutes": 36, "errors": [{"msg": "Ru…
tokens used
309,117

전체 세션 다시 보기, 깨끗한 머신에서 이 시점까지의 모든 명령.

테스트 방법

하나의 agent, 하나의 컨테이너, 사람의 도움 없음. agent는 프로젝트 문서가 안내하는 방식대로 프로젝트를 설치하고 실행하며, 문제가 생기면 수정합니다. 아래의 모든 내용은 실제로 일어난 그대로 기록되었습니다: 터미널 세션, log, 정확한 commit. 전체 방법론.

장점과 한계

의견이 아니라 측정된 사실입니다. 콘텐츠 작성 방식.

잘된 점

  • 깨끗한 머신에서 실행 상태에 도달했으며, 세션이 녹화되었습니다.
  • GPU 없이 실행되었으므로, 시작하는 데 GPU가 필요하지 않습니다.
  • 호스트가 보고한 라이선스는 MIT입니다.

잘되지 않은 점 또는 알 수 없는 점

  • 설치에 36분이 걸려, Argusic이 측정한 비슷한 프로젝트 16개의 중앙값보다 느렸습니다.
  • 설정 중 오류 5개가 발생했습니다. 그중 1개는 해결되지 않았습니다.
  • 지금까지 한 번 측정되었습니다. 한 번의 시도는 실행될 수 있음을 보여 줄 뿐, 안정적으로 실행된다는 것을 보여 주지는 않습니다.

Argusic이 설치하고 시간을 잰 Rust 프로젝트 17개 중 AgentENV 프로젝트는 실행 상태에 16번째로 빨리 도달했으며, 17개 중 15개만 실행 상태에 도달했습니다.

적합한 용도

  • 노트북이나 작은 서버에서 시험해 보기: GPU 없이 실행 상태에 도달했습니다.

실행 기록

테스트 주체시도결과점수비용 USD시점
Argusic Runner1/3실행됨96.000.15

배지 삽입

프로젝트 README용 Markdown입니다. 이 페이지로 다시 연결되며, 이용 조건은 다음에 있습니다: 이용 약관 페이지.

[![Tested by Argusic](https://argusic.com/badge/AgentENV.svg)](https://argusic.com/subject/agentenv)

질문

AgentENV 프로젝트는 실행되나요?
예. AgentENV 프로젝트는 실행됩니다. Argusic은 깨끗한 머신에서 36분 만에 설치하고 실행했으며, 그 과정에서 오류 5개가 발생했고, 세션을 녹화했습니다.
Argusic은 AgentENV 프로젝트를 어떻게 테스트했나요?
새로운 일회용 머신에서 모든 명령을 기록하며 테스트했습니다. 리포지토리는 commit 5843159b1eaf에 고정되었습니다. 기록된 시도는 한 번이며, 전체 방법은 방법론 페이지에 있습니다.
AgentENV 테스트 비용은 얼마였나요?
이 판정을 낸 실행의 비용은 0.15 USD입니다: 백만 token당 정가가 아니라 실제 컴퓨팅 및 모델 비용입니다. 해당 실행 페이지에 기록되어 있습니다.
AgentENV 설치에는 얼마나 걸리나요?
이 판정을 결정한 실행에서 깨끗한 머신부터 실행 상태까지 36분이 걸렸습니다. 평균이 아니라 측정된 한 번의 시도입니다.
AgentENV 실행에 GPU가 필요한가요?
시작하는 데는 필요하지 않습니다. Argusic은 GPU가 없는 머신에서 실행 상태에 도달했습니다.
AgentENV 설치 시 어떤 문제가 생기나요?
기록된 실행에서 5개의 문제가 발생했습니다. 그중 4개는 사람의 도움 없이 수정되었습니다. 각 문제와 그로 인해 든 시간이 이 페이지에 나와 있습니다.
AgentENV 프로젝트는 대안과 비교해 어떤가요?
Argusic이 설치하고 시간을 잰 Rust 프로젝트 17개 중 AgentENV 프로젝트는 실행 상태에 16번째로 빨리 도달했으며, 17개 중 15개만 실행 상태에 도달했습니다.
AgentENV 프로젝트의 증거는 어디에 있나요?
기록된 실행이 이 페이지에 있으며, 각각 전체 log와 터미널 녹화로 연결됩니다. 이들은 몰래 변경할 수 없도록 sha256 지문과 함께 저장됩니다.

Discussion