영어 원문: https://argusic.com/subject/cumulusci
CumulusCI
Salesforce 프로젝트를 위한 이식 가능한 자동화를 구축하는 Python 프레임워크
실행됨출처: GitHub홈페이지PythonBSD-3-Clausecommit 38a6b1b5ff08
Python, BSD-3-Clause 라이선스. 프로젝트 자체 레이블: cicd, continuous integration, github, salesforce, salesforce apex, salesforce api, salesforce developers 및 salesforce devops.
CumulusCI: 실행됩니다. Argusic agent가 GPU가 없는 깨끗한 머신에서 0.8분 만에 설치했고, 오류 7개가 발생했으며, 전체 세션이 녹화되었습니다.
CLI installed and responds correctly; 3231 unit tests pass; 2 VCR-based Salesforce upsert tests fail due to cassette format incompatibility with vcrpy 8.x that requires re-recording against a live Salesforce org
깨끗한 머신에서 agent가 얻은 결과를 agent 자신의 말로 옮긴 것입니다. 측정 방법
Argusic이 매번 새 머신에서 측정합니다. 모든 수치는 해당 증거로 연결됩니다. Argusic 점수 100점 만점에 97.1점(이 프로젝트 실행 점수의 평균).
한눈에 보기
프로젝트 데이터 출처: GitHub(이 페이지 상단에 링크), 업데이트 . 테스트 데이터 제공: Argusic(CC BY 4.0). 모든 수치는 전체 log, 녹화, 그리고 그 sha256 해시가 있는 실행 페이지로 연결됩니다.
측정한 항목
이 판정을 결정한 실행에서 가져왔습니다. 모든 줄은 추정치가 아니라 기록된 값입니다.

agent 자신의 말로 본 문제점
agent가 직접 남긴 말이며, 심각한 것부터 나열하고 조언으로 고쳐 쓰지 않습니다.
- VCR cassettes for upsert tests incompatible with vcrpy 8.x (CannotOverwriteExistingCassetteException)10분
- vcrpy 8.x passes bytes_iterator/list-of-bytes for request bodies, _cleanup/simplify_body expects bytes8분
- LibraryDocBuilder/ResourceDocBuilder missing doc_format arg (Robot Framework 7.x breaking change)5분
- MockHttpResponse sub-mock creation fails with unexpected kwarg 'parent' (Python 3.12 unittest.mock)5분
- Back-compat test subprocess fails due to ImportPathMismatchError with installed cumulusci package4분
- Salesforce PATCH tests fail with ChunkedEncodingError (urllib3 2.x rejects body on 204)3분
- 설치 시간
- 일 분 미만
- 깨끗한 머신에서 완료까지
- 38분
- 발생하고 수정된 오류
- 7개 발생, 6개를 사람의 도움 없이 수정
- 결과를 증명한 방법
- cci version exited 0 (v4.10.1); pytest --tb=line -q produced 3231 passed, 37 skipped, 2 failed, 3 subtests passed
- 사용한 모델 token
- 779,595
- 테스트한 정확한 commit
- 38a6b1b5ff08
- 컨테이너 이미지
- sha256:cdd920bce783
측정하지 않은 항목
나머지 절반입니다. 이 증거가 어디까지 유효한지 정확히 볼 수 있도록 공백은 공백으로 표시하며 절대 채워 넣지 않습니다.
- 최대 GPU 메모리
- CPU 머신에서 실행되어 샘플링할 GPU가 없었습니다
- 장시간 실행 시 동작
- 각 시도는 문서화된 가장 작은 설정과 고정된 시간 예산을 사용하므로, 부하에서 얼마나 버티는지가 아니라 실행되는지를 측정합니다
녹화의 마지막 부분
이 판정을 결정한 터미널 세션의 마지막 줄을 기록된 그대로 보여 줍니다.
FAILED cumulusci/tasks/bulkdata/tests/test_upsert.py::TestUpsert::test_upsert_complex_fields__bulk 2 failed, 3231 passed, 37 skipped, 4991 warnings, 3 subtests passed in 83.33s (0:01:23) === CLI Version === CumulusCI version: 4.10.1 (/tmp/cci-venv/bin/cci) Python version: 3.12.3 (/tmp/cci-venv/bin/python3.12) === Total tests === -- Docs: https://docs.pytest.org/en/stable/how-to/capture-warnings.html 3270 tests collected in 2.24s Here is my compiled final report: tokens used 779,595 Here is my compiled final report:
전체 세션 다시 보기, 깨끗한 머신에서 이 시점까지의 모든 명령.
테스트 방법
하나의 agent, 하나의 컨테이너, 사람의 도움 없음. agent는 프로젝트 문서가 안내하는 방식대로 프로젝트를 설치하고 실행하며, 문제가 생기면 수정합니다. 아래의 모든 내용은 실제로 일어난 그대로 기록되었습니다: 터미널 세션, log, 정확한 commit. 전체 방법론.
장점과 한계
의견이 아니라 측정된 사실입니다. 콘텐츠 작성 방식.
잘된 점
- 깨끗한 머신에서 실행 상태에 도달했으며, 세션이 녹화되었습니다.
- 0.8분 만에 설치되었습니다.
- GPU 없이 실행되었으므로, 시작하는 데 GPU가 필요하지 않습니다.
- 호스트가 보고한 라이선스는 BSD-3-Clause입니다.
잘되지 않은 점 또는 알 수 없는 점
- 설정 중 오류 7개가 발생했습니다. 그중 1개는 해결되지 않았습니다.
- 지금까지 한 번 측정되었습니다. 한 번의 시도는 실행될 수 있음을 보여 줄 뿐, 안정적으로 실행된다는 것을 보여 주지는 않습니다.
적합한 용도
- 노트북이나 작은 서버에서 시험해 보기: GPU 없이 실행 상태에 도달했습니다.
- 빠른 평가: clone한 뒤 0.8분 만에 실행되고 있었습니다.
같은 분야에서 함께 테스트한 프로젝트
여기 있는 모든 프로젝트는 Argusic이 깨끗한 머신에 설치하고 실행했습니다. 테스트하지 않은 프로젝트는 여기에 나오지 않습니다.
실행 기록
토픽 (출처: GitHub)
cicdcontinuous-integrationgithubsalesforcesalesforce-apexsalesforce-apisalesforce-developerssalesforce-devopssalesforce-isv-developersalesforce-metadatasalesforcedxsfdx
배지 삽입
프로젝트 README용 Markdown입니다. 이 페이지로 다시 연결되며, 이용 조건은 다음에 있습니다: 이용 약관 페이지.
[](https://argusic.com/subject/cumulusci)질문
- CumulusCI 프로젝트는 실행되나요?
- 예. CumulusCI 프로젝트는 실행됩니다. Argusic은 깨끗한 머신에서 1분 만에 설치하고 실행했으며, 그 과정에서 오류 7개가 발생했고, 세션을 녹화했습니다.
- Argusic은 CumulusCI 프로젝트를 어떻게 테스트했나요?
- 새로운 일회용 머신에서 모든 명령을 기록하며 테스트했습니다. 리포지토리는 commit 38a6b1b5ff08에 고정되었습니다. 기록된 시도는 한 번이며, 전체 방법은 방법론 페이지에 있습니다.
- CumulusCI 테스트 비용은 얼마였나요?
- 이 판정을 낸 실행의 비용은 0.24 USD입니다: 백만 token당 정가가 아니라 실제 컴퓨팅 및 모델 비용입니다. 해당 실행 페이지에 기록되어 있습니다.
- CumulusCI 설치에는 얼마나 걸리나요?
- 이 판정을 결정한 실행에서 깨끗한 머신부터 실행 상태까지 0.8분이 걸렸습니다. 평균이 아니라 측정된 한 번의 시도입니다.
- CumulusCI 실행에 GPU가 필요한가요?
- 시작하는 데는 필요하지 않습니다. Argusic은 GPU가 없는 머신에서 실행 상태에 도달했습니다.
- CumulusCI 설치 시 어떤 문제가 생기나요?
- 기록된 실행에서 7개의 문제가 발생했습니다. 그중 6개는 사람의 도움 없이 수정되었습니다. 각 문제와 그로 인해 든 시간이 이 페이지에 나와 있습니다.
- CumulusCI 프로젝트의 증거는 어디에 있나요?
- 기록된 실행이 이 페이지에 있으며, 각각 전체 log와 터미널 녹화로 연결됩니다. 이들은 몰래 변경할 수 없도록 sha256 지문과 함께 저장됩니다.