英語の原文: https://argusic.com/subject/swe-rex

SWE-ReX

AI エージェント向けの、ローカルまたはクラウド上でのサンドボックス化されたコード実行。超並列で、拡張が容易。SWE-agent などを支えています。

モックで動作するソース: GitHubホームページPythonMITコミット 5c995c365dfb

Python、MIT ライセンス. プロジェクト自身の表記: agent、agents、ai、aws、cloud、coding agents、docker、fargate.

SWE-ReX は、依存するサービスを代わりのものに置き換えたうえで動作します。Argusic のエージェントが GPU のないクリーンなマシンで 1.5 分でインストールし、6 件のエラーに遭遇し、セッション全体が記録されました。

Package installs cleanly, 74 tests pass, server binary starts and responds correctly on all core endpoints (is_alive, create_session, execute), CLI --version prints 1.4.0.

クリーンなマシンでエージェントが最終的に得た結果 (エージェント自身の言葉)。 計測方法

Argusic が毎回新しいマシンで計測しています。 すべての数値はその証拠にリンクしています。 Argusic スコア 100 点中 82 点 (このプロジェクトの実行スコアの平均)。

概要

判定
モックで動作する
Argusic スコア
82 / 100
検証した実行のコスト
0.05 USD (実測)
記録された実行
1
最終テスト
スター
632
フォーク
130
未解決の Issue
59
ウォッチャー
5
サイズ
5 MB
作成日
最終プッシュ

プロジェクトのデータは GitHub から取得 (このページの冒頭にリンクあり)、更新日 。テストデータは Argusic によるもので (CC BY 4.0)、すべての数値は、完全なログ、録画、それらの sha256 ハッシュを含む実行ページにリンクしています。

計測した内容

この判定を決めた実行から取得しています。 各行は記録された値であり、推定値ではありません。

SWE-ReX のテスト中に各失敗で失われた時間 (記録された実行から作成)
各バーはエージェントが記録した失敗と、それにかかった時間です。この実行のデータのみから描いています。

うまくいかなかった点 (エージェント自身の言葉)

エージェント自身の言葉を、深刻なものから順に掲載しています。助言に書き換えることはありません。

  • test_bash_multiline_command_eof, test_run_in_shell_interactive_command*: `python` not found (only python3), `less` not found1.5 分
  • test_unauthenticated_request: FastAPI's APIKeyHeader returns 401 not 4030.5 分
  • test_interrupt_pager: 'Killed' output consumed by interrupt handler, not echo0.5 分
  • test_docker_deployment*: docker binary not found
  • test_fargate_deployment*: No AWS region configured
  • test_modal_deployment*, test_get_modal_deployment: No Modal token
インストール時間
2 分
クリーンなマシンから完了まで
23 分
遭遇したエラーと修正したエラー
6 件に遭遇、3 件を人の手を借りずに修正
結果の証明方法
The server was started with swerex-remote --port 9988 --auth-token testkey; curl verified / (200, 'hello world'), /is_alive (200, alive), POST /create_session (200), POST /execute (200, 'hello-world' exit_code=0). cli test: swerex-remote --version printed 1.4.0; swerex-remote --port 9990 --auth-token x started and shut down cleanly.
使用したモデルのトークン
195,440
テストした正確なコミット
5c995c365dfb
コンテナイメージ
sha256:cdd920bce783

計測していない内容

残りの半分です。この証拠がどこまでを示すのかを正確に確認できます。欠けている部分は欠けているものとして表示し、埋めることはありません。

GPU メモリのピーク
CPU マシンで実行したため、サンプリングする GPU がありませんでした
長時間の実行での振る舞い
各試行はドキュメントにある最小の設定と決まった時間予算を使うため、計測しているのは動作するかどうかであり、負荷のもとでどう持ちこたえるかではありません
実際のサービスに対する振る舞い
この実行は代わりのサービスに対してのみ検証されました

セッションを見る

クリーンなマシンから始まる実行の全体を、実際の速度で再生します。カットも早送りもしていません。

試行 1 の録画、実行日 。上の判定を決めた試行です。 この動画の元になったターミナル録画が証拠であり、sha256 フィンガープリントとともに保存されています。動画はそこからレンダリングしたものです。 再生ボタンを押すまで、動画ホストからは何も読み込まれません。

録画の最後

この判定を決めたターミナルセッションの最後の行を、記録されたとおりに表示しています。

| `test_get_modal_deployment` | `modal.exception.AuthError` — no Modal token |
| `test_modal_deployment*` (2) | Same Modal auth issue |
**End-to-end verification**:
```
curl 127.0.0.1:9988/       → 200  {"message":"hello world"}
curl 127.0.0.1:9988/is_alive → 200  {"is_alive":true}
curl POST /create_session   → 200  (bash session created)
curl POST /execute          → 200  {"stdout":"hello-world\n","exit_code":0}
swerex-remote --version     → 1.4.0
```
**Test results**: 74 passed, 1 xfailed, 7 infrastructure-failed out of 86 total, 37 warnings (pty f…
**Time spent**: ~5 minutes.

セッション全体を再生 (クリーンなマシンからこの時点までのすべてのコマンド)。

テスト方法

1 つのエージェント、1 つのコンテナで、人の手は借りません。エージェントはプロジェクト自身のドキュメントに書かれた方法でインストールし、実行し、壊れた部分を修正します。以下はすべて、実際に起きたとおりに記録されています: ターミナルセッション、ログ、そして正確なコミットです。 評価方法の全文.

強みと限界

意見ではなく、計測された事実です。コンテンツの作成方法.

うまくいった点

  • 1.5 分でインストールでき、Argusic が計測した比較可能な 134 件のプロジェクトの中央値より速い結果です。
  • ホストの報告によると、ライセンスは MIT です。

うまくいかなかった点、または不明な点

  • 代わりのサービスに対してのみ実行状態に達したため、実際のサービスで動作することはここでは証明されていません。
  • セットアップ中に 6 件のエラーに遭遇しました。そのうち 3 件は解決されていません。
  • これまでの計測は 1 回です。1 回の試行は動作し得ることを示すだけで、安定して動作することは示しません。

Argusic がインストールして時間を計測した agent のプロジェクト 135 件のうち、SWE-ReX は実行状態に達するまでの速さが 20 番目で、135 件中 87 件がそもそも実行状態に達しました。

同じ分野でテストしたプロジェクト

ここに挙げたものはすべて、Argusic がクリーンなマシンにインストールして実行しました。テストしていないものは表示されません。

実行履歴

テスト担当試行結果スコアコスト (USD)日時
Argusic Runner1/3モックで動作した82.000.05

トピック (出典: GitHub)

agentagentsaiawscloudcoding-agentsdockerfargatemodalswe-agent

バッジを埋め込む

プロジェクトの README に貼る Markdown です。バッジはこのページにリンクします。利用条件: 利用規約ページ.

[![Tested by Argusic](https://argusic.com/badge/SWE-ReX.svg)](https://argusic.com/subject/swe-rex)

質問

SWE-ReX は動作しますか?
SWE-ReX は、外部サービスの代わりにモックを使って動作します. Argusic はクリーンなマシンで 2 分でインストールして起動し、途中で 6 件のエラーに遭遇し、セッションを記録しました。
Argusic は SWE-ReX をどのようにテストしましたか?
新しい使い捨てのマシンで、すべてのコマンドを記録しながらテストしました (リポジトリはコミット 5c995c365dfb に固定)。記録された試行は 1 回で、手順の全体は評価方法のページに掲載しています。
SWE-ReX のテストにはいくらかかりましたか?
この判定を出した実行のコストは 0.05 USD です: 100 万トークンあたりの定価ではなく、実際の計算資源とモデルのコストです。その実行のページに記録されています。
SWE-ReX のインストールにはどのくらい時間がかかりますか?
この判定を決めた実行では、クリーンなマシンから実行状態まで 1.5 分でした。これは 1 回の計測された試行であり、平均ではありません。
SWE-ReX には GPU が必要ですか?
起動には必要ありません。Argusic は GPU のないマシンで実行状態に達しました。
SWE-ReX のインストールでは何がうまくいきませんか?
記録された実行では 6 件の問題が発生しました。そのうち 3 件は人の手を借りずに修正されました。それぞれの問題と、かかった時間をこのページに掲載しています。
SWE-ReX は代替のプロジェクトと比べてどうですか?
Argusic がインストールして時間を計測した agent のプロジェクト 135 件のうち、SWE-ReX は実行状態に達するまでの速さが 20 番目で、135 件中 87 件がそもそも実行状態に達しました。
SWE-ReX の証拠はどこにありますか?
記録された実行をこのページに掲載しており、それぞれが完全なログとターミナル録画にリンクしています。録画は sha256 フィンガープリントとともに保存されているため、こっそり改変することはできません。

Discussion