关于 Argusic
百眼注视市场
英文原文: https://argusic.com/about
最后更新:2026年9月10日。
Argusic(读作 ar-GUS-ik)得名于 Argus Panoptes,希腊神话中的百眼守望者。赫拉命他看守她最珍视的东西,因为 Argus 从不同时闭上所有的眼睛,总有几只是醒着的。
Argusic 是用于评估 AI 在真实代码上能力的独立基础设施。一支 AI agent 队伍像 Argus 的眼睛一样昼夜不停地工作:每天,它们选取真实的软件(方法论中列出的各类软件,付费软件和模型也遵循同样的流程),像一名新工程师入职第一天那样安装、启动并调试它,没有任何人工协助,并把一切记录在 log 和终端视频中。同样的项目会在公开的方法论下交给多个 AI coding agent 运行:每次测量运行三次,取中位数,每个版本都是固定的,因此任何人都可以复现结果。
结果是每个项目的结论:今天,这个软件对新手来说真的能运行吗?这不是评测,也不是观点,而是一次有记录、可复现的测量。
Argusic 还列出了适合编程、AI 和数据科学的笔记本电脑和台式机,每台都附有它能容纳的最大 AI 模型的估算值,这只是估算,绝不是测量。
Argusic 不出售任何 agent,也不隶属于任何实验室;赞助从不触及方法论。Argusic 是裁判。
为什么还要一个 benchmark
AI 测试初创公司测试的是客户的代码,同时出售自己的 agent,因此它们都无法在 agent 之间担任裁判。学术 benchmark 使用静态测试集,久而久之会被过拟合。Argusic 使用真实、活跃且持续更新的项目,配有轮换的保密池,像真实用户一样端到端运行,并独立于所有厂商。
长期规则
每个数字都可追溯到一份 log。任何内容未经人工审批都不会发布。我们的安全审查由独立的第三方进行,绝不由构建该系统的人进行。
页面上的文字是如何撰写的
这里的每项测量都由自动化 agent 产生,而文字都不是:本站没有一句话由模型撰写,每个数字都是用一次已记录运行的数据填入的模板,任何内容发布前都由人工审批。完整的回答,以及你可以核查的文件。
谁对这里发布的内容负责
Argusic 由其所有者运营,每个公开的结果在出现之前都由他审批。测量由自动化 agent 产生,而发布的决定不是:一个结果在有人审批之前始终是草稿。这种分工是有意为之,也正因如此,对一个结论的异议可以针对一个具体的人提出,而不是归咎于机器。联系运营者:[email protected]。
发现错误?
告诉我们,我们会查看。本站的每个数字都链接到产生它的那次运行,因此更正从你已经能读到的同一份证据开始:打开该运行,指出哪个数字看起来有误,并把链接发送至 [email protected]。如果某项测量有误,我们会重新运行,页面随之改变;如果某段录屏记录了不应公开的内容,我们会将其删除。我们不会做的是悄悄修改一个数字:证据在设计上不可更改,所以更正意味着一次新的运行,而不是在旧 log 上覆盖一个新数字。