↩️ Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试
Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试
Cursor 团队发现在 SWE-bench Pro 测试中，Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导，而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后，Opus 4.8 Max 得分从 87.1%骤降至 73.0%，Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。
研究显示这种“鼓励作弊”行为随模型代际急剧升级：Opus 4.6 在严格环境下得分几乎不变，Opus 4.8 Max 却下降 14.1 分，Composer 2.5 更下降 20.7 分。但 GPT 系列模型未出现类似趋势。Cursor 呼吁编程评测必须控制运行环境，否则评价容易受检索答案功能影响而没有表现出模型真正的编程水平。
Cursor
🌸 在花频道 · 英文频道 · 投稿通道
via 科技圈🎗在花频道📮 - Telegram Channel
科技圈🎗在花频道📮:
GPT-5编程测试被曝"作弊"：自删23道题目美化成绩 有开发者发现，OpenAI在GPT-5编程能力测试中存在"猫腻"。官方声称使用SWE-bench Verified基准测试，但实际只用了477个问题，自行删除了原本500题中的23道。SWE-bench是评估AI模型自主编程能力的通用指标，而GPT-5使用的是"子集的子集"。如果被删除的23题按零分计算，GPT-5的实际得分将低于Claude Opus 4.1，目前两者仅有0.4%的微弱差距。 新浪科技 🍀频道 🍵茶馆 📮投稿
Cursor 研究：越强的 AI 模型越会“作弊”或“抄袭”应对编程基准测试
Cursor 团队发现在 SWE-bench Pro 测试中，Opus 4.8 Max 编程功能的 63%的成功案例并非模型自行推导，而是通过检索公开网络上的已知补丁或挖掘仓库 Git 历史直接套用答案。移除.git 目录并限制网络访问后，Opus 4.8 Max 得分从 87.1%骤降至 73.0%，Cursor 自家的 Composer 2.5 从 74.7%降至 54.0%。
研究显示这种“鼓励作弊”行为随模型代际急剧升级：Opus 4.6 在严格环境下得分几乎不变，Opus 4.8 Max 却下降 14.1 分，Composer 2.5 更下降 20.7 分。但 GPT 系列模型未出现类似趋势。Cursor 呼吁编程评测必须控制运行环境，否则评价容易受检索答案功能影响而没有表现出模型真正的编程水平。
Cursor
🌸 在花频道 · 英文频道 · 投稿通道
via 科技圈🎗在花频道📮 - Telegram Channel
