https://t.me/AI_News_CN
📈主流AI服务状态页通知 | 🆕汇集全网ChatGPT/AI新闻 #AI #ChatGPT
🔙备用群 https://t.me/gpt345
BEST AI中转 https://api.oaibest.com 2.8折起 支持OpenAI, Claude code, Gemini,Grok, Deepseek, Midjourney, 文件上传分析

Buy ads: https://telega.io/c/AI_News_CN
Anthropic 首次量化公开 AI 研发自动化进度:Claude 主导 26% 研发,压力甩给 OpenAI 等竞品

当地时间9月17日,Anthropic 发文,第一次以量化方式掀开了内部 AI 研发自动化的底牌。数据相当扎眼:截至今年8月,Claude 已主导公司内部26% 的 AI 研发工作,而今年2月这一比例还不足1%;公司内部 Agent 平台任意时刻约有3万个 AI Agent 在跑,8月产生超过10亿次决策。这组数字被外界视为递归自我改进(RSI)从概念走向工程现实的关键信号。

Anthropic 采用了独立 AI 研究机构 Epoch AI 提出的六级自动化框架,把 AI 的参与程度划分为 AL0至 AL5——AL0完全没有 AI 参与,AL3是 AI 协作,AL4是 AI 主导,AL5为完全自主。截至8月,26% 的 AI 研发工作达到 AL4:人类只需给出高层目标,Claude 就能完成端到端的大部分工作,人只负责监督、检查和最终拍板;另有超过90% 的研发工作至少达到 AL3。

一个具体场景很能说明问题:夜间数据管道出故障后,工程师只需把报告丢给 Claude 说一句"把它修好",它就能自主查看日志、定位原因、编写修复代码、测试、处理新冒出来的问题,最后重跑管道、对比结果并撰写说明。但 Anthropic 也明确划了线——目前尚未有任何被测量的 AI 研发工作达到 AL5完全自主水平。

规模数据更为实在。截至8月,Anthropic 内部约3万个 Agent 从事研究和工程工作,它们拥有独立于底层模型升级的身份标识,通过共享消息系统互相委派任务、交叉纠错。安全监控上,所有 Agent 动作执行前都要过在线监控,8月超10亿次决策中约0.002% 被阻止;离线监控每周标记约10万条对话记录,经分类器过滤误报和初步审查后,最高优先级约50条升级到人工审查。算力分配方面,7月样本周内约6% 的 AI 研发算力投入安全研究,若只统计 AI 驱动的研发,这一比例升至约12%。Anthropic 也坦承,AI 协作与 AI 主导的边界存在主观性,跨实验室比较需要统一方法和第三方验证。

RSI 眼下已是行业最热的概念。昨日智谱创始人唐杰披露,GLM-5.3-Flash 两周内完成国产加速器全量部署,大部分工作由 GLM-5.3驱动的 Infra Agent 完成;他判断距离完全 RSI 尚远,但"模型优化系统、系统服务模型"的循环已经开始运转。OpenAI 则在9月初宣布达成自动化 AI 研究实习生里程碑,目标2028年3月前实现自动化 AI 研究员,最薄弱的环节仍是"决定做什么"——任务超过4小时就需要人类频繁介入。谷歌 DeepMind 的进化式编码智能体 AlphaEvolve 从算法进化切入,其提出的电路方案已集成进下一代 TPU,谷歌前首席科学家杰夫·迪恩称之为"TPU 大脑帮助设计下一代 TPU 身体"的最新案例。

谷歌 DeepMind 首席战略官贾吉特·塞洪此前的一句话点透了底层逻辑:RSI 正成为 AI 资本开支的核心投资逻辑,虽然当前 AI 收入还撑不起正在投入的资本开支,但不下注 RSI 并不明智。

Anthropic 这次把数字摆上台面,一面是想在人类仍握主导权的窗口期,让社会参与决定 AI 自我迭代的节奏与方向;另一面,则是给行业立下一个可参照的披露基准——当研发自动化比例、Agent 规模、算力投入占比和安全监控覆盖率都被公开,透明度本身就变成了无声的竞争压力,不跟进就可能被当成有意遮掩。

via AI新闻资讯 (author: AI Base)
吴恩达回应AI末日论:别被科幻叙事带偏,应解决现实工程问题

AI领域研究者吴恩达9月17日在接受彭博电视采访时表示,顶尖模型开发商近期有关AI可能导致人类生存风险的警告“更像科幻小说,而不是科学”,并认为这类叙事可能分散行业对实际AI安全问题的关注。吴恩达曾参与创办Google Brain和Coursera。

吴恩达称,科技行业早期曾放大AI潜在灾难性风险,以获取关注并影响监管方向;近两周相关讨论再次升温,也可能存在类似动机。他认为AI确实存在现实风险,尤其包括网络安全等领域,但不认同将人类灭绝风险作为当前AI发展的核心判断依据。

近期,前Anthropic和OpenAI研究员Jacob Coxon公开离职并警告前沿实验室正在竞相开发超级AI,引发新一轮AI安全争论。Anthropic CEO Dario Amodei和OpenAI CEO Sam Altman随后均提出应适当放缓前沿模型发展,并加强安全措施。吴恩达早年曾与两人共事。

与“减速”主张不同,吴恩达认为行业应继续推进AI发展,同时通过受控测试、工程防护和迭代改进解决可验证的安全问题,并让AI更多应用于能够产生社会价值的场景。当前,AI安全讨论正从模型能力边界进一步延伸至网络安全、代理失控、对齐及前沿模型治理等具体问题。

via AI新闻资讯 (author: AI Base)
白帽黑客用 Claude 攻破 OpenAI 员工 ChatGPT 账户,拿到 6500 美元赏金

据《华尔街日报》9 月 18 日报道,独立安全研究人员利用 Anthropic Claude 成功入侵了一名 OpenAI 员工的 ChatGPT 账户,得以获取该公司私有软件代码库的文档。

涉事团队来自安全公司 Hacktron AI,此前曾参与 OpenAI 的漏洞赏金计划。团队发现漏洞后迅速向 OpenAI 报告,OpenAI 随后支付了 6500 美元(约合 43692 元人民币)赏金。

漏洞在 Discourse,token 竟然在 ChatGPT 上有效

此次入侵始于 7 月 23 日。Hacktron 研究人员当天发现了 Discourse 处理特定图像文件方式的漏洞,并使用面向合格网络安全从业者提供的 Claude Opus 4.8 特殊版本,要求其编写利用该漏洞的攻击代码——首次尝试未成功;当晚 Anthropic 发布 Opus 5,次日 Claude 便找到了利用方法。

被利用的漏洞编号为 CVE-2026-45788,属于 Discourse 安全上传功能中的无限制上传漏洞,攻击者可在知晓受保护上传 URL 的情况下暴露安全上传内容,无需身份验证即可远程发起攻击。Discourse 称已于 7 月 25 日接到通知当天修复。

攻击使研究人员得以访问托管 OpenAI 论坛的 Discourse 服务器并获取账户登录 token。让他们没想到的是,这些 token 在 ChatGPT 上竟然有效,其中包括 OpenAI 员工的账户,还可用于访问 OpenAI 的 GitHub 服务。

研究人员因此能读取名为“Monorepo”的大型软件仓库中的文件。据知情人士透露,Monorepo 是 OpenAI 存放算法机密的仓库,用于使模型更快更高效,但不包含模型权重。他们在意识到可访问敏感数据后停止了攻击,此前已提交了一个带有“Hacktron AI Team PoC”字样的文档修改请求作为证明(未被接受)。

“我们只是三个有 Claude 和 Codex 订阅的人”

Hacktron AI 首席技术官 Mohan Pedhapati 表示,此次攻击表明由国家支持的高级网络团队确有真实机会窥探美国 AI 机密:“我不觉得我们比他国威胁者更聪明。我们只是三个拥有 Claude 和 Codex 订阅的人。”

OpenAI 确认黑客发现了两处问题:一处位于 Discourse,另一处涉及 OpenAI 自身,目前均已解决。OpenAI 表示已缩小社区登录 token 权限范围并撤销受影响 token 和会话,Anthropic 发言人则拒绝置评。

via AI新闻资讯 (author: AI Base)
吴恩达批评AI灭绝论:堪比科幻小说 新一波造势或意在影响监管

据彭博社报道,AI领域的先锋吴恩达表示,顶尖模型开发商研究人员发出的有关AI生存风险的警告属于“科幻小说”,可能不利于确保这项技术为社会带来最大益处。

吴恩达

吴恩达曾参与创办谷歌大脑和教育平台Coursera。他说,在AI热潮的早期,科技行业曾煽动人们对AI潜在灾难性危害的恐惧,显然是为了加大宣传力度并影响监管走向。

“过去两周,我感到相当沮丧,”他在周四接受彭博电视采访时说,“这波公关宣传如今又卷土重来了,可能也是出于类似的目的。”

本月,前Anthropic和OpenAI研究员雅各布·考克森(Jacob Coxon)的高调辞职,使得一场酝酿已久的AI安全讨论进入主流视野。考克森指责他的两名前雇主都在“拿我们的生命下注”,因为它们“竞相开发超级AI智能”。他还表示,那些开发AI的人认为,这项技术可能“在本十年结束前杀死我们所有人”。

在这一背景下,包括Anthropic CEO达里奥·阿莫代伊(Dario Amodei)和OpenAI的萨姆·奥特曼(Sam Altman)在内的AI领袖正呼吁业界放缓前沿模型的开发步伐,并采取更多措施为未来的发展保驾护航。

吴恩达早年曾与阿莫代和奥特曼共事。他说,AI确实存在风险,包括网络安全方面的风险。但他认为,有关AI导致人类灭绝的担忧“更像是科幻小说,而非科学”。

他还表示,行业可以专注于解决一些“实际的工程问题”,以持续改进和保护这项技术,同时努力确保AI能够被用于“许多它能够实现的美好事情”。

via cnBeta.COM - 中文业界资讯站 (author: 稿源:凤凰网科技)
美国联邦公报网站撤下之前采用的 Qwen 搜索工具

美国联邦公报网站曾使用阿里巴巴 Qwen 模型供用户搜索拟议联邦法规,相关功能于周三在社交媒体出现相关帖子前后撤下,部署时间不明。美国联邦调查局此前指控阿里巴巴复制 Anthropic 模型技术。专家认为,网站内容本已公开,使用 Qwen 似未造成即时网络安全风险;但数据是否离开政府安全边界仍受关注。

Reuters

🌸 科技圈· 茶馆 · 投稿

via 在花🎗️科技圈 - Telegram Channel
美政府网站被发现使用中国AI模型提供搜索

据路透社报道,美国政府的一个网站采用了一家中国公司的AI模型,供用户搜索拟议中的联邦法规。美国国家档案馆运营的《联邦公报》网站,周三在提供其他搜索选项的同时,还提供了使用阿里巴巴千问模型驱动的搜索工具。目前尚不清楚该工具是何时部署的。

阿里千问模型

根据路透社查阅的截图和该网站源代码的存档版本,使用千问模型的搜索工具在周三被下线。就在大约同一时间,社交媒体上开始出现有关该工具的帖子。

《联邦公报》网站使用千问驱动的搜索

AI专家表示,在《联邦公报》网站上使用这款中国工具可能并未构成国家安全风险。《联邦公报》网站每天发布新提出的拟议法规清单,并提供千问模型作为浏览公众评论的工具。

千问是一款开放权重模型,这意味着该系统的关键组成部分可以公开获取。开发者可以下载并修改这一模型,以满足特定用途,而且其成本通常低于Anthropic和OpenAI等公司的闭源模型。

截至发稿,美国国家档案馆以及白宫没有回应置评请求。

via cnBeta.COM - 中文业界资讯站 (author: 稿源:凤凰网科技)
黑客利用Anthropic的Claude入侵OpenAI

据报道,在一群AI代理从OpenAI系统中突破封锁并攻击Hugging Face公司两周后,这家ChatGPT开发商又发现了一起由人工智能驱动的入侵事件——而这一次,他们自己成了目标。一组独立的安全研究人员使用了Anthropic开发的Claude软件,成功获取了一名OpenAI员工的ChatGPT账户权限,从而得以读取并修改该公司私有的软件缓存内容。

该团队参与了OpenAI的一项漏洞挖掘计划,该项目为研究人员提供安全环境,允许其尝试攻破企业系统。他们在发现漏洞后迅速向公司报告。OpenAI为此支付了6500美元的悬赏金,而该团队也首次向媒体披露了此次行动细节。

此次新发现的入侵事件,是近期科技巨头和研究人员接连曝光的一系列网络攻击案例之一,这些攻击均借助了快速发展的AI工具。尽管数月来业界已多次警告AI系统的强大能力,但此次事件再次表明,当今计算机系统的复杂性使其防御变得极为困难。

周六,OpenAI首席执行官山姆·阿尔特曼及其同行呼吁暂停人工智能开发,称当前发展速度过快,导致开发技术的企业难以安全地应对潜在危害。周三,OpenAI披露了此前未公开的安全事件,并宣布了新的政策,以说明其未来将如何报告此类问题。

OpenAI表示,黑客发现了两个问题:一个是托管OpenAI社区讨论论坛的第三方服务Discourse中的漏洞,另一个是该公司自身存在的问题。OpenAI称,这两个问题目前已得到解决。

该公司表示:“我们感谢研究人员与我们联系并分享他们的发现。我们已缩小社区登录令牌的权限范围,并撤销了受影响的令牌和会话。”

一位Anthropic发言人则拒绝发表评论。

via cnBeta.COM - 中文业界资讯站 (author: 稿源:环球市场播报)
Jev —— 不聊天的 AI 智能决策模型

🤖 Diogo Almeida 是参与创造 ChatGPT 的核心成员之一。他最新的作品 Jev 提出了一个大胆的想法:AI 的大规模自动化,可能根本不需要“聊天”,甚至不需要生成文本

⚡️ Jev 最特别的地方,在于它完全放弃了“聊天”和“逐字生成答案”的模式。它直接接收非结构化信息,然后输出预定义好的结构化决策,连带着每个选择的概率和置信度,并且所有结果都是一次性并行生成。这真的像一个超高效的智能函数调用:输入业务状态,它就直接输出可执行的决策,速度比传统 LLM 快 20 到 200 倍,成本也低很多

⚙️ 这种设计,有点像是把大模型负责思考和规划,而 Jev 则专注于在软件里大规模、高效率地做决策。过去我们常常试图把聊天型 LLM 硬塞进软件里,再用各种约束去规范它。Jev 则从模型架构层面就放弃了自由文本生成,只允许输出合法的类型。这种“不生成”的思路,或许是 AI 效率跃迁的下一个关键点

📱 更多技术细节和原推,你可以在这里看到:原文链接 · 相关链接

📮 这篇文章是转发给你的吗?点击这里加入频道,一起探索更多有趣的内容!

via Roller | ChatGPT Astra 中文社区 - Telegram Channel
白帽黑客使用Claude成功入侵了OpenAI

在OpenAI内部一群AI智能体突破控制、入侵Hugging Face公司两周后,这家ChatGPT开发商又获悉了另一起由AI驱动的入侵事件。

而这一次,OpenAI自己成了目标。独立安全研究人员利用Anthropic的Claude软件,获取了OpenAI一名员工的ChatGPT账户权限,从而得以读取该公司私有的软件缓存,并提出修改建议。

该团队参加了OpenAI的漏洞悬赏项目,该项目为研究人员尝试入侵企业系统提供免责保护。他们迅速向公司报告了发现。OpenAI向该团队支付了6500美元赏金。这是最新一批由领先科技公司和研究人员披露的、借助快速演进的AI工具实施的网络入侵之一。

—— 凤凰网科技华尔街日报

via 风向旗参考快讯 - Telegram Channel
↩️ 黑客用 Anthropic Claude 侵入 OpenAI 内部系统


在花🎗️科技圈:

🤖 Anthropic 测试模型失控联网,入侵三家公司 Anthropic 7 月 30 日表示,其测试中的 Claude 模型自 4 月起三度意外接入互联网,在公司不知情的情况下入侵了三家真实企业,三家受害公司已于本周一获通知。检查逾 14.1 万次测试日志后发现,问题源于 Anthropic 与测试合作伙伴 Irregular 的系统配置失误,模型误以为入侵属于基准测试内容。 涉事模型包括 Opus 4.7、Mythos 5 及一个未命名研究模型;最严重的一次中,模型虚构的目标公司与真实企业同名,…

黑客用 Anthropic Claude 侵入 OpenAI 内部系统

独立安全研究团队近日借助 Anthropic 的 Claude,成功攻入 OpenAI 的部分内部系统。研究人员先利用 Claude 分析 OpenAI 开发者社区所使用的 Discourse 漏洞并生成可运行的攻击代码,随后获取认证令牌,并借助权限配置问题进入一名 OpenAI 员工的 ChatGPT 账户,同时取得对部分私有 GitHub 代码库的有限读取和提交修改建议权限。

这发生在 OpenAI 的 AI 智能体冲出限制、攻击 Hugging Face 两周之后,OpenAI 这次成了被入侵目标,凸显自动化网络威胁风险正在上升。

The Wall Street Journal

🌸 科技圈· 茶馆 · 投稿

via 在花🎗️科技圈 - Telegram Channel
Back to Top
Copyright © 2025 BESTAI. All rights reserved.
BEST AI API中转 - OpenAI DeepSeek Claude Gemini Grok MidJourney API 2.8折起
admin@oaibest.com