Anthropic在修订版S-1文件中披露，公司可能很快达到递归式自我改进（RSI）相关能力阈值，并警告AI自主研发加速可能带来新的安全风险。
11月消息，Anthropic在周一提交的修订版S-1A文件中更新了风险因素披露，指出公司正越来越多地利用AI系统加速自身研发，模型能力提升速度可能超过安全验证、校准和保障措施的完善速度。Anthropic承认，过去曾未能及时察觉AI辅助研发带来的模型能力跃升，未来也可能出现类似情况。
文件特别提到，根据公司对未来模型的内部评估和预期，Anthropic可能很快达到其《负责任规模化政策》中关于AI显著加速自身发展的定义，即递归式自我改进（RSI）相关阈值。不过，公司强调，目前尚未认定任何现有模型达到这一标准，仍在持续评估相关数据。
RSI是指AI利用自身能力持续改进模型研发，进而形成能力迭代加速的过程。Anthropic认为，这既可能推动生产力提升和科学发现，也可能使技术进步速度超出人类安全治理能力。
为此，Anthropic表示，预计即使技术上具备可行性，也不会在缺乏实质性人类监督和理解的情况下，让Claude自主设计和构建下一代前沿模型，并正在考虑更新《负责任规模化政策》，确保人类始终掌控前沿模型研发。
via AI新闻资讯 (author: AI Base)
