


由于一起版权纠纷,Anthropic一份标注为2021年7月的内部研究路线图被意外公开。
PDF正文篇幅不长,仅有两三页。
然而,当这份当时被列为“最高机密”的文件被完整阅读后,令人震惊。
如今我们所知的Claude Code、工具调用、AI自我评判、测试时计算,乃至万亿参数和超长上下文……
在五年前,这家公司刚从OpenAI独立出来仅几个月、全员只有十几人时,就已经被白纸黑字明确写在了这份文件中。
5年前的路线图
许多人认为,大模型从聊天机器人转向编写代码、操作系统的智能体,是近两年技术成熟后顺理成章实现的。
事实并非如此。
在2021年这份路线图的开篇,Anthropic为其终极目标(安全、有益的AGI)设定了一个非常清晰的原型定位:
创建一个能够通过自然语言与人类交互,从而创建、编辑和解释软件的通用AI助手。
什么是通用AI助手?
它能够回答通用问题、编写函数、查找错误、设计API,并讨论代码风格与最佳实践。
最令人印象深刻的是后面的这句话:
它需要展现出一名软件工程师同事的全部能力。
这不就是Claude Code吗?
在GPT-3刚刚兴起、众人还在惊叹AI能写藏头诗的时代,Anthropic直接跳过了简单的代码补全逻辑,瞄准了完整的软件工程代理。
不仅如此,在具体实现路径上,内部还曾发生过一场精彩的争论。
研究员Andy Jones在批注中提出了一个核心分歧:我们究竟是应该先打造一个真正好用的编程助手,还是先证明工具调用的可行性?
当时团队面临两条路径:
实用路线:进行代码仓库检索,让AI能够查阅项目的类型定义。GPT-3论文第一作者Tom Brown也参与了这一方向的讨论,建议从代码仓库浏览入手。
然后是第二条——
研究路线:进行printf调试、编辑器操作,先证明模型能够调用工具。
最终,CEO Dario做出了决定:
短期先验证工具调用的可行性,长期再演进为超级好用的编程助手。
如今回顾Claude Code的演化过程,完全是在按照Dario当年这句话逐步推进。
Self-judging、万亿参数与超长记忆
除编码智能体外,这份路线图还包含对底层技术的预判。
例如,在预训练部分,2021年的他们就明确写道要训练**1T(1万亿参数)**及以上的超大模型,并探索超长上下文,或其他能够容纳海量记忆与经验的机制。
在那个175B还是庞然大物的年代,他们就已经将万亿参数和超长记忆视为标配基础设施。
更令人惊叹的是在人类反馈与对齐部分。
文档中赫然写着:
模型自我评判。
2021年,他们就已经在研究如何让模型评估自己的行为和输出质量,以及如何将模型自身的判断作为反馈信号。这正是今天AI反馈以及推理模型自我纠错的核心思想。
更有趣的是,文档甚至出现了后来大模型研究中极其重要的一个概念:
测试时计算。
当然,当时这项研究被置于对齐和判别器研究的语境中,距离后来o1式的推理计算扩展还有相当距离。
但这至少说明,早在2021年,Anthropic的研究视野就已经覆盖了模型训练之外的计算投入。
不得不说,Neo Lab确实有东西,怪不得Ilya会震惊。
不知道现在的前沿实验室,每天又在经历些什么。
内部冷汗时刻
当然,既然是AI,安全问题不可避免。
但观察后发现,这些人是真的热衷于讨论安全,花了很长的篇幅。
作为一家以安全为立身之本的的公司,Anthropic在2021年就预见到了今天智能体遍地跑时面临的噩梦。
联合创始人Sam McCandlish在批注中提出了一个灵魂拷问:
如何安全地部署没有沙箱隔离的工具?
Dario紧接着跟帖补充:
具体来说,就是在部署时执行代码的工具!
(原文确实有感叹号,你的Dario就是这么激情澎湃)
太神了。
当AI真的能直接在宿主环境中运行代码、调用Shell、修改文件时,一旦失控或被Prompt注入,后果简直不堪设想。
今天全网讨论的智能体提权、环境逃逸、数据污染,人家2021年就在讨论沙箱边界了。
可能确实因为他们一开始就想走这条路吧。
对了,Amanda在这份报告中也出现了,就是前段时间比较火的一位A社内部哲学家。
她非常严肃地指出:
如果我们在自然语言上做对齐研究,却主要在代码上推进模型能力,我有点担心。这两种研究必须时刻保持紧密联系。 如果我们不在能力提升的领域做对齐研究,就会限制对齐测试的有效性。这可能会产生连锁反应,比如因为早期没有整合,对齐研究直接变成了一座孤岛。
她甚至直接提议确立一条公司原则:
各个领域的能力研究和对齐研究应该成比例同步推进,除非我们能给出充分的理由说明为什么要分开。
One More Thing
唉,我就说AI咋老压OpenAI一头啊,原来是先发优势。
Anthropic这五年是咬定青山不放松,死磕高质量代码信号、强化学习和企业工作流;
而OpenAI一路多线作战,做文生图、搞Sora视频、做语音助手、做搜索,多少分散了战力。
不过,就在大家还在复盘两家技术路线差异的时候,OpenAI那边突然曝出了一个比好莱坞电影还离谱的惊天大瓜——
家人们,OpenAI有内鬼啊!!!
根据美国联邦检察官公布的起诉书,35岁的OpenAI前产品团队工程师Abdulrahman Alfozan已被正式解雇并遭到联邦刑事指控。
这哥们儿干了啥?
他在OpenAI旧金山总部高管专用的核心会议室里,把一个带有高级加密和数据传输功能的窃听设备,用卫生纸包着,悄悄插在了电视机背后的USB接口上。
要知道,这个会议室是Sam Altman等高管开核心闭门会的地方,平时聊的全是超级智能研发机密、未公开产品规划和政府合作简报。
结果,这么容易就被人hack了。
世界真是个草台班子啊。。。
PDF: https://i.smitop.com/concise-research-roadmap.pdf
本文来自微信公众号“量子位”,作者:Jay,36氪经授权发布。


评论 02