Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

全网刷屏的Claude系统提示词,结果被卡帕西大神当场抓虫?!

事情是这样的。

一夜之间,近1.7万字系统提示词——包含24000个token,详细定义了模型行为、工具使用和引用格式…..全部细节直接在GitHub上被泄露了!

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

这事儿一出,网友蜂拥而至速速围观,甚至亲切地称呼这次意外泄漏事件是提示技术的金矿

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

就在此时,大神卡帕西发现了华点:LLM学习缺少主要范式?

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

随即他提出系统提示学习新范式——模拟人类经验积累过程,将系统提示嵌入权重。

简单总结一下,就是模拟人类学习,为LLM提供备忘录功能,让LLM拥有自主反思用户问题的“记忆”功能,记录通用的问题解决知识和策略。

新范式一石激起千层浪,有人表示赞同,也有人开始着手分析新范式帮助LLM畅玩Minecraft的可行性:

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

当然也有人持反对意见,认为允许模型自己编写提示会使模型更加混乱,也无法保证模型不会错误地理解提示。

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

具体是怎么一回事呢?别急,接下来让我们一起来回顾整个事件。

Claude系统提示词曝光

据揭露,完整的Claude系统提示词包含16739个字,也就是110kb。相比之下,ChatGPT中的OpenAI的o4-mini的系统提示仅有2218个字,约为Claude的13%

具体内容也相当有趣,不仅详细阐述了Claude基本的行为风格和偏好,还包含了大量全局的问题解决策略,例如下面这个解决经典LLM问题“草莓单词里有几个‘r’字母”:

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

系统提示告诉LLM如何回复用户提示,类似于LLM的“设置”选项,定义用哪种语气回应,以及补充训练数据中所没有的上下文信息。

以下是Claude的提示组件构成:

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

其中最大的组件是工具定义(Tool Definitions),由MCP服务器进行信息填充。与标准的API不同,MCP向LLM提供关于指令的详细说明教程。

此外,其余提示(如引用规范、搜索指南和谷歌集成注意事项)近80%的内容都与工具有关,都详细说明了在与用户的交互场景中Claude是如何作用的。

在提示词文档的最后还包含一些热修复,指出了常见的LLM陷阱,例如关于川普的总统就职信息:

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

根据该提示,Claude的可靠知识截止于2024年10月,此后发生的事件或新闻都以人为热修复或使用网络搜索工具来补充。

利用系统提示学习构建新范式

在读完Claude系统提示词文档后,Karpathy火速发表了一篇小作文——LLM学习缺乏主要范式,并称之为系统提示学习

传统学习范式基于强化学习、监督学习等预设框架被动优化,问题的解决只依赖于强化学习嵌入权重,实际并不理解用户输入。

新范式与强化学习类似,但采用直接编辑提示而非梯度下降的学习算法。

其强调构建系统提示符供自身使用,让预处理获取知识、微调(SL/RL)塑造行为习惯、系统提示学习制定策略,使LLM可以根据实时反馈和情景需求调整和完善响应策略。

举个栗子,现在的LLM就像电影《记忆碎片》的主人公,只有短期的碎片记忆,无法形成新的长期记忆。

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

而新范式仿照正常人类学习过程,即当你遇到一些问题并尝试解决后,你也许会用专属于你的“系统提示”记住解决策略,在下一次遇到同类问题时,你就会自然而然想到:也许你可以泛化使用上次那种解决方案。

通过经验->明确的策略->习惯性权重的流程,LLM可以像人类一样记笔记,将知识转化为直觉,达成实践学习、逻辑推理的范式转变。

利用系统提示学习可以有效实现测试时间训练,同时始终可以被人类审查,并且保证更少的安全隐患。

系统提示学习在未来还标志着自主AI系统正在发展自身的计算意识,将超越传统学习范式的边界,为真正的自我迭代乃至于AGI提供了可能。

当然,Karpathy也明确指出新范式的实现还有更多有待解决的细节,例如编辑系统的运行问题、知识如何从显性系统文本转变为习惯性权重等。

对此,广大网友展开了激烈的讨论。

例如有网友提出可以补充一个记忆层以实现系统提示学习。

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

也有网友直接抛出了自己在记忆文档方面的研究结果:

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

也有人质疑LLM缺乏持续学习的本质,让它无法从自身思维中学习,系统提示学习并不能从根本上解决,还需要寻找更为有效的思维模式。

Claude1.7万系统提示词全网刷屏!Karpathy锐评:LLM缺乏关键范式

那么你的看法是什么呢?欢迎在评论区留言讨论~

系统提示词链接:https://raw.githubusercontent.com/asgeirtj/system_prompts_leaks/refs/heads/main/claude.txt

参考链接:
[1]https://news.ycombinator.com/item?id=43909409
[2]https://x.com/karpathy/status/1921368644069765486
[3]https://x.com/bindureddy/status/1921646319002911130
[4]https://www.dbreunig.com/2025/05/07/claude-s-system-prompt-chatbots-are-more-than-just-models.html

主题测试文章,只做测试使用。发布者:人脑网,转转请注明出处:https://www.rennao.com.cn/13347.html

(0)
人脑网的头像人脑网
上一篇 2025年5月14日 下午3:02
下一篇 2025年5月14日 下午3:03

相关推荐

  • 多模态=AGI入场券?阶跃星辰姜大昕:死磕基座大模型

    当大模型赛道中不少玩家明确表示放弃基础大模型研发,心思放在更聚焦的方向上时,阶跃星辰站出来——就像这家公司第一次亮相时那样,给外界一个明确的回答: 创始人兼CEO姜大昕解释了背后逻辑。 一方面,大模型行业的趋势技术发展还是在非常陡峭的区间。他也很感慨AI行业发展瞬息万变,“去年大家觉得GPT-4很牛,今天他都快下架了”,等到明年看今年的技术,同样会觉得微不足…

    2025年5月10日
    900
  • o3一图锁定地球表面坐标,AI看图猜地点战胜人类大师,奥特曼转发

    只需一组公开的prompt,ChatGPT看图猜地点的能力又科幻般进化了! 看看这张从上到下逐渐变成浅棕色的照片。正常人瞅一眼,大概率只能从从左下角的涟漪判断出这是个水面。 但究竟是池塘?湖泊?江河?猜不出,臣妾真的猜不出哇。 没想到o3它一眼就看出来了,给出了这样的答案: 我和测这道题的博主一样大为震惊,因为这真的是博主2008年在泰国清盛拍摄的湄公河照片…

    2025年5月5日
    1200
  • 又一开源AI神器!将机器学习论文自动转为可运行代码库

    又一开源AI神器在外网引起热议! 名为PaperCoder,是一个多智能体LLM(大语言模型)系统,能自动实现机器学习论文中的代码。 据介绍,之所以推出这一工具,是因为经过统计发现: 造成的结果是,复现和构建研究成果的速度极其缓慢。 于是乎,来自韩国科学技术院的四位研究人员推出了PaperCoder,在规划、分析和代码生成这三个阶段,分别由专门的智能体来处理…

    2025年5月1日
    1600
  • 普通人也能用上超级智能体!实测100+MCP工具随便

    Agent赛道热闹非凡,周鸿祎力推的纳米AI搜索,体验上能有什么不一样? 首先,依然很“挤”,一不小心就会挤爆服务器。 但更进一步实测了一波之后,我们还是发现纳米AI搜索,不管从打开方式还是产品特点,其实都很“老周”…… 直接说结论—— 首先,它把MCP的使用门槛给打下来了。作为首个真正面向toC市场的MCP平台,普通人也能够真正体验到基于MCP的高阶智能体…

    2025年4月30日
    1400
  • 趣丸科技贾朔:AI音乐迎来应用元年,五年内将重构产业格局

    AI音乐创作正掀起普惠浪潮。人人都能玩一点音乐的时代正在到来。 趣丸作为AI音乐大模型赛道的独角兽,凭借其自研「天谱乐」,正在让艺术创作的门槛变得触手可及。 在本次第三届AIGC产业峰会上,趣丸科技副总裁贾朔分享了这样的观点: 为了完整体现贾朔的思考,在不改变原意的基础上,量子位对演讲内容进行了编辑整理,希望能给你带来更多启发。 中国AIGC产业峰会是由量子…

    2025年4月18日
    2500

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信