前言:
你是不是也遇到过类似的事情?为了让AI产出令人满意的内容,总是反复修改提示词,从“写一篇营销文案”变成“写一份针对25-35岁女性的美妆产品推广稿,要强调天然成分和保湿效果”,结果AI还是偶尔偏离主题。
如果碰到那种需要多次交流的复杂任务,比如让AI整理一周的会议信息还能帮你列出待办事项,一边聊一边发现AI就忘了之前说的那些重要内容,别以为是你提示技巧不行,其实现在AI早就进入“代理时代”了,用单纯的提示工程,早就不够用了。
上下文工程这概念,主要就是指在跟AI互动的时候,要充分利用之前聊过的内容,把之前的信息串起来,保证它能理解你当前的需求。换句话说,就是得把前面的对话、指令、信息都整合进去,让AI“知道”你到底想要啥。如果不搞这个“上下文管理”,就像问路迷失在繁杂的街区里,找不到方向似的。大伙儿总说,唯有做好“上下文工程”,才能让AI帮你更聪明、更贴心地完成任务。
最近行业内出现了个新风向,像Anthropic、OpenAI这些顶尖AI公司的工程师们,正在暗地里磨炼一门新绝技,叫作上下文工程。
据Anthropic在今年10月公布的最新研究显示,当AI由单纯工具变成可以自主执行任务的“代理”时,提示词的作用大概只有30%,剩下的70%就得看对“上下文”怎么掌控。
所谓的上下文,可不是单纯的对话内容那么简单,而是指AI在执行任务过程中能获取到的所有信息,比如系统的指令、工具的权限、外部数据源,甚至它自己保存的笔记都算在内。
以前,人们搞提示工程,基本上就是给AI写一份详细的操作指南,让它按照步骤逐个执行,保证不出差错。
可实际用起来就会发现,再怎么把手册写得再详细,遇到那些没有在指南里提到的情况,AI还是会“打住”。
比如,想让AI帮忙应对客户投诉,提示里写“要耐心安抚客户”,结果一碰到退款请求超出规定的时候,AI就要么只重复“很抱歉给您带来不便”,要么就胡乱承诺退款时间。
这就是提示工程的不足之处,它只能应付一些固定的场合,面对AI在复杂任务中的不断变化,就难以应对了。
上下文工程跟它不太一样,更像是给AI配备了个“聪明管家”。这个管家会根据任务的情况,随时把最重要的信息传给AI,还帮它整理之前的工作记录,确保它不会“忘记”啥。
比方说,Anthropic搞的这个ClaudeCode代码助手,在分析庞大数据库时,可不是像老一辈AI那样,把所有数据都往系统里塞。这样做不仅慢得要命,还容易让AI抓不到重点,是不是挺聪明的?
它会先让AI编写有针对性的搜索指令,用Bash命令把关键数据片段提取出来,然后将这些片段作为上下文输入给AI,最后由AI输出分析的结果。
用这种办法,AI总是专注于核心内容,分析速度比老的方法快了四成多,出错的可能性也减少了四分之一。
说到底,上下文工程之所以如此关键,关键在于AI和人一样,注意力也是有限制的。这“注意力成本”其实就藏在它处理信息的上下文窗口里,比如说GPT-4Turbo的上下文容量是128K个tokens,差不多能放下一部《红楼梦》的全部文字。
不过有研究指出,一旦上下文窗口里的token数量突破50K,AI在回忆信息上的准确率就会下降30%,这也就叫做“上下文腐烂”的现象。
就像咱们同时忙着处理十件事情,容易分心一样,AI在面对过多信息时,也会“顾此失彼”。更重要的是,AI的注意力机制跟咱们可不一样。
它采用的是Transformer架构,每个token都得跟其他所有的token搭上关系;token越多,所需处理的关联就越繁琐。如果有n个token,要处理的关系就得是n平方对。
它变得更机灵了。
当token的数量从1万提升到10万的时候,关系的数量会从1亿一下子飙升到100亿,AI处理这些关系的能力变得越来越“稀疏”,自然也就没法准确锁定核心信息。
这也是为什么有时候你发那么长的参考资料给AI,它还是会漏掉里面的关键数据。
要想把上下文工作做好,得先明白“有效上下文”的重点,用最少的内容让AI给出最精准的回应。
这就像给参加考试的学生划重点,不是把整本书都标满,而是选择那些出现频率最高、最核心的知识点。具体怎么操作呢?有三个实用的方法可以尝试。
第一个方法就是要明确“高度”。不少人在写系统提示时,过于细化,把“如果客户说A就回复B,客户说C就回复D”这种死板的逻辑全放进去,导致遇到新情况时,AI就显得不太会变通。
要不就太模糊,啥都写“帮我处理客户问题”,结果AI一头雾水,不知道从哪里下手。
其实,什么系统提示比较实在,得算中间这类,比如对客服AI说:“遇到客户咨询,要先搞清楚客户具体需要什么,然后按相应流程答复。如果碰到权限不够的事,得告诉客户会转给专属的顾问,还要记得留联系方式。”
这样一来,不但明确了AI的操作方向,还留足了发挥的余地。
第二点嘛,就是的工具要“精”一些,不能是“多”,这才叫有的放矢。
如今不少人在搞AI代理,偏爱给它装一堆工具,翻译、画图、数据分析啥的都往里塞,结果用起来反倒搞不清楚该用哪个,真是让人头疼。
Anthropic的工程师们发现,工具集越庞杂,AI做出决策的速度越慢。当工具多到超过8个的时候,AI选错工具的几率会增加18%。
合理的工具设计,像手机里常用的APP那样,每个只专注一件事,不搞重复。比如要做数据分析,就弄个“数据提取工具”专门抓数据,再配个“可视化工具”专门负责画图,AI用起来也省心,随需选用就行,别搞得乱七八糟。
第三点呢,就是在少样本提示时,得挑对例子。有些人以为给AI列越多例子越好,把各种边边角角的特殊情况都塞进去,结果反倒让AI搞不清重点,抓不住核心逻辑。
其实啊,AI更看重的是“多样化、规范化”的例子,就像老师讲题,不会整天就拿100个一样的题,而会挑5个涵盖不同考点的代表性题目,帮助学生掌握核心内容。
比如教AI写产品标题,不用给它20个护肤品标题,而是挑选3个不同品类的例子,比如:“美妆类:XX粉底液,持妆12小时不氧化。”
比方说,教AI写产品标题,不需要提供20个护肤品的标题,可以选三个不同类别的展示,比如:“家电:XX扫地机器人,自动集尘持续30天”;“食品:XX坚果礼盒,每天一包,保持新鲜”。这样,AI就能理解各个品类标题的主要套路了。
除了搞定静态的上下文布局,动态的上下文掌控更关键,特别是遇到那些需要长时间应对的任务时。
这里有三个经过验证的实际操作技巧。第一个是“压缩”方法,当AI的对话记录快满时,就把之前的内容整理成简要总结,用这个总结代替原先的对话内容,腾出空间给新的信息。
日常用户也能轻松应对,操作起来不难。
比如说,让AI帮你写个长达万字的文章,每写到2000字就整理一次,把之前的写作思路和主要观点用大概300字的总结归纳出来,然后再在这个基础上接着写下去。
这样一来,不仅能让AI记得住事情,还能节省不少上下文的空间。Anthropic测试发现,采用压缩技术来处理长文本任务时,上下文的占用量能减少大约60%,而且内容的连贯性不会受到影响。
第二个技巧就是“结构化笔记”。让AI把核心信息整理成专门的“笔记”,这些笔记存放在上下文窗口之外,想用的时候再取出来就行。
比如说,你要让AI帮你管项目,完全可以让它随时记下一些关键点,比如“10月8日会议定:需求文档要在10月15日前搞定,负责人是XX”或者“10月10日的进度:需求文档完成了60%,碰到XX问题”。
就算窗口重置,只要AI能看到这些笔记,它还是能接着之前的进度来继续下去。
就算窗口重置啦,只要AI还能看到这些笔记,它还是能接着之前的状态继续。Claude玩《宝可梦》的时候用了这个招数,它能记得“之前1234步在1号道路训练,皮卡丘从5级升到8级,目标是10级”,就算游戏玩了十几个小时,也能保证目标不跑偏。
第三个就是“子代理架构”。遇到那种特别复杂的任务,比如写一份行业调研报告,不用让一个AI从头开始搞,而是把它拆成几个子代理,一步步来。
一个子代理专门负责搜集资料,一个负责分析数据,再有一个负责写报告,最后由主代理把成果整理融合起来。
每个子代理只专注于自己擅长的那一块,不用操心其他步骤,这样它们的上下文都能保持得很集中。
Anthropic的多代理研究系统测试表明,用这种架构来搞行业调研,效率比单一代理提高了大约一半,还能让报告的准确率多提个23%。
有人可能会觉得,随着AI的上下文窗口变得越来越大,是不是以后就不用做上下文工程了?其实未必是这个意思。
就算将来AI的上下文窗口能容纳100本书的内容,“信息相关性”的问题依旧存在,给它塞太多无关紧要的信息,它还是会被分散注意力。
就算咱们的电脑硬盘再大,再多的空间,它也会用文件夹整理好东西,绝不会把所有文件都堆在桌面上。
而且,随着AI变得越来越自主,它需要应对的动态信息也会变得更多,这就得靠上下文的引导,让它专注于重点任务。
如今,好些公司都开始布局上下文工程啦。Anthropic在Claude开发者平台上推出了内存工具的测试版本,方便AI轻松存放和调取外部的笔记内容。
国内的AI企业也在优化工具管理的功能,帮用户更好地筛选出关键的工具,以便让AI的应用更高效。
对于普通用户来说,其实不用等这些功能完全完善,现在就可以从一些简单的事开始,比如在给AI提供参考资料时,先自己总结提炼出重点,再把这些观点发给AI。
在用AI做多步骤任务的过程中,每完成一段,就让它帮忙总结一下目前的情况,确保方向对头。
这些细节操作,其实就是上下文处理的根基。AI的发展一直都在“能力提升”和“管理模式改进”两手齐推。
一开始靠关键词搜寻慢慢发展到用提示词跟人对话,再到现在的让AI自主执行任务,每一步升级都得换个管理方法。
提示工程为我们开启了AI应用的门户,而上下文工程则在推动这扇门越开越大,它不是要取代提示工程,而是为了让AI的实力能更准确地在实际场景中发挥出来。
结语:
将来,真正懂AI的人,不会再为“怎么写出一句好的提示词”眉头紧皱,而会开始琢磨“怎样为AI打造一个高效的资料环境”。
归根到底,把最核心的信息直接呈现在AI面前,比让它在一堆杂乱无章的资料里搜寻答案,要来得有效,这才是AI代理时代的关键优势所在。
股票杠杆配资平台提示:文章来自网络,不代表本站观点。