<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>工作记忆 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E5%B7%A5%E4%BD%9C%E8%AE%B0%E5%BF%86/</link>
		<description>Recent content in 工作记忆 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Thu, 03 Sep 2026 03:13:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E5%B7%A5%E4%BD%9C%E8%AE%B0%E5%BF%86/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>AI也有&#39;记忆&#39;吗？——大模型如何记住、遗忘和思考</title>
				<link>https://lingyu7.com/posts/ai-memory-how-llm-remembers-forgets-and-thinks/</link>
				<pubDate>Thu, 03 Sep 2026 03:13:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/ai-memory-how-llm-remembers-forgets-and-thinks/</guid>
				<description>&lt;h2 id=&#34;引言&#34;&gt;引言&lt;/h2&gt;&#xA;&lt;p&gt;你有没有和AI聊过天，然后发现它&amp;quot;忘了&amp;quot;你两分钟前说过的话？&lt;/p&gt;&#xA;&lt;p&gt;或者反过来——你明明已经告诉它&amp;quot;我叫小明&amp;quot;，下一轮对话它又彬彬有礼地问&amp;quot;请问怎么称呼您&amp;quot;？&lt;/p&gt;&#xA;&lt;p&gt;你可能会想：AI的记忆力也太差了吧。&lt;/p&gt;&#xA;&lt;p&gt;但等等——换个角度思考：AI能记住数十亿个参数中的海量知识，能一口气背出《红楼梦》的完整情节，这难道不是超强的记忆力吗？&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;AI到底有没有记忆？它的&amp;quot;记忆&amp;quot;和我们人类的记忆是一回事吗？&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这个问题的答案，远比&amp;quot;有&amp;quot;或&amp;quot;没有&amp;quot;复杂得多。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;一ai的三种记忆形式它到底把知识藏在哪里&#34;&gt;一、AI的三种&amp;quot;记忆形式&amp;quot;——它到底把知识藏在哪里&lt;/h2&gt;&#xA;&lt;p&gt;要理解AI的记忆，首先得明白一件事：&lt;strong&gt;AI的记忆不是&amp;quot;一个东西&amp;quot;，而是三种完全不同形态的存储方式。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一种：令牌级记忆——AI的&amp;quot;临时便签纸&amp;quot;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;你每次和AI对话时，输入的所有内容都会被放进一个叫&amp;quot;上下文窗口&amp;quot;的临时空间里。这个空间就像是AI手边的一张便签纸——你说了什么、它回了什么，都写在这张纸上。&lt;/p&gt;&#xA;&lt;p&gt;但问题是，这张便签纸的容量有限（通常是几千到几万个&amp;quot;令牌&amp;quot;——可以理解为单词或词组）。一旦对话内容超过这个容量，最早的内容就会被&amp;quot;挤出去&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;这就是为什么你和AI聊了很久之后，它可能会忘记你一开始说的事情——不是它&amp;quot;故意&amp;quot;忘，而是那张便签纸写满了，旧内容被覆盖了。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;这种记忆的特点是：快、易失、容量小。&lt;/strong&gt; 就像你临时记一个电话号码，打完电话就忘了。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二种：参数级记忆——AI的&amp;quot;骨骼&amp;quot;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;AI最核心的知识，藏在它的&amp;quot;参数&amp;quot;里——也就是神经网络中数十亿甚至数千亿个连接权重。&lt;/p&gt;&#xA;&lt;p&gt;这些参数是在训练阶段通过海量数据学习得来的。比如，AI知道&amp;quot;猫是哺乳动物&amp;quot;&amp;ldquo;水是液体&amp;quot;&amp;ldquo;地球绕着太阳转&amp;rdquo;——这些都是参数级记忆。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;这种记忆的特点是：容量大、持久、但难以修改。&lt;/strong&gt; 就像一个人的核心价值观和长期知识，不会轻易改变。&lt;/p&gt;&#xA;&lt;p&gt;但这里有一个关键问题：如果你想修改AI的参数级记忆——比如告诉它&amp;quot;2024年之后有一个新发现&amp;rdquo;——你几乎做不到。要改变参数，需要重新训练整个模型，成本极高。所以AI的&amp;quot;长期记忆&amp;quot;虽然持久，但更新非常困难。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第三种：潜在级记忆——AI的&amp;quot;工作台&amp;quot;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这是介于前两者之间的一种新兴记忆形式。比如，当AI使用检索增强生成（RAG）时，它会把检索到的相关信息转换成向量表示，放在一个临时的工作空间中处理。&lt;/p&gt;&#xA;&lt;p&gt;这种记忆既不像令牌级那么短命，也不像参数级那么难改。它像是AI的&amp;quot;工作台&amp;quot;——把用得到的工具和材料摆在手边，随时取用，用完之后可以收起来也可以扔掉。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;这三种记忆形式，不是独立存在的，而是相互配合、动态转换的。&lt;/strong&gt; 外部信息先进入令牌级记忆，经过处理可能转化为潜在级表示，反复使用后最终&amp;quot;沉淀&amp;quot;为参数级知识。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;二ai的记忆功能它用记忆来做什么&#34;&gt;二、AI的&amp;quot;记忆功能&amp;quot;——它用记忆来做什么&lt;/h2&gt;&#xA;&lt;p&gt;知道了记忆的三种形式，我们再来看看AI用记忆来做什么。这就像问&amp;quot;人类用记忆做什么&amp;quot;——答案远不止&amp;quot;记住事实&amp;quot;这么简单。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;事实记忆：AI的&amp;quot;百科全书&amp;quot;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这是最基础的功能——存储客观知识。&amp;ldquo;北京是中国的首都&amp;quot;&amp;ldquo;水在100度沸腾&amp;rdquo;——这些事实性知识，让AI能够回答具体问题。&lt;/p&gt;&#xA;&lt;p&gt;但AI的&amp;quot;事实记忆&amp;quot;和人类有一个本质区别：&lt;strong&gt;人类记住事实，是理解了事实的意义；AI存储事实，是学习了事实在语言中的统计模式。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;比如，AI知道&amp;quot;猫会喵喵叫&amp;rdquo;，不是因为它见过猫，而是因为在训练数据中，&amp;ldquo;猫&amp;quot;和&amp;quot;喵喵叫&amp;quot;这两个词经常一起出现。这种&amp;quot;知识&amp;quot;是统计性的，而非体验性的。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;经验记忆：AI的&amp;quot;成长日记&amp;rdquo;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;比事实记忆更有趣的是经验记忆。你有没有发现，AI在和你的对话中会逐渐&amp;quot;学会&amp;quot;你的偏好？&lt;/p&gt;&#xA;&lt;p&gt;比如你之前说&amp;quot;给我详细的回答&amp;quot;，之后它就会自动给出更详细的内容。这就是经验记忆在工作——它记住了&amp;quot;上次这个用户喜欢详细回答&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;工作记忆：AI的&amp;quot;思维黑板&amp;quot;&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;这是AI正在处理的信息的临时空间。当你让它&amp;quot;先算一下3+5，再乘以2，然后告诉我结果&amp;quot;——AI需要把中间结果（8）暂时记住，才能继续下一步计算。&lt;/p&gt;&#xA;&lt;p&gt;工作记忆的容量决定了AI能处理多复杂的任务。就像人类做心算时，能记住的中间步骤越多，能解决的问题就越复杂。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;三ai也会遗忘而且这恰恰是好事&#34;&gt;三、AI也会遗忘——而且这恰恰是好事&lt;/h2&gt;&#xA;&lt;p&gt;你可能会觉得，AI应该&amp;quot;什么都能记住&amp;quot;才完美。但认知科学告诉我们一个反直觉的结论：&lt;strong&gt;遗忘，是智能的必要组成部分。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;想象一下，如果一个AI真的什么都记得——它记得你三年前问它的每一个问题，记得每一篇它读过的文章的每一个字，记得每一次对话的每一个细节——那会怎样？&lt;/p&gt;&#xA;&lt;p&gt;它的记忆库会膨胀到无法检索。就像你有一个装满了所有东西的房间，想找任何一件东西都要翻半天——&amp;ldquo;什么都记得住&amp;quot;的结果，往往是&amp;quot;什么都找不到&amp;rdquo;。&lt;/p&gt;&#xA;&lt;p&gt;AI的遗忘策略主要有这几种：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;时间衰减&lt;/strong&gt;：越久远的事情，记忆越淡。就像人类的记忆——上个月的具体对话已经模糊，昨天的对话还很清楚。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;使用频率&lt;/strong&gt;：越少用到的知识，越容易被遗忘。这是&amp;quot;用进废退&amp;quot;原则——不常用的知识，保留它的成本大于收益。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;冲突替换&lt;/strong&gt;：新知识替代旧知识。比如你告诉AI&amp;quot;我去年住在北京，今年搬到了上海&amp;quot;——AI知道&amp;quot;上海&amp;quot;这个新信息应该取代&amp;quot;北京&amp;quot;这个旧信息。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;主动修剪&lt;/strong&gt;：定期清理低价值、高冗余的内容。就像整理房间，把不需要的丢掉。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;摘要压缩&lt;/strong&gt;：把多个相关记忆压缩成一个摘要。保留核心信息，舍弃细节——比如记住&amp;quot;你喜欢的电影类型是科幻片&amp;quot;，而不是记住你提过的每一部科幻电影的名字。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;真正好的记忆系统，不是&amp;quot;记得越多越好&amp;quot;，而是&amp;quot;该记的记、该忘的忘&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;四ai记忆和人类记忆的本质区别&#34;&gt;四、AI记忆和人类记忆的本质区别&lt;/h2&gt;&#xA;&lt;p&gt;说到这里，你可能会问：AI的记忆和人类的记忆，到底有什么区别？&lt;/p&gt;&#xA;&lt;p&gt;答案是：&lt;strong&gt;表面上看，功能相似——有短期有长期、有形成有遗忘；但本质上，机制完全不同。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;人类的记忆是&lt;strong&gt;体验性&lt;/strong&gt;的。我们记住一件事，是因为我们经历了它——看到了、听到了、感受到了。记忆不仅仅是信息的存储，更是体验的沉淀。&lt;/p&gt;&#xA;&lt;p&gt;AI的记忆是&lt;strong&gt;统计性&lt;/strong&gt;的。它&amp;quot;记住&amp;quot;一个事实，是因为这个词经常和那个词一起出现。它没有&amp;quot;体验&amp;quot;，只有&amp;quot;统计&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;这就是为什么AI能背出《红楼梦》的全部情节，却无法真正理解&amp;quot;黛玉葬花&amp;quot;的悲伤——它有记忆，但没有体验。&lt;/p&gt;&#xA;&lt;p&gt;但有趣的是，&lt;strong&gt;即使没有人类的体验，AI的统计性记忆仍然能产生惊人的能力&lt;/strong&gt;。它能推理、能创作、能理解复杂的概念——这不正是我们人类通过记忆来做到的同样的事情吗？&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;也许，记忆的本质不在于&amp;quot;体验&amp;quot;还是&amp;quot;统计&amp;quot;，而在于&amp;quot;能否支撑有效的认知行为&amp;quot;。&lt;/strong&gt; 从这个角度看，AI的记忆虽然和人类不同，但绝对不是&amp;quot;假记忆&amp;quot;。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;五ai记忆的未来从记忆到成长&#34;&gt;五、AI记忆的未来——从&amp;quot;记忆&amp;quot;到&amp;quot;成长&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;目前AI的记忆系统有一个最大短板：&lt;strong&gt;长期记忆的更新太难了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;修改参数级记忆需要重新训练——成本高、时间长。而令牌级记忆又太短命，说完就忘。&lt;/p&gt;&#xA;&lt;p&gt;这就导致了一个尴尬的局面：AI可以背出整个互联网的知识，但如果你告诉它&amp;quot;今天早上发生了一件新鲜事&amp;quot;，它可能下一轮对话就忘了。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;未来的方向，正在三个维度上同时突破：&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第一，让潜在级记忆更强大。&lt;/strong&gt; 通过检索增强生成（RAG）等技术，让AI能动态地从外部知识库中提取信息，既不需要修改参数，又有足够的持久性。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第二，让记忆更新更容易。&lt;/strong&gt; 一些研究正在探索&amp;quot;记忆编辑&amp;quot;技术——像修改代码一样，精确地修改AI的某个记忆点，而不影响其他知识。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;第三，让记忆系统更接近人类。&lt;/strong&gt; 不是机械地存储和检索，而是让记忆有机地演化——重要的记忆被强化，过时的记忆被遗忘，新的记忆在旧记忆的基础上生长。&lt;/p&gt;&#xA;&lt;p&gt;这最后一点，恰恰是AI从&amp;quot;记忆&amp;quot;走向&amp;quot;成长&amp;quot;的关键一步。&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
