<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>涌现能力 on 灵语AI</title>
		<link>https://lingyu7.com/tags/%E6%B6%8C%E7%8E%B0%E8%83%BD%E5%8A%9B/</link>
		<description>Recent content in 涌现能力 on 灵语AI</description>
		<generator>Hugo</generator>
		<language>zh-CN</language>
		
		
		
		
			<lastBuildDate>Wed, 22 Jul 2026 02:29:00 +0800</lastBuildDate>
		
			<atom:link href="https://lingyu7.com/tags/%E6%B6%8C%E7%8E%B0%E8%83%BD%E5%8A%9B/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>AI不需要你教它——它自己就从例子中学会了，甚至连DNA都不放过</title>
				<link>https://lingyu7.com/posts/ai%E4%B8%8D%E9%9C%80%E8%A6%81%E4%BD%A0%E6%95%99%E5%AE%83-%E5%AE%83%E8%87%AA%E5%B7%B1%E5%B0%B1%E4%BB%8E%E4%BE%8B%E5%AD%90%E4%B8%AD%E5%AD%A6%E4%BC%9A%E4%BA%86-%E7%94%9A%E8%87%B3%E8%BF%9Edna%E9%83%BD%E4%B8%8D%E6%94%BE%E8%BF%87/</link>
				<pubDate>Wed, 22 Jul 2026 02:29:00 +0800</pubDate>
				<guid>https://lingyu7.com/posts/ai%E4%B8%8D%E9%9C%80%E8%A6%81%E4%BD%A0%E6%95%99%E5%AE%83-%E5%AE%83%E8%87%AA%E5%B7%B1%E5%B0%B1%E4%BB%8E%E4%BE%8B%E5%AD%90%E4%B8%AD%E5%AD%A6%E4%BC%9A%E4%BA%86-%E7%94%9A%E8%87%B3%E8%BF%9Edna%E9%83%BD%E4%B8%8D%E6%94%BE%E8%BF%87/</guid>
				<description>&lt;h2 id=&#34;引言你教ai的方式可能彻底错了&#34;&gt;引言：你教AI的方式，可能彻底错了&lt;/h2&gt;&#xA;&lt;p&gt;想象你要教一个朋友认识一种新水果。&lt;/p&gt;&#xA;&lt;p&gt;你拿出了一个芒果，说：&amp;ldquo;这是芒果。&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;然后你拿出第二个芒果，说：&amp;ldquo;这也是芒果。&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;到第三个的时候，你朋友自己就学会了——&amp;ldquo;我懂了，芒果是这种黄色的、有甜味的东西。&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;这不神奇。人类每天都在做这种事。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;但AI也能做同样的事，而且方式比人类更不可思议。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;你给它几个例子，它就能&amp;quot;学会&amp;quot;一个新任务——不用重新训练，不用调整参数，不用更新模型权重。你只是把几个例子放在它的&amp;quot;输入框&amp;quot;里，它就能按照你的意图去执行。&lt;/p&gt;&#xA;&lt;p&gt;这种能力，叫做&lt;strong&gt;上下文学习（In-Context Learning, ICL）&lt;/strong&gt;。&lt;/p&gt;&#xA;&lt;p&gt;你可能会想：&amp;ldquo;这有什么了不起的？不就是让AI记住几个例子然后模仿吗？&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;但问题在于——&lt;strong&gt;没有人知道它为什么能做到。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;2020年GPT-3横空出世时，1750亿参数规模让ICL能力&amp;quot;涌现&amp;quot;了。但六年过去了，我们对这个问题的理解，才刚刚开始触及核心。&lt;/p&gt;&#xA;&lt;p&gt;而2026年的一项新发现，把这个问题推向了更深的层次：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;ICL不仅仅是人类语言的专属能力。它在DNA序列模型上，同样涌现了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;一什么是上下文学习它比你想象的更奇怪&#34;&gt;一、什么是&amp;quot;上下文学习&amp;quot;？——它比你想象的更奇怪&lt;/h2&gt;&#xA;&lt;p&gt;先理解ICL到底是什么。&lt;/p&gt;&#xA;&lt;p&gt;想象你是一个大模型，被训练来&amp;quot;预测下一个词&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;训练时，你读了整个互联网——从维基百科到Reddit论坛，从学术论文到菜谱。你学会的是：&lt;strong&gt;给定前面的话，猜出后面的话最可能是什么。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;然后有一天，有人给你看了一段话：&lt;/p&gt;&#xA;&lt;blockquote&gt;&#xA;&lt;p&gt;&amp;ldquo;把英文翻译成中文：&#xA;hello -&amp;gt; 你好&#xA;good morning -&amp;gt; 早上好&#xA;I love AI -&amp;gt; &amp;quot;&lt;/p&gt;&#xA;&lt;/blockquote&gt;&#xA;&lt;p&gt;你还记得吗？你从来没被专门训练过&amp;quot;翻译任务&amp;rdquo;。你只是被训练来&amp;quot;预测下一个词&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;但你的内部机制做了一件奇怪的事：&lt;strong&gt;你从给出的例子中&amp;quot;提取&amp;quot;了一个模式，然后把&amp;quot;翻译任务&amp;quot;转化成了&amp;quot;预测下一个词&amp;quot;任务。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;你看到三个英文-中文配对后，自动推断出：哦，这个上下文的规则是&amp;quot;把英文翻译成中文&amp;quot;。所以当看到&amp;quot;I love AI&amp;quot;时，你预测下一个词是&amp;quot;我爱人工智能&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;这就是ICL——不需要额外训练，不需要梯度更新，仅仅通过几个例子，模型就学会了新任务。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;听起来很神奇，对吧？&lt;/p&gt;&#xA;&lt;p&gt;但更神奇的事情是：&lt;strong&gt;这个能力不是任何人有意识设计出来的。&lt;/strong&gt; 没有人写代码说&amp;quot;让GPT-3学会从例子中学习&amp;quot;。它只是被训练来预测下一个词，然后这个能力就自己涌现了。&lt;/p&gt;&#xA;&lt;p&gt;就像你种了一棵苹果树，结果它不仅长了苹果，还长出了柠檬——你完全不确定它是怎么做到的。&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;二传统的解释icl是语言的副产品&#34;&gt;二、传统的解释：ICL是语言的&amp;quot;副产品&amp;quot;&lt;/h2&gt;&#xA;&lt;p&gt;对于ICL为什么会出现，最初的主流解释是：&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;ICL是语言模型在语言数据上训练的&amp;quot;副产品&amp;quot;。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;逻辑是这样的：&lt;/p&gt;&#xA;&lt;ol&gt;&#xA;&lt;li&gt;人类语言中充满了&amp;quot;类比&amp;quot;和&amp;quot;模式&amp;quot;——比如我们经常会说&amp;quot;就像……一样&amp;quot;、&amp;ldquo;例如……&amp;rdquo;&lt;/li&gt;&#xA;&lt;li&gt;语言模型在训练时见过了无数这样的例子&lt;/li&gt;&#xA;&lt;li&gt;所以它学会了&amp;quot;从例子中推测规则&amp;quot;的通用能力&lt;/li&gt;&#xA;&lt;li&gt;这个能力被&amp;quot;迁移&amp;quot;到了所有任务上&lt;/li&gt;&#xA;&lt;/ol&gt;&#xA;&lt;p&gt;这个解释听起来很合理，对吧？甚至有点&amp;quot;理所当然&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;但2026年，这个解释被彻底推翻了。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;hr&gt;&#xA;&lt;h2 id=&#34;三颠覆性的发现icl在dna模型上同样涌现&#34;&gt;三、颠覆性的发现：ICL在DNA模型上同样涌现&lt;/h2&gt;&#xA;&lt;p&gt;Johns Hopkins大学的研究团队做了一个实验。&lt;/p&gt;&#xA;&lt;p&gt;他们选择了Evo2——一个被训练来预测DNA序列的模型。DNA序列由A、C、G、T四个碱基组成，像一本用四个字母写成的天书。&lt;/p&gt;&#xA;&lt;p&gt;Evo2的训练目标很简单：给定一段DNA序列，预测下一个碱基是什么。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;注意：Evo2从来没有见过任何人类语言数据。&lt;/strong&gt; 它不知道&amp;quot;你好&amp;quot;是什么意思，没见过&amp;quot;翻译任务&amp;quot;，也没读过&amp;quot;例子&amp;quot;这个概念的任何一个字。&lt;/p&gt;&#xA;&lt;p&gt;但研究团队做了以下测试：&lt;/p&gt;&#xA;&lt;p&gt;他们给Evo2看一些&amp;quot;例子&amp;quot;——比如，给出一段DNA序列，然后在末尾加上对应的功能标注。然后再给一段新的DNA序列，问Evo2：&amp;ldquo;根据前面的例子，这段序列的功能标注应该是什么？&amp;rdquo;&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;结果：Evo2展现出了和GPT-3完全一样的ICL模式——随示例数量增加，性能稳定提升。&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;DNA模型，没有接触过任何人类语言，没有&amp;quot;类比&amp;quot;概念，没有&amp;quot;例子&amp;quot;这个训练数据——但它仍然学会了&amp;quot;从例子中学习&amp;quot;。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;这个发现彻底改变了我们对ICL的理解：&lt;/strong&gt;&lt;/p&gt;&#xA;&lt;p&gt;ICL不是人类语言的副产品。&#xA;ICL不是&amp;quot;类比推理&amp;quot;的产物。&#xA;ICL甚至不是&amp;quot;文本&amp;quot;的专属能力。&lt;/p&gt;&#xA;&lt;p&gt;&lt;strong&gt;ICL是——当一个模型被训练预测足够复杂的序列数据中的下一个元素时，自然涌现的通用能力。&lt;/strong&gt;&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
