给AI塞了100页文档，它却只记住了头和尾——'中间迷失'现象为什么至今无解，以及正在改变游戏规则的新思路

Sun, 25 Oct 2026 02:30:00 +0800

引言：一个你可能亲身踩过的坑

假设你是一个律师助理，把一份80页的并购合同丢给AI，让它帮你找出第47页关于"竞业禁止"的那段话。你等了30秒，AI回复：

“在这份合同中，未找到关于竞业禁止的条款。”

你翻到第47页——它就在那里，白纸黑字。

这不是AI"看漏了"，而是一个被学术研究反复验证过的系统性缺陷。2023年，斯坦福大学、UC伯克利和Samaya AI的研究团队发表了一篇论文，给了这个现象一个精确的名字：Lost in the Middle——“迷失在中间”。

他们的实验很简单：给模型20份文档，把答案分别放在不同位置。结果画出来的曲线像一个字母U——放在开头和结尾的答案，模型找得又快又准；放在中间的答案，准确率断崖式下跌，有时甚至比不给任何文档还差。

你没看错。给模型提供了参考资料，它反而答得更烂了。

为什么AI会"迷失在中间"？

要理解这个现象，得先理解大模型是怎么"读"东西的。

注意力不是探照灯，更像是黄昏时的余光

大模型的核心架构叫Transformer，它靠一种叫"注意力机制"的东西来决定"哪些词重要"。你可以把它想象成一束光——但这束光不是均匀的探照灯，而更像是黄昏时分从窗户照进来的光：窗边最亮，房间中央还行，角落就暗了。

具体来说，模型对开头的信息格外敏感。因为注意力计算一开始，模型的"视线"刚刚展开，前面几个token享受到了最完整的关注。同时对结尾的信息也格外敏感——因为模型在生成回答时，最后一个位置的上下文信号最强，就像你读一本书，刚读完的那一页印象最深。

而中间呢？它既不享受"首因效应"的红利，也不占"近因效应"的光。注意力强度在中间区域形成一个凹陷——信息明明在那里，但模型的"目光"滑过去了。

还有一个更微妙的问题：信息密度

想想你看一本书的习惯。开头通常是背景介绍和核心论点，结尾是结论和总结，中间是什么？过渡、展开、补充说明。从信息价值的角度，开头和结尾的"含金量"本来就可能更高。

模型在训练中可能学到了这个模式——“重要的东西在两头”。于是它把注意力资源往两端倾斜，中间部分得到的关注就更少了。这是一个自我强化的循环。

三年过去了，问题消失了吗？

没有。

2026年10月23日，一篇发布在开发者社区的技术文章用了一个刺眼的标题：“Lost in the Middle: Find Your Context Dead Zone and Fix It Before the Call”——找到你AI的"上下文死角"，在上线之前修好它。

作者指出了一个令人不安的事实：即便是2026年最新的模型，这个"U型曲线"虽然比2023年平缓了不少，但从未真正消失。你把20份检索到的文档喂给GPT类模型，答案放在中间时，表现仍然会掉20个百分点以上。

更值得注意的是，最近一周同时出现了两篇来自顶级机构的新论文，从不同角度试图解决这个问题。它们指向同一个方向：不是让AI看所有东西，而是让它学会"跳读"。

新思路一：像人类一样学会"略读"

10月19日，来自CMU和UC Berkeley的团队发布了TokenGate。

人类阅读一份300页的报告时，不会逐字逐句从头读到尾。你会先扫目录，翻到相关章节，重点看关键段落，其余的一扫而过。TokenGate做的就是这件事——它给模型装了一个"门控"模块，让模型在处理长文本时，学会判断哪些token值得精读、哪些可以跳过。

具体怎么实现？它在模型的中间某一层加了一个小型的"评分网络"。这个网络给每一个token打一个"重要性分数"，然后只保留最重要的那一小批继续往上送。不重要的token？直接从这一层开始就不再处理了——既省计算，也省内存。

效果如何？在多种任务上，TokenGate实现了最高11.3倍的首token响应加速和3.4倍的峰值内存降低，而且准确率没有下降。

这里有一个关键洞察：传统的做法是让模型"看完所有东西再挑重点"，TokenGate反过来——“先挑重点，只看重点”。这不是偷懒，这恰恰是人类专家阅读长文档的方式。

新思路二：分层采样，不让任何角落被遗忘

几乎同一时间（10月20日），另一支团队提出了Stratified Sparse Attention（SSA）——分层稀疏注意力。

如果说TokenGate的思路是"学会跳读"，SSA的思路更像"确保每个角落都被随机抽查到"。

它把注意力机制拆成两层：第一层确定性地关注那些"明确重要"的token（比如包含关键词的句子）；第二层则用一种带修正的采样方法，从剩余token中随机抽取一批来"扫一眼"。这个"扫一眼"不是随便看的——它会用代理注意力分数来估算哪些被跳过的token可能也重要，然后对采样偏差做数学修正。

效果是：在128K上下文的极端稀疏条件（只关注1/50的token）下，SSA仍然恢复了85%的密集注意力性能。而此前的最好方法只能恢复到63.8%。

这对普通用户意味着什么？

说了这么多技术细节，对你日常用AI有什么实际影响？

第一，关键信息放两头。 如果你给AI一段长提示词，最重要的指令放在最开头和最结尾。中间放背景说明和参考资料。这不是技巧，这是模型的物理特性决定的。

第二，别迷信"上下文窗口越大越好"。 一个模型号称支持200K token，不代表你该把所有东西都塞进去。200K是容量上限，不是推荐用量。塞得越多，中间部分被忽略的概率越大。更好的做法是：精选信息、结构化呈现、控制长度。

第三，用RAG（检索增强生成）时，注意排序。 很多AI应用会先从知识库检索相关文档片段，再塞给模型。如果你检索出10个片段，把最相关的那个放在第一个或最后一个，别放在第五个。

第四，对于长文档场景，留意新技术。 TokenGate和SSA这类"选择性注意力"技术正在快速成熟。当它们被集成到你使用的产品中时，你会发现AI处理长文档的能力有质的飞跃——不是因为模型变"聪明"了，而是因为它学会了"看重点"。

一个更大的启示

“Lost in the Middle"现象揭示的，其实是一个关于信息处理的深层悖论：拥有更多信息，不等于利用得更好。

这不只是AI的问题。人类也一样——你收藏了500篇"稍后再读"的文章，最后真正读完的可能不到50篇。你的浏览器开了30个标签页，但注意力真正集中的只有一两个。

TokenGate on 灵语AI