DeepSeek 长文本为何突然“抽风”？字节 Seed 团队揭开 AI 性能波动谜团

约 521 字 · 预计阅读 2 分钟

详细信息

字节跳动旗下 Seed 团队在最新的研究论文中，揭示了大语言模型在处理超长文本时出现性能波动的技术原因。研究团队指出，这一现象主要源于分块 KV 缓存压缩技术所带来的“相位敏感性”。

关键机制引发检索偏差

该技术为了降低长上下文推理时的内存消耗，会通过固定步幅将连续标记窗口压缩为更少的条目。然而，这种压缩机制引入了一个全新的位置坐标，即 Token 相对于压缩窗口边界的“相位”。

实验表明，模型在面对完全相同的信息时，处于不同相位会导致检索难度发生剧烈变化。在部分大型开源模型中，这种相位差异造成的长文本检索准确率落差最高可达 40 个百分点。

周期性弱点亟待优化

这一发现揭示了传统平均基准测试的局限性，部分模型看似出色的平均高分下，可能隐藏着严重的周期性弱点。随着长文本大模型应用日益广泛，这一研究成果为未来的模型架构优化和长上下文推理稳定性提升提供了重要的理论依据。

编辑整理：阅读要点

• 功能和价格可能随版本或地区变化，使用前应查看最新说明。
• 安装软件或启用服务时，优先使用项目官方渠道并检查所需权限。
• 是否适合长期使用，应结合自身设备、工作流和实际体验判断。

延伸阅读

查看相关项目或原始资料

资料来源：news.aibase.com。本文依据公开资料整理，不是独立采访或独家报道。