Transformer 架构的共同作者之一 Llion Jones 发出警告，尽管人工智能领域获得了前所未有的资源，但研究已经危险地集中于单一架构，这正在阻碍下一代突破的出现。他认为，投资回报和学术竞争的巨大压力导致研究人员过度“利用”现有技术，而严重缺乏对新方向的“探索”。因此，他宣布将放弃自己参与创造的 Transformer，并在其新公司 Sakana AI 寻求受自然启发、更具探索性的下一代 AI 架构。
资源越多，创新越少？
Llion Jones 指出，当前的 AI 研究领域正面临一个悖论：投入的资源、资金和人才达到了顶峰，但研究方向却变得越来越窄。他认为，罪魁祸首是来自投资者和激烈竞争的“巨大压力”。
“如果你现在从事标准的人工智能研究，你基本上得假设，可能有三到四个其他团队正在做非常相似，甚至完全相同的事情。”
这种环境的直接后果是：
- 研究人员为了抢先发表而仓促完成论文，损害了科学的严谨性。
- 为了在拥挤的领域中脱颖而出，大家倾向于选择安全、易于发表的项目，而非高风险、可能带来变革的探索。
- 整个领域的创造力正在被削弱。
“利用”与“探索”的失衡
Jones 用 AI 自身的一个概念来类比当前行业的困境：“探索与利用” (exploration vs. exploitation) 的权衡。当一个系统过度“利用”已知方案而“探索”不足时，它只能找到平庸的局部最优解，从而错过更好的可能性。
“我们几乎可以肯定，人工智能行业现在就处于这种情况。”
他担心该领域正在重蹈覆辙。在 Transformer 出现之前，研究人员曾花费大量时间对循环神经网络（RNN）进行微小的改进。而当 Transformer 出现后，那些工作瞬间变得无关紧要。他担忧，现在大家对 Transformer 的过度关注，可能正让我们错失“近在咫尺”的下一个重大突破。
Transformer 的诞生：源于自由，而非压力
Jones 强调，Transformer 的诞生环境与今天截然不同。那是一个有机、自下而上的过程，源于午餐时的交谈和在白板上的随意涂鸦。
最关键的因素是自由：
- 没有管理层施加的压力，不需要为特定项目工作。
- 即使想法尚不成熟，团队也有足够的时间和自由去探索。
- 没有发表论文数量或提升特定指标的硬性要求。
Jones 尖锐地指出，即使是那些拿着百万年薪的研究人员，在今天的环境下也未必敢于冒险。“他们是会感到有权尝试自己疯狂的想法，还是会感到巨大的压力去证明自己的价值，从而选择那些唾手可得的成果？”
新的探索：回归自然与自由
作为解决方案，Jones 在他的新公司 Sakana AI 尝试重建一种更具探索性的环境。他甚至挑衅地表示，自己已经对 Transformer “感到厌倦”。
Sakana AI 的核心理念是：
- 增加“探索”的权重，并公开分享发现，即使这会带来竞争成本。
- 研究受自然启发的 AI 模型，例如其“持续思维机器”项目，将类似大脑的同步机制融入神经网络。
- 为研究人员提供真正的自由，让他们可以探索那些在别处会被视为“浪费时间”的想法。
他引用工程师 Brian Cheung 的一句格言作为研究人员的信条：
“你应该只做那些‘如果你不做，就不会发生’的研究。”
成功的悖论
Jones 认为，Transformer 可能已成为自身成功的受害者。正是因为当前的技术如此强大和灵活，反而阻止了我们去寻找更好的东西。如果现有技术不那么好用，或许会有更多人去探索新的可能性。
他澄清自己并非否定当前在 Transformer 上的工作，这些工作依然重要且能在未来创造巨大价值。但他强调，鉴于目前拥有的人才和资源，我们完全有能力做得更多。
他的最终信息是呼吁合作而非竞争。
“我们都有同一个目标。我们都希望看到这项技术进步，以便我们所有人都能从中受益。因此，如果我们能够共同调高‘探索’的旋钮，然后公开分享我们的发现，我们就能更快地实现我们的目标。”