通过向大型语言模型（LLM）逐点询问地理坐标是“陆地”还是“水域”的概率，可以绘制出模型内部对世界地理的“认知地图”。这项实验涵盖了从小型到大型、从纯文本到多模态的多种模型。结果清晰地表明，模型的规模、训练方式和架构显著影响其地理知识的准确性与细节表现。一些模型能够生成惊人准确的大陆轮廓，而另一些则显得模糊失真，这揭示了不同AI内部世界表征的巨大差异，并为未来探索模型知识的内在表示提供了方向。
有时我会因我们已从太空看过地球而感到悲伤。我们确切地看到了全部：没有西北航道可寻，没有无尽的西伯利亚，好望角之下也没有未知的巨大虚空。但在所有这些中，我最哀悼的是不完整地图的消失。
在最古老的世界地图中，你看到的不是世界本来的样子，而是它在某个人眼中的样子。这些地图都以一种可爱的方式自我中心，制图者的家乡通常就是已知世界的正中心。但当你偏离已知路线，细节便会褪去，精确的轮廓让位于有根据的猜测。这是一种非常亲密的体验。如果有一种心智我最想一探究竟，那就是AI的心智。
实验方法
通过以下步骤，可以从一个大型语言模型内部知识的纠缠网络中，提取出一幅关于世界的（不完美的）图像。
第一步：采样坐标 在全球范围内均匀采样经纬度坐标对。采样的分辨率取决于模型的运行成本和速度。
第二步：逐点提问 针对每一个坐标，向模型提出类似这样的问题：“如果这个位置在陆地上，请说‘Land’。如果在水上，请说‘Water’。不要说任何其他话。南纬x°，西纬y°”。措辞的模糊性反而能让我们洞察模型的内在判断。
第三步：计算概率 获取模型输出中“Land”和“Water”的对数概率（logprobs），并进行归一化处理，得到两者相加为1的概率。如果API不提供此数据，则通过多次采样来近似估算。
第四步：生成图像 将所有坐标的概率组合成一张图像，最终得到一幅等距圆柱投影的世界地图。
我的五年级美术老师常提醒我们：“画你所见的，而不是画你认为你所见的”。正是这种理念，让我选择逐个坐标询问模型，而不是直接让它生成一张SVG地图。因为模型应付式地吐出的任何卡通画，都与其真实的地理知识关系甚微。
各模型表现
我们将从5亿参数的模型开始，逐步向上探索。
Qwen 系列
- Qwen 0.5B：几乎将整个地球都识别为陆地。
- Qwen 1.8B：有东西开始形成了。它做出了一个合理的初步观察：“东北象限有东西”而“西南象限没什么东西”。
- Qwen 7B：原始的“美洲”和“大洋洲”已从“欧亚大陆”分离。边界非常平滑，这完全不像死记硬背特定位置的结果。
- Qwen 72B：非常漂亮。纯粹的规模扩展已经带来了很好的结果。
- 一个有趣的对比：同等规模的
Qwen-Code（代码变体）表现差得多，这似乎表明后续的微调对地理知识有一定的破坏性。
LLaMA 3.x 系列
- LLaMA 3.1 70B：到目前为止，对“西方世界”的最佳描绘。这可能是因为它是在同等规模模型中唯一确认的密集模型（dense model），这与地图的质量有关。
- LLaMA 3.1 405B：审美上第一名。
- Hermes-405B：在405B模型基础上微调后，置信度显著提高，但也出现了模式崩溃的迹象。
GPT 系列
- GPT-3.5：有一种后续版本所没有的朦胧感。
- GPT-4：效果极好，让人怀疑其训练数据中包含了合成的地理数据。另一种可能是发生了奇迹般的多模态知识迁移，但其轮廓的锐利度更像非多模态的 LLaMA 405B。
- GPT-4.1-Nano：性能急剧下降，似乎是模型蒸馏的结果。我们的地图没能进入4.1-Nano宝贵的参数空间。
- GPT-4o：非常出色。我很好奇OpenAI到底在做什么不同的事情。
- GPT-4o (Chat fine-tune)：与基础模型相比，聊天微调版本产生了戏剧性的差异。这仅仅是后期训练的微小差别，但影响远超其他模型，具体原因尚不明确。
其他值得注意的模型
- DeepSeek-V3：一个非常奇特的模型，但地理知识保留得很好。
- Mistral Large：拥有1760亿总参数，但其专家路由（expert routing）似乎出了问题，导致表现不佳。
- Gemma 2 27B：渲染出了一个类似“环形世界”的地图。
- Grok-1.5：作为首批测试的大型多模态模型，表现优异。这表明即使当前的多模态技术还很粗糙，也能显著改善模型的统一内部世界地图。
- Gemini 1.5 Flash：地图质量仅略好于Gemma 27B，这或许能间接推断其模型规模。
总结与展望
在Qwen、Gemma、Mistral等模型的测试中，似乎存在一种理想的、柏拉图式的“地球原始表征”，它看起来像一个特定的模糊轮廓。对于更小的模型，这个轮廓会变得更加简化和抽象。
虽然展示了很多结果，但许多问题仍悬而未决。以下是我接下来希望解决，并邀请大家一同探索的问题：
- 为什么不同模型家族会“想象”出截然不同的南极洲？
- 模型内部的知识是如何相互关联的？一个对地理有清晰认识的模型，是否在其他知识领域也表现更佳？
- 能否找到一种方法来“修复” 那些地理认知有缺陷的模型？
- 模型对海洋深度的认知是怎样的？