一个在人工智能领域有深入经验的人，对自己看到“活体神经元被训练玩游戏”的实验感到深刻不安。他认为，尽管我们普遍认为大语言模型没有意识，只是在预测下一个词，但当同样的奖励机制被用于生物神经元时，“计算”与“意识”的界限变得模糊。这引发了一系列伦理问题：这些神经元是否在某种意义上“看见”了游戏画面？我们如何判断它是否具有某种形式的意识？作者最终指出，商业利益会驱动这项技术不断发展，而社会对此的讨论却严重不足，这才是最令人担忧的地方。
从数学到生物的跨越
我自 ChatGPT 问世以来就一直在人工智能领域工作。我知道它背后的权重、矩阵乘法等原理。说到底，它只是大量的数学和概率计算。
但是，看到这些完全相同的概念被应用在 真实的人类神经元 上？这对我来说，有一种深刻的反乌托邦感。
几个月前，我看到一家公司在实验室里培养神经元，并训练它们玩《DOOM》——说实话，玩得比我还好。我当时看了看，了解了一下，然后就把它抛在脑后了。
但实际上我没有。这件事已经困扰了我好几个月。
意识的模糊地带
我们一直认为大语言模型（LLM）没有“意识”，因为它们本质上是 “下一代词元预测器”。它们擅长模拟思想的输出，但没有内在的生命体验。
然而，这正是我感到界限模糊的地方。
我们是否可能刚刚构建了第一个人类生物计算机，并立即将其置于一个模拟地狱中，用我们训练大语言模型的奖励机制，让它永远循环玩同一个游戏？
- 我们怎么知道它 没有意识？
- 谁有权来做这个决定？
它们在“看见”吗？
为了玩《DOOM》，系统必须将视觉数据输入给神经元。神经元为了做出反应，必须以某种方式解释这些数据。
当我们的大脑解释来自视神经的电信号时，我们称之为“看见”。那么……芯片上的神经元是在看见吗？
我们都极力想说“不”。我们想说这只是一个科学实验，20万个神经元不足以构成一个“人”。但是，这个数量已经比水母或蠕虫的神经元还要多。
我们到底该在哪里划定界限？
无法阻挡的商业动力
商业激励是显而易见的 —— 人脑可以用更少的能耗存储更多的信息，并可能实现更好的检索。
- 想象我们会停止开发这项技术是可笑的，它从一开始就是个 潘多拉魔盒。
- 即使是我们集体认为“错误”的事情，比如大规模监控或黑市，只要有人能从中获利，它们就会继续存在。为什么生物计算会例外？
令人不安的沉默
我在这里并没有一个明确的结论，甚至不确定是否存在结论。我只是感到不安，因为我们创造了这样的东西，却没有真正地去讨论它。