这篇分析系统地评估了斯科特·亚历山大（Scott Alexander）博客评论区的质量变迁。通过对2013年以来近200万条评论的数据挖掘，研究发现评论区的活跃度与质量在2016年和2021年（博客从SSC迁移至ACX）出现了关键转折。分析指出，2016年前后是评论的“黄金时代”，其后的衰退可能源于开放讨论帖频率的改变以及特朗普崛起导致的话题转移。尽管ACX初期体验不佳，但数据显示近期评论质量正稳步回升。综合来看，当前评论区质量处于中上水平，并呈现出复兴的迹象，这证明了该社区独特的理性讨论文化依然具有强大的生命力。
评论区真的变差了吗？
许多老读者感觉，如今 Astral Codex Ten (ACX) 的评论区不如过去的 Slate Star Codex (SSC) 时期。著名评论员大卫·弗里德曼（David Friedman）也曾表示，他觉得现在的评论不如以前有趣。
我喜欢SSC很大程度上是因为它的评论社区，但我发现ACX的评论不如SSC的有趣，有意思的论证变少了。
为了验证这种感觉是否属实，作者抓取并分析了2013年至今的所有评论数据。数据显示，评论区的参与度确实在两个时间点出现了明显变化：2016年中期 和 2021年初（SSC转向ACX时）。
- 参与度曲线： 评论参与度在2014-2015年快速增长，于2016年4月达到顶峰，随后回落并稳定在一个较低水平。
- ACX 时期： 2021年ACX初期，参与度低于SSC的稳定期，但此后逐步回升，到2024年已接近甚至超过了SSC的水平。
这些数据证实，读者的感受并非空穴来风。评论区的确发生了真实的变化，导致大量用户减少了参与。而参与度的下降，很可能与评论质量的下降有关。
如何衡量评论质量？四个关键指标
为了客观评估，作者将“评论质量”分解为四个定义了该社区独特风格的核心要素：
- 深度参与 (Depth of engagement): 评论者是否愿意花时间深入探讨，而非发表“打卡式”言论后就消失。
- 思想自由 (Freedom of intellectual engagement): 社区是否允许人们自由讨论那些在其他场合可能引发争议的敏感话题。
- 礼貌程度 (Politeness): 社区是否维持着高度的文明和尊重，即使在讨论激烈话题时也是如此。
- 思维复杂度 (Complexity of thought): 评论是否展现了深刻、新颖且细致入微的观点。
指标一：深度参与
深度参与代表了讨论的价值。作者通过两个维度来衡量：
- 评论链深度： 指一条评论有多少层回复。数据显示，当前的评论链深度是历史最高的。
- 零回复评论比例： 指那些发表后无人回应的“自言自语”式评论。这个比例在2016年达到最低点，之后持续上升。
综合来看，2016年是深度参与的强劲时期。虽然现在一旦讨论开始，深度会很可观，但发起一场讨论变得比以前更难了。不过，自ACX成立以来，各项参与度指标正在逐步回升。
指标二：思想自由
自由讨论敏感话题是SSC/ACX评论区的一大特色。作者通过统计特定“敏感词”（如“跨性别”、“女权”、“移民”、“种族”等）的出现频率来衡量这一点。
- 数据显示，讨论敏感话题的意愿在2016-2017年左右达到顶峰，这与社区参与度的峰值大致吻合。
- ACX初期，这类讨论的频率处于低点，但之后有所回升。
- 一个有趣的发现是，“SJW”（社会正义战士） 这个词的使用频率在2016年4月，即社区参与度的最高点，达到了一个异常清晰的峰值。
这表明，社区讨论敏感话题的意愿确实发生了波动，2016年是一个重要的转折点。
指标三：礼貌程度
作者使用一个名为“toxic-bert”的AI模型来评估评论的“毒性”（即不礼貌程度）。
- 结果出人意料：数据显示，评论区的毒性在整个SSC时代是持续下降的。
- ACX时代开始后，毒性水平又开始缓慢回升。
- 即便在“毒性”最高的2013年，一条评论被认为是恶意的概率也只有4%。而在2021年，这个概率降到了1%。
这说明SSC/ACX评论区总体上非常文明。一个不文明的个体的出现，就足以让某篇帖子的讨论成为有史以来“最毒”的讨论之一。
指标四：思维复杂度
这是最难量化的指标，作者通过分析语言的复杂度来近似评估。
- 评论长度： 评论的平均长度在2017年达到顶峰，比参与度峰值晚了一年。
- 复杂词汇： 使用多音节词的频率同样在2017年达到顶峰。
- 词汇丰富度： 有趣的是，在评论最长、用词最复杂的2017年，词汇的“重复度”也最高。这可能反映了社区的一种偏好：为了精确，不惜重复使用关键术语来深入阐述一个概念，而不是追求文采。
总体而言，数据显示思维复杂度的峰值出现在2017年。这可能是“蒸发冷却”效应：随着大众参与者在2016年后逐渐离开，留下的核心粉丝在一段时间内维持了更高质量的讨论，但最终整体趋势还是回归了均值。
2016年到底发生了什么？
数据清晰地指向2016年和2021年是两个关键的转折点。2021年的变化很容易解释（平台迁移、用户体验差），但2016年的衰退原因更为复杂。作者排除了“斯科特的文章质量下降”这一假说，并提出了两个主要解释：
用户体验改变：开放讨论帖的频率 在2016年4月之后，斯科特将“开放讨论帖”（Open Threads）的频率从每两周一次改为每周两次。这大大增加了帖子的总数。
评论者投入到社区的总时间可能是固定的。当帖子数量增加时，他们只能将有限的精力分散到更多的帖子里，导致每条评论的平均质量和深度都下降了。
外部世界的冲击：特朗普的崛起 2016年是美国大选年，唐纳德·特朗普的崛起彻底改变了网络政治讨论的格局。
- 话题转移： 在此之前，社区热衷于讨论“SJW”等文化战争话题，并形成了一套成熟的讨论规范。特朗普的出现，让所有讨论都被吸入了这个新的引力中心。
- 规范失效： 社区还没来得及为讨论特朗普建立起新的、健康的规范，导致讨论质量下降。许多对原有话题感兴趣的人发现讨论空间被挤占，因而选择离开。
最有可能的解释是，开放讨论帖频率的改变与特朗普带来的外部冲击共同作用，导致了2016年的评论质量下滑。前者稀释了核心用户的参与精力，后者则破坏了社区已有的良性讨论生态。
最终结论：黄金时代已过，但复兴可期
作者综合所有指标创建了一个“评论质量”总分。
- 黄金时代： 评论质量的巅峰期确实存在，大约在 2016年至2018年，略晚于参与度的峰值。
- 当前评级： 目前的评论区质量处于略高于平均分的水平，可以评为 B+。
- 未来展望： 最重要的是，几乎所有指标都显示，自ACX成立以来，评论质量一直在稳步提升。这表明社区已经适应了新平台，并正在重新建立健康的讨论规范。我们可能正在见证一场评论区的复兴。
最后，一个感人的数据点是，当斯科特在2021年宣布博客回归时，评论中表达“喜悦”等积极情绪的频率出现了史无前例的飙升。这比任何分析都更能说明，这个社区及其所代表的独特讨论文化，对它的成员来说有多么重要。