在本地运行 AI 模型时，面临着独立显卡与板载芯片组（统一内存）的选择。独立显卡虽然算力强大，但显存容量有限，难以运行大型模型。而统一内存方案虽然内存容量大，但内存带宽较低，导致生成速度缓慢。这种硬件上的两难困境是当前本地 AI 应用的瓶颈，而“混合专家模型”（MoE）因其计算时仅需激活部分参数的特性，可能为低带宽的统一内存方案提供一条出路。此外，还探讨了 AI 如何意外地增加工作量和职业倦怠，以及为布尔变量清晰命名的实用技巧。
你需要知道的 AI 内存知识
自己在家运行 AI 模型，通常有两种硬件选择：独立显卡和板载芯片组（统一内存电脑）。
多数人会首选独立显卡，因为其算力远超板载芯片组。例如：
- 独立显卡 (RTX 5090): 算力约 104.8 TFLOPS，显存 32GB。
- 板载芯片组 (AMD Ryzen AI Max+ 395): 算力约 14.8 TFLOPS，内存 128GB。
尽管算力相差 7 倍之多，但板载芯片组的迷你 PC 在很多时候却是更优选。原因在于，许多大型 AI 模型对内存的需求超过了顶级显卡的容量。
一个 70B 参数的模型，其权重数据就可能需要约 32.6GB 内存，这超出了 RTX 5090 的 32GB 显存，导致模型根本无法运行。
相比之下，拥有 128GB 统一内存的 AMD 迷你电脑则可以轻松载入模型。这种架构下，CPU 和 GPU 共享内存，不仅容量大，价格也更低。苹果的 M 系列芯片、AMD Strix Halo 和高通 Snapdragon X 等都采用了这种设计。
内存大小与内存带宽的权衡
既然统一内存有此优势，为什么还需要独立显卡？答案在于内存带宽——内存向处理器传输数据的速度。
- RTX 5090 内存带宽: 高达 1792GB/s。
- AMD 迷你电脑内存带宽: 仅为 256GB/s。
AI 模型每生成一个 Token，都需要从内存中读取整个模型。低带宽意味着极慢的生成速度。以一个 40GB 的模型为例，256GB/s 的带宽理论上每秒只能生成约 6 个 Token，速度难以忍受。
混合专家模型 (MoE) 带来的希望
为了解决这个问题，出现了“混合专家模型”（MoE）。这种架构在计算时不需要读取全部参数，只需激活一小部分。
例如，一个 30B 参数的 MoE 模型可能每次只激活 3B 参数。这意味着在 AMD 迷你电脑上，理论生成速度可以达到每秒 100 多个 Token，这已经相当实用。
最后的瓶颈：提示词处理
即便生成速度问题得到缓解，算力较低的迷你电脑在处理用户输入的提示词时依然很慢。根据实测，使用 70B 模型处理 4000 个 Token 的文档，可能需要 40 秒才能输出第一个结果。如果上下文内容更多，等待时间会更长。
结论： 现阶段，在本地电脑上运行大模型，无论是独立显卡还是板载芯片组都有明显缺陷。你最多只能运行一些中等规模的 MoE 模型，且提示词不能太长。
布尔变量如何起名
为布尔变量（表示“真”或“假”）起一个贴切的名字是编程中的一个难题。使用以下四个前缀可以大大简化这个问题：
is-：描述事物的状态，后跟形容词。例如isActive、isEmpty。has-：描述事物的所有权或包含关系，后跟名词。例如hasAccess、hasChildren。can-：描述事物的能力或权限。例如canEdit、canDelete。should-：描述事物的意图或逻辑。例如shouldRetry、shouldCacheResponse。
此外，还有一条重要规则：永远不要在布尔变量名中使用否定词。例如，不应使用 isDisabled，而应使用 isEnabled = false。
科技动态
OpenAI 键盘 OpenAI 推出了一款售价 230 美元的键盘，带有一排用于批准、否决等 AI 操作的快捷键，以及显示 AI 状态的指示灯。这款由前苹果设计师 Jony Ive 负责的产品，被认为缺乏新意，令人失望。
小行星 2016HO3 天问二号探测器预计在 2025 年抵达目标小行星 2016HO3。这个长度仅约 20 米的小行星，外形不规则，可能是碰撞碎片。探测器将在距离 20 公里处拍摄照片，并尝试采集岩石样本送回地球。
风力编织机 一位荷兰设计师发明了家用的风力编织机，可安装在阳台。它利用风力驱动一个纯机械装置，将毛线编织成围巾，旨在展示城市中对风能的利用。
AI 本应节省时间，减少工作量
人们普遍认为 AI 能节省时间、减轻工作负担，但加州大学的一项调查发现，事实恰恰相反：AI 增加了工作量，加大了工作强度，并导致职业倦怠。
“一些参与者表示，虽然他们感觉工作效率更高了，但并没有感觉轻松，反而感觉比以前更忙了。”
导致这种情况的原因有几点：
- 工作职责范围扩大： AI 使得非专业人士可以处理其职责范围外的工作（如产品经理写代码），这反过来给专业人士（如工程师）带来了审查和指导的额外负担。
- 工作与生活界限模糊： AI 的便捷性让员工在休息时间也能轻松处理工作，导致实际工作时长增加。
- 多任务处理激增： AI 造成了任务可以在后台处理的错觉，导致员工被要求同时管理多个工作流程，增加了认知负荷。
- 自我强化循环： 员工使用 AI 来应对因 AI 而增加的额外工作，形成恶性循环，最终导致倦怠。
研究人员建议，公司应制定明确的规范，引导员工合理使用 AI，例如安排工作顺序以减少任务切换，并确保真正的人际交往时间。
文章
- 机器学习博士求职指南： 一位已入职 DeepMind 的博士分享其求职过程和经验总结。
- 使用 DNS 通过 ACME 认证： 解释免费 HTTPS 证书如何通过 DNS 认证域名所有权。
- Go 语言的困境： 分析认为，随着其他语言的进步，Go 语言所占据的中间地带正在消失，前景堪忧。
- JavaScript 哈希算法速度比较： 探讨在 JavaScript 中，MD5 和 SHA256 两种哈希算法的生成速度对比。
- 终端控制字符一览表： 一张图总结了命令行中 33 个常用的控制符快捷键。
- 理查德·费曼加入我的创业公司： 回忆著名物理学家费曼参与创业公司开发超级计算机的趣事。
工具
- WhatCable: macOS 菜单栏应用，显示当前插入的 USB-C 电缆特征。
- amber: 一种简化 Bash 语法的新语言，其脚本可编译成 Bash。
- Ant: 一个轻量级的 JS/TS 语言运行时，二进制文件仅 8MB。
- 屏译 (Screen Translator): 开源的安卓实时屏幕翻译工具。
- TurboOCR: 使用 GPU 进行高速文字识别（OCR）的工具。
- Visprex: 一个可以上传 CSV 数据文件并自动生成可视化图形的网站。
- Loro: 用于多人实时状态同步的开源 CRDT 算法库。
- File Wizard: 一个自托管的文件格式转换服务，支持 OCR 和音频转文字。
AI 相关
- Oh My HuggingFace: 用于浏览和下载 Hugging Face 模型、数据集的非官方跨平台客户端。
- pi-auto-approval: 编程代理 Pi agent 的插件，能自动批准低风险的权限确认。
- GPT Crawler: 将指定网站内容抓取为 JSON 文件，用于生成该网站的专属聊天机器人。
- Tokenwiz: 一个模仿 OpenAI 文本分词（tokenization）的开源实现。
资源
- Goto Onion: 暗网 Tor 网站的网关，允许普通浏览器访问 Onion 网址。
- Fading Maize: 一个有趣的网站，让 AI 将一支乐队在 2001 年录制的专辑改编成 2026 年的风格，供用户对比。
- 迷宫算法 (Maze Algorithms): 收集各种迷宫生成算法的网站。
言论
如果你是太阳，我就是黑洞。
-- 史蒂芬·霍金
AI 模型的世界就像一个城市，里面有五个企业总部区域，以及一个中国城。
-- 《奇点越来越近了》
AI 是一个完全的黑箱，这意味着所谓的"AI 工程"或"提示工程"完全是骗局…你无法探究 AI 的运行逻辑，它只是一种机器实现的"相信我，兄弟"。
-- 《AI 是一个糟糕的工具》
我有一台面包机，它几乎包办一切…三年里我大概只用过这台机器两次。相反，我每周都会去超市买一条包装好的预切片面包。这解释了为什么即使 AI 可以轻松生成代码，SaaS 公司仍远未走向衰落。
-- 《为什么便利总是胜出，以及为什么 SaaS 不会消亡》