Synth Daily

科技爱好者周刊(第 408 期):你需要知道的 AI 缓存知识

本文探讨了大型 AI 模型中的 缓存机制,解释了为什么缓存命中的输入价格远低于未命中。核心观点是,AI 模型对用户输入的提示词进行处理会消耗大量算力,因此需要收费。通过缓存已处理过的内容(如多轮对话的前文),模型可以避免重复计算,从而大幅降低成本并加快响应速度。不同服务商的缓存有效期从 5 分钟到 1 小时不等,AI 应用可以通过定时发送激活请求来维持缓存有效,以实现持续的成本节约。

你需要知道的 AI 缓存知识

使用大模型时,费用通常分为 Token 的输入和输出价格。但还有一个关键项是 “输入 Token 的缓存命中价格”,其价格可能只有普通输入价格的五十分之一。了解并利用缓存,可以显著降低使用成本。

  • 模型为何对输入收费? 大模型需要将用户的提示词分解为 Token,再转换为向量,并计算它们之间的注意力关系。这个过程 非常消耗算力,因此模型公司会对输入 Token 收费,提示词越长,费用越高。

  • 输入缓存有什么用? 在多轮对话或长程任务中,每一轮都需要重复提交之前的对话历史。这些不变的“前缀”内容其实不必每次都重新计算。模型可以将它们的计算结果缓存起来,下次直接调用。这大大节省了算力,加快了处理速度。因此,命中缓存的价格本质上是存储费用,而非算力费用,所以才如此便宜。

  • 缓存能保留多久? 缓存有时间期限,过期后会被服务器删除。不同公司的策略不同:

    • Anthropic: 5分钟
    • DeepSeek: 10分钟
    • OpenAI: 10分钟~30分钟逐步失效
    • Google: 1小时内逐步失效
  • 如何保持缓存有效? 由于命中与未命中之间存在巨大的价差,AI 应用会设法延长缓存的有效期。当用户长时间不操作时,应用会自动向服务器发送请求以“激活”缓存。考虑到目前最短的缓存期也有 5 分钟,建议的激活频率是每 4 分钟一次,以在成本和效果之间取得平衡。

科技动态

  • 带蓝牙识别的交通摄像头 美国一家公司推出新型摄像头,它不仅能识别车牌,还能捕捉蓝牙信号,从而将车辆与设备(如手机)的 MAC 地址绑定,帮助推断车内人员身份。

  • 声波灭火 物理学证明,强烈的低频声波(30Hz~60Hz)可以阻碍氧气流入,从而达到灭火效果。已有创业公司制造出原型设备,并成功演示扑灭厨房灶头的火焰。但其缺点是体积大、作用距离近,目前仅适用于小范围火情。

  • 没有舷窗的飞机 一款新型私人飞机取消了舷窗,代之以环绕机舱的液晶显示屏,实时播放外部摄像头拍摄的高清景象。这种设计可以 减轻机身重量、减少空气阻力,同时为乘客提供更广阔的驾驶员般视野。

  • 地球上最长的视线 科学家计算出,地球上最长的可视距离是从吉尔吉斯斯坦的皮克丹科瓦峰(海拔约6000米)向南眺望中国昆仑山脉,距离长达 530 公里。这得益于两地极高的海拔和中间低洼的沙漠地带。

文章

  • 常见的任务执行工具 除了自己写 Bash 脚本,还可以使用 makejustmise 等工具来执行命令行任务。

  • 如何用脚本将文件上传到 GitHub 一篇技术教程,介绍如何在脚本中利用 GitHub 的功能,将文件上传到 issue 或 pull request。

  • Canvas 而不是 HTML 探讨了为何许多复杂网页放弃 HTML,转而使用 Canvas 渲染页面(用户看到的其实是图片),并分析了这种方法的优缺点。

  • 我的服务器是一部手机 作者介绍了如何将一部闲置的安卓手机改造为 Linux 服务器。

    (我的安卓手机有)八个 ARM 核心、8GB 内存、128GB 闪存、WiFi 6、5G 调制解调器,以及内置电池……我已经付过钱了。掸去灰尘,把玩了一会儿之后,我决定把这台手机改造成服务器。

  • 电梯的算法 一篇科普文章,通过动画简单解释了电梯调度算法的复杂性,核心目标是如何设计算法以缩短乘客的等待时间。

工具

  • Docker 沙箱 Docker 官方推出的沙箱工具,将容器作为隔离环境,供 AI Agent 安全运行。

  • CertMate 一个可自建的 SSL 证书管理系统,能自动申请和管理证书。

  • crontab guru Dashboard 一个图形化界面工具,用于管理服务器上的 Cron 定时任务。

  • trash-cli 一个为 Linux 命令行提供回收站功能的程序,删除的文件可被恢复。

  • LeePanel 安装在本地电脑上的远程服务器管理面板,通过 SSH 操作,无需在服务器上安装任何代理。

  • MarkCard Studio 可将 Markdown 文本转换为设计精美的分享卡片图片或 PDF。

  • 日全食 3D 模拟器 在地图上模拟 2026 年 8 月 12 日的日全食,可查看任意地点的日食进程。

  • DBX 一款轻量级、跨平台的数据库管理工具,支持超过 79 种数据库。

AI 相关

  • Cloudflare OS Cloudflare 开源的内部 AI 门户工具,旨在为企业员工提供统一的 AI 服务入口。

  • 乡音阁 一个在线文字转方言语音的工具,支持 16 种方言。

  • chat.md 一个 VS Code 插件,它将 AI 对话过程直接记录在一个 Markdown 文件中。

  • Parse 一个能用自然语言抓取网站数据的服务,可将抓取结果转换为 API。

资源

  • 昆虫世界 一个包含 60 种昆虫的 3D 图鉴,可以旋转缩放,了解昆虫的身体构造和生态。

  • 图解分布式系统原理 一个用图示和直观解释来讲解分布式系统核心思想的中文系列文章。

  • 吹口哨练习器 一个在线工具,可实时检测你吹口哨的音高,帮助你进行练习。

荷兰和中国

一位在中国生活八年后返回荷兰的荷兰人,对比了两国的生活方式。这两种生活很难说哪个更好,因为它们截然不同。

  • 技术与便利性: 在上海时,他曾瞧不起荷兰老旧的科技。回到荷兰后,他确实怀念中国的电动汽车和便捷的手机银行。荷兰的公共交通、商店营业时间和支付方式都显得相对落后。
  • 生活成本与节奏: 荷兰人虽更富裕,但生活节俭。由于商品和劳动力昂贵,二手市场发达,物品倾向于维修和长期使用。相反,中国的生活节奏快,人们急于抓住机会。
  • 个人空间与时间: 荷兰人拥有更多的空闲时间,住房通常更大,并带有院子。而在上海,生活空间更小,节奏更快。

在我看来,荷兰是一个拥有充裕时间的国度,人民过着节俭的生活,而中国是一个急切变革的国度,迅捷而急躁,人们争先恐后争取自己的机会。

言论

AI 省下的时间,不是用来休假的,而是应该用来开发更多产品。你们正在做这个星球上最令人兴奋的事情。 -- Andrew Bosworth, Meta 公司 CTO

一些人试图将蒸馏描述为有害行为,但我认为,应当保护“可以从任何能够观察到的事物中学习”这一原则。 -- 扎克伯格, Meta 公司创始人

有很多理由在本地运行大模型,但省钱不在其中。 -- Dax Raad, OpenCode 创始人

你不接受某种想法,但仍然愿意对其进行思考,这是受过良好教育的标志。 -- 亚里士多德