本文探讨了大型 AI 模型中的 缓存机制,解释了为什么缓存命中的输入价格远低于未命中。核心观点是,AI 模型对用户输入的提示词进行处理会消耗大量算力,因此需要收费。通过缓存已处理过的内容(如多轮对话的前文),模型可以避免重复计算,从而大幅降低成本并加快响应速度。不同服务商的缓存有效期从 5 分钟到 1 小时不等,AI 应用可以通过定时发送激活请求来维持缓存有效,以实现持续的成本节约。
你需要知道的 AI 缓存知识
使用大模型时,费用通常分为 Token 的输入和输出价格。但还有一个关键项是 “输入 Token 的缓存命中价格”,其价格可能只有普通输入价格的五十分之一。了解并利用缓存,可以显著降低使用成本。
模型为何对输入收费? 大模型需要将用户的提示词分解为 Token,再转换为向量,并计算它们之间的注意力关系。这个过程 非常消耗算力,因此模型公司会对输入 Token 收费,提示词越长,费用越高。
输入缓存有什么用? 在多轮对话或长程任务中,每一轮都需要重复提交之前的对话历史。这些不变的“前缀”内容其实不必每次都重新计算。模型可以将它们的计算结果缓存起来,下次直接调用。这大大节省了算力,加快了处理速度。因此,命中缓存的价格本质上是存储费用,而非算力费用,所以才如此便宜。
缓存能保留多久? 缓存有时间期限,过期后会被服务器删除。不同公司的策略不同:
- Anthropic: 5分钟
- DeepSeek: 10分钟
- OpenAI: 10分钟~30分钟逐步失效
- Google: 1小时内逐步失效
如何保持缓存有效? 由于命中与未命中之间存在巨大的价差,AI 应用会设法延长缓存的有效期。当用户长时间不操作时,应用会自动向服务器发送请求以“激活”缓存。考虑到目前最短的缓存期也有 5 分钟,建议的激活频率是每 4 分钟一次,以在成本和效果之间取得平衡。
科技动态
带蓝牙识别的交通摄像头 美国一家公司推出新型摄像头,它不仅能识别车牌,还能捕捉蓝牙信号,从而将车辆与设备(如手机)的 MAC 地址绑定,帮助推断车内人员身份。
声波灭火 物理学证明,强烈的低频声波(30Hz~60Hz)可以阻碍氧气流入,从而达到灭火效果。已有创业公司制造出原型设备,并成功演示扑灭厨房灶头的火焰。但其缺点是体积大、作用距离近,目前仅适用于小范围火情。
没有舷窗的飞机 一款新型私人飞机取消了舷窗,代之以环绕机舱的液晶显示屏,实时播放外部摄像头拍摄的高清景象。这种设计可以 减轻机身重量、减少空气阻力,同时为乘客提供更广阔的驾驶员般视野。
地球上最长的视线 科学家计算出,地球上最长的可视距离是从吉尔吉斯斯坦的皮克丹科瓦峰(海拔约6000米)向南眺望中国昆仑山脉,距离长达 530 公里。这得益于两地极高的海拔和中间低洼的沙漠地带。
文章
常见的任务执行工具 除了自己写 Bash 脚本,还可以使用
make、just、mise等工具来执行命令行任务。如何用脚本将文件上传到 GitHub 一篇技术教程,介绍如何在脚本中利用 GitHub 的功能,将文件上传到 issue 或 pull request。
Canvas 而不是 HTML 探讨了为何许多复杂网页放弃 HTML,转而使用 Canvas 渲染页面(用户看到的其实是图片),并分析了这种方法的优缺点。
我的服务器是一部手机 作者介绍了如何将一部闲置的安卓手机改造为 Linux 服务器。
(我的安卓手机有)八个 ARM 核心、8GB 内存、128GB 闪存、WiFi 6、5G 调制解调器,以及内置电池……我已经付过钱了。掸去灰尘,把玩了一会儿之后,我决定把这台手机改造成服务器。
电梯的算法 一篇科普文章,通过动画简单解释了电梯调度算法的复杂性,核心目标是如何设计算法以缩短乘客的等待时间。
工具
Docker 沙箱 Docker 官方推出的沙箱工具,将容器作为隔离环境,供 AI Agent 安全运行。
CertMate 一个可自建的 SSL 证书管理系统,能自动申请和管理证书。
crontab guru Dashboard 一个图形化界面工具,用于管理服务器上的 Cron 定时任务。
trash-cli 一个为 Linux 命令行提供回收站功能的程序,删除的文件可被恢复。
LeePanel 安装在本地电脑上的远程服务器管理面板,通过 SSH 操作,无需在服务器上安装任何代理。
MarkCard Studio 可将 Markdown 文本转换为设计精美的分享卡片图片或 PDF。
日全食 3D 模拟器 在地图上模拟 2026 年 8 月 12 日的日全食,可查看任意地点的日食进程。
DBX 一款轻量级、跨平台的数据库管理工具,支持超过 79 种数据库。
AI 相关
Cloudflare OS Cloudflare 开源的内部 AI 门户工具,旨在为企业员工提供统一的 AI 服务入口。
乡音阁 一个在线文字转方言语音的工具,支持 16 种方言。
chat.md 一个 VS Code 插件,它将 AI 对话过程直接记录在一个 Markdown 文件中。
Parse 一个能用自然语言抓取网站数据的服务,可将抓取结果转换为 API。
资源
昆虫世界 一个包含 60 种昆虫的 3D 图鉴,可以旋转缩放,了解昆虫的身体构造和生态。
图解分布式系统原理 一个用图示和直观解释来讲解分布式系统核心思想的中文系列文章。
吹口哨练习器 一个在线工具,可实时检测你吹口哨的音高,帮助你进行练习。
荷兰和中国
一位在中国生活八年后返回荷兰的荷兰人,对比了两国的生活方式。这两种生活很难说哪个更好,因为它们截然不同。
- 技术与便利性: 在上海时,他曾瞧不起荷兰老旧的科技。回到荷兰后,他确实怀念中国的电动汽车和便捷的手机银行。荷兰的公共交通、商店营业时间和支付方式都显得相对落后。
- 生活成本与节奏: 荷兰人虽更富裕,但生活节俭。由于商品和劳动力昂贵,二手市场发达,物品倾向于维修和长期使用。相反,中国的生活节奏快,人们急于抓住机会。
- 个人空间与时间: 荷兰人拥有更多的空闲时间,住房通常更大,并带有院子。而在上海,生活空间更小,节奏更快。
在我看来,荷兰是一个拥有充裕时间的国度,人民过着节俭的生活,而中国是一个急切变革的国度,迅捷而急躁,人们争先恐后争取自己的机会。
言论
AI 省下的时间,不是用来休假的,而是应该用来开发更多产品。你们正在做这个星球上最令人兴奋的事情。 -- Andrew Bosworth, Meta 公司 CTO
一些人试图将蒸馏描述为有害行为,但我认为,应当保护“可以从任何能够观察到的事物中学习”这一原则。 -- 扎克伯格, Meta 公司创始人
有很多理由在本地运行大模型,但省钱不在其中。 -- Dax Raad, OpenCode 创始人
你不接受某种想法,但仍然愿意对其进行思考,这是受过良好教育的标志。 -- 亚里士多德