随着 AI 智能体的普及，开发者需要像优化人类用户体验一样，为机器优化内容。通过利用标准的内容协商机制（Content Negotiation），网站可以识别 AI 访问者并提供纯 Markdown 格式的信息。这种做法不仅能显著降低 Token 消耗、提高 AI 处理的准确性，还能通过剔除无关的 UI 元素和提供直接的 API 路径，让 AI 能够更高效地完成任务。
为什么要为 AI 优化内容？
AI 智能体在访问网页时存在特定的行为模式和约束，传统的网页设计往往对它们并不友好：
- 上下文负载（Context Bloat）：HTML 源码中包含大量的导航栏、JavaScript 代码和样式定义，这些对 AI 来说是无用的噪声，且会迅速消耗其有限的上下文窗口。
- 读取限制：为了节省资源，智能体通常只阅读文件的前几千个字符。如果核心信息埋藏在大量 HTML 标签之后，AI 可能无法获取关键内容。
- 发现成本：相比于让 AI 在复杂的页面结构中“盲目探索”，直接提供结构化的链接层级或站点地图能大幅提升其工作效率。
核心实现方案：内容协商
不要迷信复杂的新标准，最简单且有效的方案是使用现有的 HTTP 协议。
当请求头中包含
Accept: text/markdown时，服务器应判定访问者为 AI 智能体，并返回优化后的文本内容。
这种方式的优势在于：
- 无感集成：不需要更改现有的 URL 结构。
- 按需定制：可以根据请求者身份（人或机器）动态决定返回 HTML 还是 Markdown。
Sentry 的实战经验
Sentry 已经在其多个产品线中应用了这一策略，效果显著：
1. 优化文档中心 (Docs)
- 提供纯 Markdown：相比 HTML，Markdown 格式极大节省了 Token，并提高了 AI 提取信息的准确度。
- 剔除浏览器专用元素：删除了所有对机器无意义的交互组件和冗余导航。
- 重塑索引页：将索引页转化为类似“站点地图”的链接层级，方便 AI 快速跳转到相关主题。
2. 引导至编程接口 (Main Site)
如果 AI 访问 Sentry 官网首页，服务器不会向其展示复杂的登录页面，而是直接告知其程序化访问路径：
- MCP 服务器：提供结构化的数据接入。
- CLI 工具：告知如何通过终端查询问题。
- API 接口：直接提供开发者文档链接。
3. 项目自描述 (Warden)
对于像 Warden 这样的开源项目，AI 可以直接获取一个包含项目概述、安装指南和核心逻辑的 Markdown 汇总，从而实现快速引导（Bootstrapping），无需在多个网页间反复跳转。
总结与建议
- 保持简洁：AI 不需要华丽的修饰，它们需要的是清晰的结构和直接的答案。
- 关注关键洞见：在 Markdown 中加粗关键点，利用引言块强调核心结论。
- 动态调整：关注 AI 智能体行为模式的变化，并据此持续优化你提供的内容。
核心逻辑很简单：让 AI 能够用最少的 Token，在最短的时间内，找到最准确的信息。