Synth Daily

Amazon S3 Vectors会让向量数据库凉凉，还是成为它们的救星？

Favicon   ·  

AWS 推出的 S3 Vectors 是一种在 S3 内部存储和查询向量的解决方案，旨在降低语义搜索的成本。然而，它并非专业向量数据库（如 Milvus）的替代品，而是一个互补工具。S3 Vectors 最适合冷数据归档、低查询频率的 RAG 应用和低成本原型开发，但在性能、功能和查询精度上存在明显妥协。它的出现标志着向量存储正朝着分层存储（热、温、冷）的模式发展，以平衡成本与性能，而专业数据库将在高性能、实时应用中继续扮演核心角色。

向量搜索的昂贵现实

向量搜索功能强大，但其计算成本极高，通常比传统 NoSQL 数据库高出一到两个数量级。这并非理论上的差距，而是实实在在的账单。

一位 AI 笔记应用的 CTO 透露，他们在向量搜索上的花费是 OpenAI API 调用的两倍。这意味着检索层的成本甚至超过了大型语言模型本身。

随着 RAG（检索增强生成）应用的爆发，向量数据库面临三大挑战，迫使其快速进化：

  • 数据量激增： 工作负载从千万级跃升至百亿级向量，对系统扩展性提出严峻考验。
  • 延迟容忍度变化： 由于大模型生成本身需要时间，用户对检索的毫秒级延迟不再那么苛刻。
  • 成本敏感度飙升： 数据量翻倍意味着计算成本急剧上升，传统的重计算设计难以为继。

核心问题在于，向量检索的经济性已成为中心议题。

存储的演进：从内存到对象存储

为了应对成本和规模的压力，向量数据库的存储介质经历了三个发展阶段，这是一个行业必然的趋势。

  • 第一阶段 (2018–2022): 纯内存时代 性能和召回率极佳，但内存成本高昂，难以大规模扩展。

  • 第二阶段 (2022–2024): 磁盘索引革命 通过使用 DiskANN 等基于磁盘的索引技术，将成本降低了 3-5 倍，打破了内存瓶颈。

  • 第三阶段 (2024– ): 分层存储时代 将向量索引进一步下沉到廉价的对象存储（如 S3）上，存储成本可降低 10 倍，但代价是查询延迟增加（通常在 500ms-1s 范围）且精度下降。

S3 Vectors 正是这一趋势下的产物，它将 S3 从单纯的对象存储转变为一个支持多种数据模式的低成本冷存储骨干。

S3 Vectors 的优势与局限

经过全面测试，S3 Vectors 的特点非常鲜明：它极致便宜，但也伴随着显著的性能和功能妥协。

成本优势

S3 Vectors 的成本效益极高。对于一个包含 4 亿向量且每月有 1000 万次查询的典型工作负载，其月度费用约为 1,217 美元，比传统向量数据库便宜 10 倍以上。对于低查询量、对延迟不敏感的场景，它的价格几乎无可匹敌。

性能与功能上的妥协

便宜的背后是清晰的取舍。

  • 规模限制： 单个 S3 表最多支持 5000 万个向量，最多可创建 10,000 个表，不适合大规模多租户应用。
  • 查询延迟： 冷查询延迟在 500ms 到 700ms 之间。热查询虽然能保持在 200ms 以内，但难以突破 200 QPS（每秒查询率）的上限。
  • 写入性能： 写入速度上限低于 2MB/s，比 Milvus（可达 GB/s）低了几个数量级，不适用于数据频繁变化的场景。
  • 精度与功能：
    • 召回率徘徊在 85-90% 之间，且无法调整。增加过滤器后，召回率可能降至 50% 以下。
    • TopK 查询最多返回 30 个结果。
    • 不支持混合搜索、多租户、高级过滤等生产级应用必需的功能。

S3 Vectors 的适用场景

S3 Vectors 并非万能工具，它在特定场景下表现出色，但在其他场景则力不从心。

适合的场景：

  • 冷数据归档： 存储不常访问的历史数据集，成本极低。
  • 低 QPS 的 RAG 查询： 适用于每天只有几十次查询的内部工具或聊天机器人。
  • 低成本原型开发： 在不投入大量基础设施成本的情况下验证想法。

不适合的场景：

  • 高性能搜索与推荐： 需要低于 50ms 延迟的应用。
  • 高频写入或更新： 数据频繁变动会导致性能和精度下降。
  • 复杂查询负载： 需要混合搜索或高级聚合功能。
  • 多租户生产应用： 存在硬性的扩展限制。

未来是分层存储

S3 Vectors 的出现并未终结向量数据库，而是证实了未来属于分层存储。数据将根据访问频率和延迟要求，分布在不同的存储层级。

这种热、温、冷的数据分层模式能够有效平衡延迟、成本和规模，是任何单一存储层都无法独立实现的。

  • 热数据层 (<50ms): 用于实时搜索、推荐等场景，需要像 Milvus 这样的高性能专业数据库。
  • 温数据层 (50–500ms): 适用于大多数 RAG 应用和共享服务，S3 Vectors 和 Milvus 的分层存储实例均可胜任。
  • 冷数据层 (>500ms): 用于历史归档和离线分析，成本是首要考量，S3 Vectors 在此表现出色。

结论：一个正在走向成熟的市场

S3 Vectors 的发布对整个行业是利好消息，它并非颠覆者，而是市场成熟的标志。

  • 验证了需求： 亚马逊的入局证明向量存储是真实且必要的基础设施。
  • 教育了市场： 借助 AWS 的影响力，更多企业开始了解并尝试向量技术。
  • 推动了创新： 竞争促使包括 Milvus 在内的所有厂商进一步优化性能、降低成本并寻找差异化优势。

S3 Vectors 更像是向量存储的冷数据层，而不是一个完整的向量数据库。它为小型团队、个人开发者和有基本检索需求的大规模数据索引场景打开了大门。向量数据库的黄金时代并未结束，它只是刚刚开始。