Synth Daily

Sarvam 105B:印度首个具备竞争力的开源 LLM

Sarvam 团队正式发布了印度首批具备全球竞争力的开源大模型系列:Sarvam 30B 和 Sarvam 105B。这两款模型采用高效的混合专家(MoE)架构,从数据清洗、预训练到强化学习(RL)全流程均在印度本土完成。它们在数学、编程、逻辑推理以及智能代理任务上表现出色,尤其在支持 22 种印度官方语言方面达到了行业领先水平,为印度构建自主可控、高性能且易于部署的 AI 基础设施奠定了基石。

模型定位与核心差异

这两款模型针对不同的应用场景进行了差异化设计,旨在平衡性能与部署成本:

  • Sarvam 30B: 专为实时对话优化,注重低延迟和高效率。它拥有 24 亿激活参数,在保持强大性能的同时,能以极低的计算成本运行,目前已应用于对话平台 Samvaad。
  • Sarvam 105B: 侧重于复杂推理和智能代理(Agent)工作流。它在处理长文本、多步决策和工具调用方面具有显著优势,是智能助手 Indus 的核心引擎。

领先的技术架构

模型采用了混合专家(MoE)结构,这使得系统能够在不显著增加计算负担的情况下,通过扩大参数总量来提升处理复杂问题的能力。

  • 高效推理: 使用了 MLA(多头潜在注意力)和 GQA(分组查询注意力)技术,大幅降低了推理时的显存占用,提高了处理长文本的效率。
  • 印度语分词器: 专门针对 22 种印度语言和 12 种脚本进行了优化。与通用分词器相比,它在处理印度本土语料时更加节省 Token,直接降低了使用成本。
  • 硬件适配性: 团队对底层算子进行了重写和优化,使模型不仅能在 H100 等高端显卡上高速运行,在 MacBook 或中端显卡(如 L40S)上也能保持出色的吞吐量。

关键能力与测试表现

Sarvam 系列模型在多项基准测试中展现了超越其规模的实力,甚至在部分指标上与规模大得多的封闭源代码模型持平:

  • 数学与编程: Sarvam 105B 在 Math500 测试中获得 98.6 分,在 AIME 25 竞赛题目中配合工具可达到 96.7% 的准确率
  • 印度语水平: 在涵盖多种领域(STEM、数学、编程)的印度语评估中,该系列模型在流畅度、准确性和实用性上的胜率接近 90%
  • 智能代理任务: 在需要网页搜索、信息提取和长程规划的测试中(如 Tau2Bench),Sarvam 105B 的表现位居前列。

现实应用场景

为了展示模型的实际落地能力,团队展示了多个应用案例:

  • 自动化网页构建: 只需简单提示词,模型即可生成包含完整 HTML/CSS/JS 代码的交互式网页(如 Pokédex 演示)。
  • 教育辅导: 针对印度高考(JEE Mains)的真题测试显示,模型不仅能正确解题,还能通过“导师模式”引导学生逐步思考。
  • 跨语言助手: 模型能理解泰卢固语等本土语言的需求,通过英语网页搜索最新信息后,再以准确的本土语言反馈给用户。

总结与意义

Sarvam 30B 和 105B 的发布标志着印度在主权 AI 建设上迈出了重要一步。通过全栈优化、本土化定制以及 Apache 2.0 协议的开源开放,这些模型不仅为开发者提供了实用的工具,也证明了通过精细化的数据工程和架构设计,可以在合理的算力预算内打造出世界级的 AI 模型。团队未来计划进一步扩大模型规模,并开发针对编程和多模态任务的专用版本。