Synth Daily

MDST Engine:用 WebGPU/WASM 在浏览器中跑 GGUF 模型

MDST 引擎利用 WASMWebGPU 技术,实现了在浏览器中直接运行 GGUF 格式的大型语言模型。这意味着用户无需依赖云服务或进行复杂设置,就能在个人电脑上本地加载和使用 AI 模型,同时通过端到端加密保障了隐私安全。该项目旨在让本地 AI 推理变得更快捷、更易用,并推动相关技术研究的普及。

MDST 的核心功能

MDST 是一个集成了云端和本地推理能力的协作式开发环境,其主要特点包括:

  • 一键本地运行: 无需复杂配置,任何人都可以在支持 WebGPU 的设备上,通过浏览器轻松下载并运行大语言模型。
  • 实时同步: 项目可以与 GitHub 或本地文件系统实时同步,确保工作内容不会丢失。
  • 隐私与安全: 默认提供端到端加密,像 Signal 一样保护文件和对话的私密性。
  • 摆脱云端依赖: 用户不再受制于单一云服务商的 API 变动或服务质量下降。
  • 公开基准测试: 通过用户的本地运行数据,建立一个公开的 WebGPU 排行榜,用于评估和比较不同模型的性能。

浏览器中的本地推理只会变得越来越快、越来越普及。

GGUF 与 WebGPU 的结合

选择 GGUF 格式是因为它是目前最流行的大语言模型格式之一。它将模型打包在单个文件中,非常适合在消费级设备上下载、缓存和调整。结合 WebGPU 技术,使得在 Chrome、Safari 或 Edge 等主流浏览器中实现高性能的本地计算成为可能。

使用门槛与硬件要求

要运行 MDST 引擎,您只需要:

  • 一个支持 WebGPU 的浏览器(目前支持 Chrome、Safari、Edge,即将支持 Firefox)。
  • 一台近五年内生产的笔记本电脑(例如,M1 MacBook Air 可以很好地运行小型模型)。
  • 一个 GGUF 格式的模型文件。

支持的模型类型

MDST 同时支持主流的云端模型和不断增加的本地 GGUF 模型。

  • 云端模型:

    • Claude 系列 (Sonnet 4.5, Opus 4.6)
    • OpenAI 系列 (GPT-5.2, 5.1 Mini)
    • Gemini 3 Pro Preview
    • Kimi K2
    • DeepSeek V3.2
  • 本地 GGUF 模型:

    • Qwen3 Thinking
    • Ministral3 Instruct
    • LFM2.5
    • Gemma3 IT