MDST 引擎利用 WASM 和 WebGPU 技术,实现了在浏览器中直接运行 GGUF 格式的大型语言模型。这意味着用户无需依赖云服务或进行复杂设置,就能在个人电脑上本地加载和使用 AI 模型,同时通过端到端加密保障了隐私安全。该项目旨在让本地 AI 推理变得更快捷、更易用,并推动相关技术研究的普及。
MDST 的核心功能
MDST 是一个集成了云端和本地推理能力的协作式开发环境,其主要特点包括:
- 一键本地运行: 无需复杂配置,任何人都可以在支持 WebGPU 的设备上,通过浏览器轻松下载并运行大语言模型。
- 实时同步: 项目可以与 GitHub 或本地文件系统实时同步,确保工作内容不会丢失。
- 隐私与安全: 默认提供端到端加密,像 Signal 一样保护文件和对话的私密性。
- 摆脱云端依赖: 用户不再受制于单一云服务商的 API 变动或服务质量下降。
- 公开基准测试: 通过用户的本地运行数据,建立一个公开的 WebGPU 排行榜,用于评估和比较不同模型的性能。
浏览器中的本地推理只会变得越来越快、越来越普及。
GGUF 与 WebGPU 的结合
选择 GGUF 格式是因为它是目前最流行的大语言模型格式之一。它将模型打包在单个文件中,非常适合在消费级设备上下载、缓存和调整。结合 WebGPU 技术,使得在 Chrome、Safari 或 Edge 等主流浏览器中实现高性能的本地计算成为可能。
使用门槛与硬件要求
要运行 MDST 引擎,您只需要:
- 一个支持 WebGPU 的浏览器(目前支持 Chrome、Safari、Edge,即将支持 Firefox)。
- 一台近五年内生产的笔记本电脑(例如,M1 MacBook Air 可以很好地运行小型模型)。
- 一个 GGUF 格式的模型文件。
支持的模型类型
MDST 同时支持主流的云端模型和不断增加的本地 GGUF 模型。
云端模型:
- Claude 系列 (Sonnet 4.5, Opus 4.6)
- OpenAI 系列 (GPT-5.2, 5.1 Mini)
- Gemini 3 Pro Preview
- Kimi K2
- DeepSeek V3.2
本地 GGUF 模型:
- Qwen3 Thinking
- Ministral3 Instruct
- LFM2.5
- Gemma3 IT