Windows ML 正式上线

Windows ML 现已正式发布，它是一个内置于 Windows 的 AI 推理运行时，旨在让 AI 模型能够直接在用户的设备上高效运行。通过统一管理来自 AMD、英特尔、英伟达和高通等不同厂商的 CPU、GPU 和 NPU 硬件，它极大地简化了开发者的工作。最终，这使得 AI 应用的响应速度更快、隐私保护更好，并且成本更低，因为它减少了对云服务器的依赖。

什么是 Windows ML 及其核心优势

Windows ML 是一个为设备端 AI 计算而优化的基础平台。它充当硬件和软件之间的桥梁，让开发者可以专注于创造 AI 功能，而无需为适配不同的芯片而烦恼。在设备本地运行模型可以带来更具响应性、更保护隐私且更具成本效益的 AI 体验。

它的主要优势包括：

    • 简化部署： 开发者无需为不同的硬件制作多个应用版本。Windows ML 会自动检测设备并下载最合适的驱动程序。
    • 减小应用体积： 由于运行时和驱动程序由 Windows 管理，开发者不必将它们打包到自己的应用中，这可以为应用节省数十到数百兆的空间。
    • 保证兼容性： 通过与芯片伙伴的合作和认证流程，Windows ML 确保模型在不同硬件和系统更新中都能准确、稳定地运行。
    • 高级硬件定向： 开发者可以指定 AI 任务优先使用哪种硬件，例如为低功耗任务选择 NPU，或为高性能任务选择 GPU。

统一不同硬件的硬件抽象层

Windows ML 的工作方式类似于一个硬件抽象层。它与开放的 ONNX Runtime (ORT) 兼容，开发者可以使用熟悉的 API 进行开发。Windows 会负责分发和维护 ORT 及其执行提供程序（Execution Providers），这些程序是连接软件与具体芯片的纽带。

开发者只需携带自己的模型，就可以在 Windows 上安全、本地地高效部署。

这意味着开发者可以轻松使用现有的 ONNX 模型，或通过 AI Toolkit for VS Code 等工具将 PyTorch 模型转换过来，然后部署到各类 Windows 11 电脑上。

与芯片合作伙伴的深度协作

Windows ML 的成功离不开与主要芯片制造商的紧密合作。每个合作伙伴都提供了专门的执行提供程序，以确保 AI 工作负载能在其硬件上发挥最佳性能。

  • AMD: 通过其 Vitis AI 执行提供程序，在 Ryzen AI 平台上全面支持 Windows ML，充分利用 AMD 的 CPU、GPU 和 NPU。

    “通过在我们的 Ryzen AI 平台集成 Windows ML 支持，AMD 让开发者更容易利用我们 CPU、GPU 和 NPU 的综合力量。” —— John Rayfield, AMD 公司副总裁

  • 英特尔: 其 OpenVINO 执行提供程序让开发者可以在搭载英特尔酷睿 Ultra 处理器的电脑上，轻松为 AI 任务选择最佳的 XPU（CPU、GPU 或 NPU）。

    “英特尔与微软在 Windows ML 上的合作为开发者赋能，让他们可以在英特尔 AI PC 上毫不费力地跨 CPU、GPU 和 NPU 部署自定义 AI 模型和应用。” —— Sudhir Tonse Udupa, 英特尔副总裁

  • 英伟达: TensorRT for RTX 执行提供程序利用专用的 Tensor Core 库，在 NVIDIA GeForce RTX 和 RTX PRO GPU 上实现最佳性能。

    “结合了 TensorRT for RTX 的 Windows ML 在 NVIDIA RTX GPU 上的推理速度比 DirectML 快 50% 以上……这使得开发者能够为 Windows 用户创造更丰富的 AI 体验。” —— Jason Paul, 英伟达消费级 AI 副总裁

  • 高通: 通过 Qualcomm Neural Network (QNN) 执行提供程序，为骁龙 X 系列平台的 NPU、GPU 和 CPU 优化了 Windows ML 模型和应用。

    > “随着代理式 AI 体验成为主流，我们与微软的深度合作正在加速创新，并为 Windows Copilot+ PC 带来最佳的 AI 体验。” —— Upendra Kulkarni, 高通产品管理副总裁

实际应用案例

多家主流软件开发商已经开始在其产品中采用 Windows ML，以实现更快的本地 AI 功能。

    • Adobe Premiere Pro: 在即将发布的版本中，利用本地 NPU 加速媒体库的内容搜索、音频片段标记和场景剪辑检测。
    • BUFFERZONE: 实现实时的安全网页分析，保护用户免受网络钓鱼和欺诈，同时无需将敏感数据发送到云端。
    • McAfee: 自动检测社交网络上可能遇到的深度伪造视频和其他诈骗手段。
    • Topaz Photo: 这款专业级图像增强应用利用 AI 功能锐化细节、恢复焦点和调整曝光，全部在本地完成。
    • Filmora by Wondershare: 使用 AI 驱动的人体特效，并在 AMD、英特尔和高通平台上针对 NPU 加速进行了优化。

如何开始使用

开发者可以通过一系列简化的工具来利用 Windows ML。AI Toolkit for VS Code 提供了一站式解决方案，用于模型转换、量化、优化和评估。

要开始使用 Windows ML 进行开发：

    • 将您的项目更新到最新的 Windows App SDK (1.8.1 或更高版本)。
    • 调用 Windows ML API 来初始化执行提供程序。
    • 加载任何 ONNX 模型，只需几行代码即可开始推理。