Synth Daily

Apple Vision Pro 可以看自己拍的沉浸式视频了,但效果可能没你想得那么好

visionOS 26 系统更新使 Apple Vision Pro 能够直接播放由 Insta360、GoPro 等设备拍摄的 180° 和 360° 沉浸式视频。该功能依赖于 多视图编码 (MV-HEVC) 和全新的 Apple Projected Media Profile (APMP) 元数据规范。尽管实际体验中,用 8K 全景相机拍摄的视频在 Vision Pro 中播放时沉浸感强烈,但由于设备视场角的限制,画面有效分辨率大幅降低,导致清晰度远不如预期。尽管如此,这次更新仍是消费级全景设备与空间计算融合的重要一步,为未来更真实的虚拟现实体验奠定了基础。

visionOS 中的视频类型

在 visionOS 中,视频内容主要分为几种类型,它们提供不同的观看体验。

  • 2D 和 3D 视频:

    • 2D 视频 与在手机或电脑上观看的视频相同,通过一个窗口播放。在 Vision Pro 中,可以“扩展播放”,使其成为一个类似虚拟影院的大屏幕。
    • 3D 视频 同样在窗口中播放,但能提供影院级的 3D 效果。它采用 MV-HEVC 编码,将左右眼画面存储在同一轨道中,高效且能向下兼容普通播放。
  • 空间视频 (Spatial Video):

    • 这是 Apple 提出的新概念,视频以真实尺寸呈现在用户视野中,边缘与周围环境自然融合,提供身临其境的感觉。
    • 技术上,空间视频同样使用 MV-HEVC 编码,并包含额外的元数据(如拍摄距离)来决定画面的深度和视角。

核心技术:沉浸式视频与 APMP

visionOS 26 将传统的 180° 和 360° 视频统一称为 “沉浸式视频”。与平面视频不同,它们需要将画面投射到用户周围的虚拟球面上。

  • 180° 视频: 采用“半等距柱状投影”,将画面映射到用户前半球的视野。
  • 360° 视频: 采用“等距柱状投影”,将画面映射到一个完整的球面,将观看者完全包围,这是 VR 行业的通用标准。
  • 宽视场视频: 一种新类型,它利用镜头参数矫正画面畸变,让广角或鱼眼镜头拍摄的画面看起来更自然。

为了统一这些格式,Apple 推出了 Apple Projected Media Profile (APMP)

APMP 是一种元数据规范,它只负责描述视频的“投影方式”和“镜头参数”,而不规定视频编码本身。这使得现有的 180°/360° 视频只需注入 APMP 元数据,就能在 visionOS 中原生播放,并保持向下兼容。

实际体验:用 Insta360 X5 测试

要将 Insta360 相机拍摄的全景视频导入 Vision Pro,需要一个简单的处理步骤:

  1. 使用 Insta360 Studio 桌面软件打开拍摄的 .insv 格式源文件。
  2. 在导出菜单中选择“全景视频”。
  3. 勾选 “APMP” 选项。软件会自动将视频封装为符合 visionOS 播放标准的格式。

导出后的视频文件可以直接在 Apple Vision Pro 中以沉浸式模式播放。

效果不佳?问题出在哪里

尽管使用了支持 8K 拍摄的 Insta360 X5,但在 Vision Pro 中播放的沉浸式视频 清晰度却非常低,远未达到预期。

问题不在于相机或视频本身,而在于 显示端的工作原理

当观看 360° 视频时,8K 分辨率的像素被均匀分布在一个完整的球面上。然而,Apple Vision Pro 的视场角大约只能看到整个球面的 1/7 区域。这意味着我们眼中看到的实际有效分辨率被大幅稀释,导致画面模糊,细节不清。

此外,自己随手拍摄的视频通常伴随着 画面抖动,这在沉浸式观看时很容易引发头晕等不适感,而官方制作的内容则通过专业设备避免了这个问题。

结论:一个有希望的开始

让普通消费者能用自己的设备拍摄并在 Vision Pro 中重温回忆,这是一个令人兴奋的开端。虽然目前的效果因技术限制还不完美,但 Apple 与 Insta360 等品牌迈出的第一步意义重大。

  • 优点: 实现了消费级设备与 visionOS 的联动,提供了前所未有的沉浸式回忆体验。
  • 缺点: 实际清晰度严重不足,且个人拍摄的抖动画面容易导致晕眩。

未来,随着硬件性能的提升和 AI 技术的介入,我们或许真的能以极高的保真度重现过去的场景。就目前而言,将全景视频作为一种高清的数字档案保存在传统设备上,已经是一份足够珍贵的记录。