A$AP Rocky 的新歌《Helicopter》音乐视频采用了一种名为体积捕捉的先进技术,通过一个由 56 个摄像头组成的阵列,记录了演员真实的三维表演。这种技术最终生成了动态的高斯点渲染(splats),使得后期制作团队拥有极大的创作自由度,可以随意调整光影、视角和场景。视频中所有看似超现实的动作,如空中悬浮和打斗,都是真实表演,而非 AI 生成。这标志着高斯点渲染技术在主流音乐视频制作中的一次重要创新应用。
什么是体积捕捉?
体积捕捉是一种记录真实世界三维信息的技术。在《Helicopter》的制作中,团队使用了 Evercoast 的 56 摄像头 RGB-D 阵列,在洛杉矶的一个专用场地进行拍摄。
- 记录真实表演: 演员们在捕捉区域内完成各种特技动作,如吊威亚、倒挂、在单杠上做引体向上等。
- 空间数据保存: 系统不仅记录了画面,还保存了表演者的完整空间数据。这使得每一个动作,包括拳击、撞击和摔倒,都被真实地以三维形式捕捉下来。
- 巨大的数据量: 整个拍摄过程产生了超过 10TB 的原始数据,最终合成了约 30 分钟的高斯点渲染视频片段。
这不是用技术来炫技。导演 Dan Strait 的初衷是想找到一种方法,能在后期制作中获得彻底的创作自由,而传统拍摄和视觉特效要么做不到,要么成本太高。
从拍摄到成片的工作流程
将捕捉到的体积数据转化为最终的音乐视频,需要一个复杂但高效的后期制作流程。
数据处理与预览:
- 拍摄现场,导演可以实时看到空间反馈,并在几秒钟内生成预览模型。
- Evercoast 的平台允许团队在下载庞大的文件前,通过网页播放器审查渲染好的高斯点片段。
- 这种类似模拟的工作方式,而非传统拍摄,让创意决策可以快速、低成本地进行。
后期制作与渲染:
- 处理后的数据被导入到 Houdini 软件中。
- 团队使用 OctaneRender 进行最终渲染,这个工具当时已初步支持高斯点渲染。
光影重塑与视觉效果:
- 一个关键的突破是,团队能够在后期重新打光,并为高斯点添加阴影。
- 这使得最终画面呈现出一种更具立体感的“三维视频”效果,这是传统二维视频无法实现的。
- 此外,团队还使用 Blender 进行场景布局和预览,并借助动作捕捉工具来增强物理交互的真实感。
为何看起来像 AI 生成?
许多观众看到视频后,误以为这些影像是 AI 生成的。但制作团队强调,事实恰恰相反。
- 所有动作均为真人表演: 视频中的每一个特技、每一次挥舞和摔倒,都是由表演者真实完成并被空间捕捉下来的。
- 后期自由度的错觉: 之所以看起来不真实,是因为体积捕捉技术赋予了后期制作无限的自由。创作者可以事后移动摄像机、打破空间连续性,并以二维视频无法想象的方式重新组合表演。
“辐射场技术(Radiance Fields)并不是在取代现实,它是在保存一切。”
这项技术让创作者不再受限于拍摄时的摄像机位置和构图。它完整地保留了表演的每一个细节,并允许在后期进行天马行空的再创作,这正是《Helicopter》音乐视频视觉冲击力的来源。