[心得] 苹果空间影片与传统 3D 影片杂谈

楼主: hsz0566 (HSZ)   2024-10-18 19:27:19
TL;DR
成功把空间影片 (MV-HEVC) 转换成 YouTube 3D 影片了,而且能够轻易“公开分享”到
Quest 头显观看,甚至透过红蓝 3D 立体眼镜 (Anaglyph) / Google Cardboard VR 手机
盒子 (Anaglyph) 或直接裸视 3D 平视法 (FSBS, Full Side-bt-Side) 让两个画面合而
为一,连一般手机都能看!XD
Anaglyph
https://youtu.be/YoE7T0uIDOw
FSBS
https://youtu.be/YgLXFGC3-5A
正文:苹果空间影片与传统 3D 影片的双向转档、分享与观看方式
》前言
去年在 iPhone 15 Pro / Pro Max 与 Vision Pro 的发表会上,苹果首次展示了“空间
影片”(Spatial Video, 注 1) 的拍摄与观看体验。虽然拍摄原理和 3D 立体电影相同(
摄影时采用双镜头,分别拍摄左眼和右眼所见的画面),不是什么新科技(而且手机双镜
头只有相距 2 公分,跟人眼 IPD 差太多,立体感有限),但推出的时间点正好就在 VR
/ MR 设备、网络基础建设、视讯编码技术和自媒体蓬勃发展的年代(望向生不逢时的 HT
C EVO 3D…),自然带来不少话题和商机。接下来,安卓手机阵营似乎也重新投入 3D 影
像拍摄的推广应用了,喜闻乐见!
手机大厂 vivo 与光学大厂蔡司、AR 眼镜厂 Rokid 合作
https://www.saydigi.com/2024/10/1437254.html
“而 vivo MR 眼镜的重要推手,就是他们持续深耕的 3D 影像技术,透过手机的多镜头
设计与 3D 处理技术,vivo 能够拍摄出具有空间感的照片与影片。vivo 更与 Rokid 合
作,探索影像的全新互动方式,这两项技术,也为即将到来的 MR 眼镜奠下基础。”
》转档、分享与观看
比起超过新台币十万元的 Apple Vision Pro, Meta 也顺势让自家的 Quest 一体机头显
支援观看空间影片,方法非常简单:直接透过 Meta Horizon app 上传到图库,然后在 Q
3 的 Files 档案 app 里面就能看到空间影片,空间音讯效果也很不错。缺点是只能自己
看,无法分享出来。要分享的话,还是需要透过转档(注 2), 这两天发现一个很棒的教
学,转档完再透过新增 FSBS (Full Side-by-Side) 影片的 metadata: frame-packing=3
, 然后上传到 YouTube, 就会直接变 3D 影片。
How to Upload a 3D Video To YouTube (2021 + 2023 + 2024 update in description)
https://www.youtube.com/watch?v=MmDrnwPIWKg
(我是采用 Method 1, 用开源软件 Handbrake 转档 & 新增 metadata, 全图形化的操作
界面,很方便。不过这段教学影片是旧版的,界面和新版略有不同,我附上新版的 Prese
t 设定档画面供参考)
把 Full SBS 影片加入 “frame-packing=3” metadata 之后再上传到 YouTube 最大的
好处,就是只需要提供单一连结,很容易就能分享给朋友,而且跨平台都能看:
Spatial Video to FSBS by HandBrake (frame-packing=3)
https://youtu.be/YoE7T0uIDOw
1. 一般手机用 YouTube app 开启会看到红蓝画面,搭配 15 元的红蓝 3D 眼镜看就是立
体的(安卓手机也可以用 50 元的 Google Cardboard VR 手机盒子看,但 iPhone 就不
支援了,除非另外下载支援 YouTube 网址的 VR Player, 在此不多做介绍)
2. 电脑用 Chrome 浏览器看也很方便,选项那边会出现 2D / 立体影片 (anaglyph) 的
切换功能,可以自由切换 2D 平面模式或需要戴红蓝 3D 眼镜的立体模式
3. Quest 一体机如果用内建的浏览器开,会看到 Half SBS, 需要用沈浸模式然后设定成
3D 左 / 右也会是立体的,或是用 YouTube VR app 开启就直接是立体的了(效果最好)
为求方便的话,也可以直接把 FSBS / HSBS 影片档上传到 YouTube:
Spatial Video to FSBS
https://youtu.be/YgLXFGC3-5A
不论用手机还是电脑或电视,都可以透过裸视 3D 的平视法(请注意:是左眼看左画面、
右眼看右画面,而非斗鸡眼式的交叉法)把 FSBS 的两个画面合而为一,就能体验 3D 的
效果了。
Spatial Video to HSBS
https://youtu.be/JDRCRRKco0c
Quest 内建浏览器由于切换到沉浸式的 3D 左 / 右观看模式时,会自动把画面拉长,因
此需要采用 HSBS 这种横向分辨率被压缩剩一半的格式,如此一来在观看的时候才会是正
确的比例。
可见不论是 FSBS 或 HSBS 都是有一好没两好,因此还是建议转档成包含 frame-packing
=3 metadata 的影片再上传到 YouTube.
》体验心得
由于我只有手机、电脑和 Meta Quest 3, 手机的体验自然是最差的;电脑或电视的话,
戴上红蓝 3D 眼镜确实有观看立体电影的感觉,不过毕竟红蓝 3D 是比偏光 3D 更古老的
技术,浅色的地方看起来偏红会有点不习惯,反而用大尺寸萤幕或 32:9 超宽萤幕直接透
过裸视 3D 平视法来观看能得到更好的体验;Meta Quest 3 观看的效果则是最好的,因
为左右眼各自看到不同的画面而形成立体感,不需要配戴会影响色彩的红蓝 3D 眼镜。而
在使用 Quest 时,相较于内建的 Meta Browser 浏览器,我认为 YouTube VR 的沈浸式
体验更好,因为虚拟地面的即时反光特效做得很好,在阴暗的场景中,影片本身就是光源
,影片内容即时呈现在地板的倒映中。
除此之外,如果用 Meta 官方建议的观看方式(透过 Meta Horizon app 上传到图库,再
从 Quest 的 Files 档案 app 去播放空间影片),体验也很特别,因为 Meta 的空间影
片播放器做了一个类似 Apple Vision Pro 的特效(但没有因观察位置改变而引起的 Par
allax 视差效果),即影片外面加了一个比较大的观景窗,而影片的四周做了一些柔化处
理,如果观看者站在原地不动的话,确实会有个错觉:在彩色穿透 MR 模式下,好像真的
有一个传送门,门的另一侧就是影片中的人事物。(让我想到昙华一现的《比利林恩的中
场战事》未来 3D 院线版)
然而,体验最好的,应该还是 Apple Vision Pro:
https://youtu.be/5Yc35G_OKAE
这位 3D 摄影师 / 影像创作者在影片中提到,苹果的空间影片如果存出来给别的设备看
,就真的只是一般 3D 影片,观看者身体左右移动也不会有 parallax 视差效果(这边讲
的视差效果不是左右眼画面不同的立体感,而是我左右移动身体,看到的景色就会不同)
。但如果是用 AVP 的沈浸模式观看就神奇了,观看者身体左右移动就出现 parallax 视
差效果。而他也成功使用 Canon R5C dual fisheye 拍摄了空间影片,并成功放入 AVP
观看并且有视差效果。
因此如他所说,合理推测空间影片其实关键在于 AVP 里面的“空间影片播放器”,这看
起来有经过 AI 加持(就像 Google 或脸书常常问你要不要把普通 2D 照片变 3D, 只是
苹果的效果更好,应该有用到芯片算力)。所以 Meta 在自家 app 支援的、第三方在商
店上架的 Moon video player 和 4XVR Player, 都宣称支援空间影片,但其实只是支援
播放苹果的空间影片,实际体验起来就像 3D 蓝光电影 ,要真的有“左右移动身体就能
观看不同角度”的 parallax 视差效果,目前还是必须透过 AVP.
之前看小宁子的体验心得,他说空间照片、空间影片“如果左右稍微移动身体,照片也会
跟着左右旋转一下”,这听起来已经不是纯 3DOF 而是有点 6DOF 了,看来就真的是跟播
放器(设备)有关。
https://youtu.be/Q0nFb5Hs464&t=5m41s
》小结
目前 iPhone 16 / 16 Plus / 16 Pro / 16 Pro Max 已全面支援空间影片和相片的拍摄
,甚至用第三方 app 譬如 SpatialCamera, 让旧款的 iPhone 也能拍摄空间影片(只要
有两个以上的镜头就能拍!)。随着空间影片拍摄的普及化,或许未来会有更多更方便的
分享方式:譬如 Meta 可以直接新增“分享”的功能到私人的空间影片,提供连结就能让
其他人看或是新增到个人 Meta Horizon 动态;YouTube 直接支援上传空间影片,传完就
自动变 SBS 的 3D 影片(省去转档 & 手动增加 metadata 的时间);或是 Apple 也自
己搞一个空间影片/相片的社群平台。
过去要体验 3D 摄影的成品,只能透过游乐场所的立体电影设施、电影院,以及蓝光 3D
电影和支援的串流平台搭配相关硬件,而这些媒体的共同点都是“别人”产出的内容,和
观看者自身的关联性较低,但随着手持 3D 摄影设备的普及,未来会有越来越多内容生产
/ 创作者透过网络分享这些较为身历其境的、更贴近自身人事物的空间影片 / 3D 影片
,是令人期待的未来。更进一步,在 VR / AR / MR 穿戴式设备装机率逐渐提升的过程中
,消费型的 180VR / 360VR 摄影装置也将进入到更多人的生活中!
延伸阅读:戴上 VR 体验七组音乐人最私密的空间!许哲珮担任音乐总监 旺福拍摄初体
验“好像灵魂出窍”
https://www.mtv.com.tw/news/newsdetail/9850
为何选择用 VR 拍摄?许哲珮给了“瞬间的永恒”答案,她解释:“当我有小孩之后,习
惯用 VR 来记录他的成长,当戴上 VR 眼镜看到一岁的她奋力往我方向爬,仿佛我伸手就
能将她抱起,却突然哭出来,因为知道那是永远回不去,于是当下也思考这样瞬间的永恒
,是否也能用 VR 方式记录下来。”
https://youtu.be/x4RNE-g1VY0
影片 1:用 Quest 一体机观看空间影片的三种方式
https://youtu.be/SzzJlDcIB9Q
影片 2:用 VD 观看 HSBS, FSBS, Anaglyph 3D 影片的方式(是的, 除了拿来玩 PCVR,
VD 也能当做 3D 萤幕来使用,不过 Quest 萤幕录影只有左眼画面,因此 Anaglyph 只会
录到红色)
https://youtu.be/-gfPC06NK5U
影片 3:Meta Horizon 手机 app 上传空间影片的方法
a. App 里面点自己的头贴
b. 点右上角三条线选单
c. 点图库
d. 点右上角上传
e. 点空间影片
f. 点要上传点影片
g. 点上传
https://i.imgur.com/euWiQIz.jpeg
图片 1:开源软件 Handbrake 的设置画面
https://i.imgur.com/j599nYB.jpeg
图片 2:HSBS, FSBS & Anaglyph 在手机版 YouTube app 的画面比较
注 1:关于空间影片的科普介绍
What Are Spatial Videos and How Much Storage Do They Use?
https://myppt.cc/nMJV2u
"You're probably wondering if spatial videos are similar to the 3D videos that
have been around for a while. The answer is yes, it's just that Apple prefers
its own marketing terms. These videos are subject to the same limitations as
3D videos shot on other devices in that you aren't able to move around the sce
ne, and instead are locked to the perspective from which the video was shot."
“你可能会想知道,空间影片是不是跟已经存在一段时间的 3D 影片类似。答案是肯定的
,只是苹果比较喜欢用自己的行销术语。这些影片跟其他设备拍摄的 3D 影片有同样的限
制,就是你无法在场景中移动,而是固定在拍摄当时的视角。”
注 2:Spatial Video 和 3D Video 之间的转档
推荐两个 app:
Spatialify NT$90
https://apps.apple.com/us/app/spatialify/id6471922894
SpatialCamera NT$120(支援繁体中文)
https://apps.apple.com/tw/app/spatialcamera/id6450244530
两个 app 都支援苹果的空间影片格式 (MV-HEVC) 和一般 3D 影片 HSBS (Half Side-by-
Side) / FSBS (Full Side-by-Side) / FOU (Full Over-Under) / HOU (Half Over-Unde
r) 之间的转档,也支援更多种参数的空间影片 / 相片拍摄,譬如苹果官方的空间影片格
式只有 1080p 30fps 无 HDR, 但用这两个 app 都能拍摄 4K 30fps / 1080p 60fps 并且
支援 HDR.
如果是 iPhone 15 Pro, iPhone 15 Pro Max 和 iPhone 16 全系列的用户,其实用 Spat
ialify 就可以了(但只有英文),因为这些机种本来就支援拍摄空间影片 / 相片。而其
他型号 iPhone 的用户,则推荐使用 SpatialCamera, 可以暴力启用空间影片 / 相片拍
摄的功能(就算机身上的广角和超广角镜头非水平排列,也能拿长焦镜头来用,甚至直接
把手机斜著拿,硬把广角和超广角镜头呈现水平排列,机体的不足用技术补足)。
》工商服务时间
最后打个小广告,新竹在地乐团炒米粉丝团即将在本月底和夜余制豆合作举办咖啡音乐会
,活动内容包括主题式品饮咖啡介绍(品味三款不同的咖啡豆)和现场互动音乐会,让参
与者能够一边品饮咖啡一边欣赏音乐,期望能共襄盛举,一起度过一个感官体验丰富的午
后时光。
时间:10/27 (日) 14:00 - 16:30
地点:咏康音乐艺术展演空间
地址:竹北市嘉丰南路一段 126 号 1F
购票连结:https://www.accupass.com/go/HJOCoffeejazz01
(本活动由 HJO 新竹爵士大乐团策划,输入优惠代码 hjo16868 可享 200 元折扣)
作者: xzero0911 (Jh豆腐)   2024-10-19 02:04:00
15Pro拍出来放Q3看觉得画质太差了结果16Pro还是只能拍1080 30
作者: KimomiKai (时雨大天使)   2024-10-19 03:05:00
来玩看看
楼主: hsz0566 (HSZ)   2024-10-19 19:19:00
用我分享的那两个 app 可以拍 4K 空间影片喔
作者: pla78105 (Pedro)   2024-10-19 21:44:00
请问大大4K 是真4K吗?看得出分辨率差异是吗?
楼主: hsz0566 (HSZ)   2024-10-19 23:43:00

Links booklink

Contact Us: admin [ a t ] ucptt.com