不久前Oculus的CTO技术总监
John Carmack在社群页面有
透露将推出Oculus Go/GearVR版的
5K x 5K格式，60fps的
VR短片"Henry".
goo.gl/mLS9rB
Henry是3年前曾出在Rift的
VR故事短片,曾在艾美奖得奖。
前几天OculusGo商城已经上了。
(免费下载)
不过高通S821处理器的硬解规格，
只到[email protected]
就连新的S835/S845似乎也如此。
因为手机需求这样就顶级。
但VR显然不够。
所以CTO John Carmack说明是
靠特殊软件优化取巧技术，
不能直接解码5Kx5K的360度影片。
解码最佳化原理大概这样..
1.先解码另外一组预存的2K*2K,
较低分辨率的影片。
2. 另取5K影片的局部，例如
5x1K高解析资料，再将这资料再分成10个1K*1K区块。
不断即时判断那几区块是下个画面所需。
只优先解码其中立即看到的3个区块
(其他目前视线看不到区块就不处理)。
所以每眼解码量只剩
1个2x2K影片+3个1x1K区块影片
....比起原素材5x5K全部解码,
可能省略7成运算?
那2x2K应该是用来应付万一突然快速转头，来不及提供高分辨率画面时，先用次级画面应
付。
原理是你转动动态很大时，眼睛也无法分辨细节。等头部姿态稳定时，它高解析画面也算
好了,
我尝试快速转头，但也无法
感觉分辨率有差异，没有任何解码延迟。
Go靠这技术能硬跑5K x 5K，60hz。
总下载资料会变更大一点。
但能借此突破硬件解码性能限制，
提高VR影片画质。
(不过GearVR因为版本众多，较旧的机种将不支援。)
这类适应性影片优化，早就有各家实作，各自使用技术不同，
原理都是希望只传输解码眼睛看到的区域。
例如商城的Visbit 也是免费下载
(号称6-8K甚至更高)
目前只有几个风景示范影片。
但实作不理想，转动时延迟明显，头转过1-2秒了画面还是糊的。
慢慢变清楚，但仍不够清晰。
有买Go的都体验过很少有超过2K/3K的VR讯源的痛苦。
360度环景素材，毕竟有8成资料是在FOV视野以外。
在近90-100度上下的实际视野内
的影片有效显示像素只有1/4。
所以VR商城内不少VR影片长宽
连2k都不到，就注定画质糊到不行,
画质太悲剧，常常看一眼就关掉。
FB(Oculus)此次自己示范实作
5Kx5K影片，设立新画质标竿。
之后这技术如何商业化还不清楚。
推测是希望之后别的厂商跟进，
制作更多超高解析VR影片上架。
(台湾的小猫巴克里有机会吗?)
实际上FB去年已把该故事短片工作室关闭了，因为政策转变，
VR前期1-2年早期开拓期，是FB自己砸钱, 先做示范的免费产品来捧Oculus VR.
后来VR软件开发生态系逐渐成形后，FB把资源转向扶植合作外部其他厂商做产品，就收掉
一些工作室。
这次Henry，是把原用3D引擎realtime计算的旧有Source，
再重新运算预录储存成CG影片。
因为变成纯预录影片，
所以不能互动，不能改视点位置，只能原定转头。
而且5Kx5K容量很大，
看这6分多钟短片就要1.3GB.
虽然透过技术可以减少解码运算量
但双眼2x5Kx5K的储存量无法节省
这市场在哪???
台湾有蛮多商业化游乐园的轨道车海盗船之类设施。
(被绑在座位无须6DOF与互动)
已导入VR短片，用免主机免接线的手机VR.
这是有市场实证的商机。
一体机在这方面应该更适合。
硬件成本低(撞到飞出较不心疼?)
即使5x5K影片容量很大，
但商业用头戴设备1次只需塞1影片，应该也很够用。
再来是360度商业高阶VR电影院的闲聊.......
售票商业VR电影短期还不成气候，看不见片源未来与商机利益。
收费高价服务，影片品质要远超过一体机才有竞争力,
所以分辨率至少8K起跳才ok。
今年HTC在搞Vive Pro+PC主机
配套的TMS剧院管理系统。
TMS最高能做到8K电影。
(播影片6DOF没用,只要高解析面板)
去年开始以蔡明亮的VR电影
"家在兰若寺"海外巡回示范 ,
展示区是每个360度旋转椅子，
旁边都有传输线(感觉转圈会缠绕)
看起来场地有多少Vivepro头显,
旁边就有多少台PC主机，
靠PC暴力性能做8K 360度解码.
商业高阶VR电影院问题是片源。
各家厂商弄出VR硬件配套不难。
线的问题，未来应该可以把主机跟椅子整合，观看者也跟着椅子转。
甚至椅子增加体感震动。
但....谁来提供影片?
若是Henry或巴克里那种影片
通常是3D引擎即时绘图，改输出设定就输出5K甚至8K影片。
分辨率高低都是电脑绘图创造的
没成本差异只是算久一点，容量大一点。
但用3D引擎做的动画，较适合
小额付费下载的小品卡通短片。
放商业剧院收门票就很难普及。
传统商业电影制作VR化，
就牵涉到剪接合成与后制特效，
对成本影响庞大，其市场投资回收能力却还不明朗，不太看好。
据说拍摄也很麻烦。
一个VR电影场景要拍两种画面，
一种是正常演出，一种是空场景。
(用来后制，把工作人员去掉。)
两种画面在不同时间拍摄，
但除了没工作人员，要完全一致。
这就导致在户外开放场景有困难。
太多不可控因素可能造成不一致。
3D后制特效成本也会是天价。
因为特效价格是跟张数时间及分辨率成正比。所以很多4K电影的CG特效,仍只用2K分辨率
来算，省钱。
而VR要搞商业售票电影，画质
大概8Kx8K是基本要求，复杂特效
后制几乎只能放弃。
PS: 目前最普及的VR商业影片
是180度的成人影片。
AV不需360度自动省掉很多成本，
AV成人片也不需任何后制特效.....
日本已经实作的很不错。
180度影片只需2K-4K就有不错画质
不需oculus这种5K特殊解码技术.
谷歌在推自拍VR180格式，也因为这样较简单，省掉很多麻烦。
拍摄者不用想办法把自己后制修掉。
但AV这种用途显然只利于让一体机用户在家看。
对推广360度的付费的商业VR剧院没有帮助。