[情报] xCloud导入Direct Capture技术降低延迟

楼主: talan (---)   2022-06-26 23:42:42
微软在今年E3期间除了有两场游戏发布会之外,
其实还有一系列针对游戏开发的Xfest影片,分享一些游戏技术与开发技巧,
有兴趣的可以在以下网址下收看
Xfest 2022
https://www.youtube.com/watch?v=4aBEi4SbPlQ&list=
PLRs2lXTYCDQ3uPs2PBJoc69ET6LrM_EK5
https://tinyurl.com/2bw2kp4w
其中,微软发表一项今年开始导入Xbox Cloud Gaming云端游戏串流技术-Direct Capture
https://www.youtube.com/watch?v=-WIXftoHCl4
影片有中文字幕,虽然是机翻,但大致可以看懂。
Xbox云端游戏串流,从游戏中的一帧游戏画面从渲染完成到被编码成串流画面,
以往是要完整走完硬件HDMI显示的流程
https://i.imgur.com/m3yP5MT.jpg
present queue (0-66ms) -> 显示 -> 显示回写 (8.3ms)
根据游戏不同,游戏画面在显示前会有一个伫列,有些游戏有双重甚至三重缓冲,
会占用0到66ms不等的时间。而在萤幕显示之后,还有一个固定8.3ms的显示回写,
才能进入串流编码,因此走完整个HDMI显示流程会有8.3至74.3ms不等的延迟,
但2022年,微软推出新技术Direct Capture,游戏画面被编码成串流画面前,
可以直接绕过整个HDMI流程
https://i.imgur.com/jiM2cKn.jpg
https://i.imgur.com/OyOfrvR.jpg
Direct Capture处理时间为2-12ms,可以节省至多72.3ms的延迟,
绕过硬件显示流程,能避免垂直同步、双重/三重缓冲所造成的等待时间,
免了那台根本不存在云端资料中心的显示器所需的缩放处理时间。
而Direct Capture可以自动应用在许多云端游戏上,
但目前技术还有一些限制,某些游戏需要开发者作点变更才能使用
https://i.imgur.com/ewirHY0.png
如目前只支援到1440P的最高分辨率,不支援动态分辨率、HDR等,
但这些限制会随技术进步逐渐改进。
另外微软也堆如何降低游戏延迟,对开发者作出一些建议
目前Xbox云端游戏,PC支援的最高分辨率为1080P,移动设备则是720P,
所以游戏原生分辨率超过上述分辨率,在串流中都需要缩放处理,增加处理时间,
若想强化云端游戏体验,微软建议可以降低分辨率,除了免去缩放处理时间,
也能在运算资源投在强化游戏画面
作者: TETUO (鉄雄)   2022-06-26 23:59:00
直接绕过去也太威了,不愧是微软作为软件开发本业的实力!
作者: Avier (出生便捡骨)   2022-06-27 00:03:00
惨了太猛了希望未来 PC 也不用透过显示卡,直接云端 8K 开下去分辨率串流游戏玩
作者: JIKUAI (听妈妈说)   2022-06-27 00:09:00
台湾资料中心何时盖好啊QQ
作者: faang (昉)   2022-06-27 00:10:00
里面也提到不少让玩家在各平台都能用最佳方式进行游戏的设计(例如可以依平台设不同的亮度设定),看来微软还满用心让玩家在不同硬件平台都能有良好的游戏体验
作者: Avier (出生便捡骨)   2022-06-27 00:14:00
前阵子有应征资料中心职缺,有录取,不过目前都在他处受训任职 @@有任何资讯再来回报
作者: oldk13 (OldK)   2022-06-27 00:17:00
买zenimax效果出来了吧
作者: AccLaborGo (跳跳飞剪刀)   2022-06-27 01:06:00
预祝楼上A大及部门顺利,好期待呀
作者: iceranger (iceranger)   2022-06-27 02:09:00
嗯,跟我想的一样(喂
作者: rakuinn (烙印者)   2022-06-27 03:40:00
微软云端就是业界NO.1啦
作者: skybrest (Be Still My Heart)   2022-06-27 06:28:00
作者: horseorange (橘小马)   2022-06-27 07:07:00
作者: aa08175 (Q小贤)   2022-06-27 07:40:00
恭喜A大
作者: supereva (eva)   2022-06-27 08:15:00
还以为是在你动手指之前 direct capture你的脑波 做到预先输入无延迟
作者: sumarai (Pawn)   2022-06-27 08:39:00
那么台湾要去哪里才能用得到呢?
作者: js0431 (嚎冷熊)   2022-06-27 08:54:00
这真的我的超人
作者: midas82539 (喵)   2022-06-27 09:25:00
这个就输入源fps的问题啊,基本上由于不同讯号会有不同Hz的问题,例如要把24p的讯号播放在60p更新率的萤幕上,你的萤幕就必须要自己补上差额帧数,而计算跟贴补就会造成延迟跟画面抖动,所以反过来说理论上可以得知你家萤幕的更新率,再喂给它要的Hz自然就可以绕过这些问题,原理大概就这样吧这方法其实就是一种变相的锁帧,所以代价是分辨率会有天花板,而且其他因素的掉帧还是会发生
作者: ts00422832 (M3D3)   2022-06-27 10:31:00
感谢分享
作者: eddy664 (阿迪)   2022-06-27 11:27:00
用 VPN 连 XCloud 不会是全程 VPN,只有一开始需要,连上后就断开,相当于直连,所以只是 server 比较远而已。
作者: Neville0402 (法瑞之旅GO!~)   2022-06-27 13:37:00
VPN连日本毫无延迟,真的是黑科技
作者: TETUO (鉄雄)   2022-06-27 13:42:00
下一步就是Ai学习预判玩家的操作(误)
作者: gambitlin (琦為)   2022-06-27 17:12:00
今天开日本VPN玩贼海,几乎没延迟真的很神奇阿,60fps
作者: TaipeiKindom (微软基本教义激进份子)   2022-06-27 19:44:00
AI预判操作来达成0延迟是一个很有趣的议题,一旦发展出来,会造成一些奇妙的现象。举例来说,当AI的预判速度追上玩家,确实能达到理论上的最低延迟,但继续发展下去,让AI的预判速度超过玩家呢?游戏会变成怎样?答案是玩家会渐渐不确定是不是自己在操作,有时候明明反应不及,游戏画面却朝着玩家原本的意思改变了,甚至玩家都放开手把了,AI却继续演算预判一直玩下去。这种情况下,到底是玩家在玩游戏,还是云端上一个行为模式跟玩家一模一样的的AI在玩游戏呢,这个AI会不会进化到比玩家还强呢,以上是乱讲
作者: iceranger (iceranger)   2022-06-27 19:50:00
Nier自动人形的简单战斗模式就有点像金盾讲的意思
作者: ching1210 (云某)   2022-06-27 19:57:00
我只想知道台湾到底什么时候才会开放... 不想特地用VPN
作者: unorthodoxy (啡垫辛)   2022-06-28 08:57:00
AI不会这么假 它侦测你几次反应跟不上 就不会再帮你操作了全部都是统计处理 马上就知道你实力在哪
作者: gambitlin (琦為)   2022-06-28 13:41:00
等微软AZURE服务器建好~我日VPN到日本开门但是连美国玩,不知道是存取哪个伺服
作者: supereva (eva)   2022-06-28 14:35:00
vpn到哪就是连哪边server 选美国只是选美国只是选语言

Links booklink

Contact Us: admin [ a t ] ucptt.com