[闲聊] 【GC 16】体验以最低限度硬件让声音在现

楼主: orze04 (orz)   2016-08-23 13:41:53
文章出自 GNN新闻 http://gnn.gamer.com.tw/2/136372.html
原文出处 4Gamer.net http://www.4gamer.net/games/999/G999902/20160818085/
【GC 16】体验以最低限度硬件让声音在现实世界中定位的“Waves Nx”
  以专业等级音效处理软硬件闻名的 Waves Audio(以下简称为 Waves),在今年 3
月的游戏开发者大会(Game Developers Conference 2016)上,宣布使用耳机等装置时
,能够利用声音在现实世界中定位的“Nx”技术,将会对应 VR 应用,推出针对玩家,支
援头部位置侦测的 3D 音效系统。
  之后公司便在募资网站 Kickstarter 上募集 Nx 用头部位置侦测模组“Nx Head
Tracker”的开发资金,并且在成功募集到目标金额后,便邀请媒体“配合科隆游戏展,
除了 Nx Head Tracker 外,还会一起推出运用 Webcam 镜头执行头部侦测功能的相关软
体测试,如果有机会可以前来体验”。
  难得有幸被公司招待,所以这次就要简单整理一下测试报导,和大家介绍这套装置的
使用体验。
可以强化 VR 投入感的 3D 音效
  笔者首先试玩的游戏,是 HTC 制头戴装置“Vive”的 VR 壁球风格游戏《Racket:
Nx》。
  《Racket: Nx》以一款使用房间规模场地的壁球风格游戏来说,其实设计颇为单纯。
玩家要站在呈现圆筒状的虚拟空间当中,使用球拍(Vive 专用控制器)来击球,让球命
中设置在墙壁上的目标。虽然游戏有时间限制,但是只要球成功击中目标,就可以延长限
制时间,所以必须要尽可能精确击球打中目标,赚取更多时间和更高分数。
  虽然除此之外还有不少比较细节的规则设定,但整体来说是很单纯的作品。
但是这个规则单纯的《Racket: Nx》,一但开启了 Nx 的头部位置侦测 3D 音效功能以后
,在玩游戏时的感觉可以说是截然不同啊。像是球在空中飞行的声音、击中墙壁时会发出
的声响等声音,全部都会从球存在于虚拟空间当中的位置传来,所以玩家也能以此为辅助
,更直接把握到球目前在哪个方位。
  虽然说因为球速极快,还不习惯游戏时,就算能靠音效来判断球的位置,也还是有可
能无法追上,更不要说拿起球拍回击了,但是非常真实的音效,的确能让玩家更能投入游
戏。
  《Racket: Nx》游戏可以在“Steam VR Store”免费下载试玩版,如果有 Vive 装置
,而且房间大小也能使用房间规模场地 VR 程式的话,请大家一定要亲自试试。
  另外以 Vive 搭配 Nx 的应用,笔者还试用了另外一种,在虚拟空间当中设置音源,
并且在附近自由移动的展示。因为这个应用并没有游戏性,也就是所谓的技术展示,所以
更能够清楚掌握声音的来源、位置,和音源移动的情况。
以智慧型手机+α 来实现 3D 音效
  在经过上面的体验后,笔者已经很清楚了解 VR 和 Nx 搭配使用的效果极佳了,但话
虽如此,要说到“拥有 Vive 装置,而且住家环境能充份活用房间规模场地 VR 应用”的
玩家,恐怕并不是那么亲民的条件吧。也就是说如果只以上面的体验来说,大概会让人觉
得“虽然是很强啦,但和我没关系吧”。
  可是 Nx 的实力,就算不搭配 VR HMD,也一样能充份发挥。实际上就笔者个人感觉
,反而是在没有使用 VR HMD 时,才更能让人感觉到其厉害之处。
  所以说在体验过应用 Vive 的展示之后,接下来要使用的,就是在网站上募集资金的
产品 Nx Head Tracker 了。
  这是一个可以装在普通耳机或是耳麦上的小型装置,拥有侦测目前头部方位的功能。
只要使用这个装置,就可以和应用 Vive 的展示一样,模拟出更自然的音场,是 Nx
Head Tracker 最大的卖点。
  展示机的组成可以说是非常简单,只有一台智慧型手机,一组耳机或是耳麦,再加上
一个 Nx Head Tracker。已经存在智慧型手机中的音源有先经过环绕音响处理,但除此之
外似乎并没有特别针对 Nx 多加处理过。
  而在这个状态下,只要在智慧型手机上开启 Nx 效果处理器,就可以从很普通的双声
道耳机中,听到很有立体感的声音。
  就笔者个人感觉来说,应该是“从前方传来的声音”,听起来会比较像是“从前方略
高处传来的声音”,但左右两边则是完全没有什么不对劲的感觉。这次准备的音乐是演唱
会的录音,听起来甚至连台下歌迷的欢呼声都非常自然,完全角成一个“音域空间”。
  附带一提,这次展示就如同前面提到的一样,是使用经过环绕立体声处理的音源,但
就算是只用普通双声道收音下的音源,似乎也会听起来更加自然。当然也是因为有头部位
置侦测功能的关系。
利用 Webcam 重现 3D 音效!?
  最后一个展示,则是让人体验利用 Webcam 来执行头部位置侦测的技术。
  这个展示使用的装置也很简单,需要准备的器材只有电脑和 Webcam 以及耳机(或耳
麦)而已。只要在电脑上执行由 Waves 推出的软件“Nx app for Windows”,软件就会
透过 Webcam 来判断使用者目前头部面向何方,并且配合头部方位来重现出“正确”的音
场。再将处理过的音效从耳机里播放出去。
  只需要透过 Webcam,就可以即时截取到使用者头部方向和表情的技术,其实大家应
该都在“Facerig”之类的技术中见识过了才对。
  而用在音效上,虽然感觉会需要更高的精准度,但是根据 Waves 表示,实际测量误
乐好像不满 1 度。实际上使用这个装置来体验 Nx 的感觉,和使用 Nx Head Tracker 的
确是几乎完全一样。
  只不过人类这种生物的欲望实在是无边无尽。既然“只要准备好 5.1 声道或 7.1 声
道的环绕立体声音源,就能透过这个系统,听到更有立体感的音效”的话,那就算不是
VR 游戏,也能体验到更立体,更自然的游戏音效了对吧?
  而在听到笔者提出这种问题之后,他们就拿出重制版《毁灭战士》,让笔者使用这个
装置来体验看看。
  在实际试玩过后,就结果来说,有没有使用 Nx app for Windows 并且开启 Nx 功能
,玩游戏时得到的体验可以说是完全不同到令人吃惊。因为使用的是动作很激游戏,所以
当然是没办法要求到“光听脚步就知道敌人是从哪个方向走来”这种程度--其实习惯的
话搞不好真有可能--,但是给玩家的临场感和投入感真的是完全不一样。
  而且这次是使用所谓游戏笔电来执行游戏,如果再加上大尺寸萤幕,想必还能让效果
更上一层楼。除了 FPS 之外,也应该还有像是竞速游戏或是飞模游戏等等,许多不同类
型的游戏适合搭配使用。
  但话虽如此,音声延迟是个很令人在意的问题。因为要先透过 Webcam 来侦测头部位
置,然后再基于侦测结果来处理声音资料,所以对于电脑的负荷一定是比普通播放音源还
要吃力。
  而就这次的实际体验,应该是使用能对应 VR 的高性能游戏笔电,所以是没有感觉到
很明显的延迟,也就是说如果电脑性能足够的话,可能是不太需要在意这个问题也说不定
。只不过有关于这个部份,应该还是要等完成版本释出之后再实际测试才能下定论。
Nx 的魅力就是能以现有设备实现“让声音配合现实世界定位”
  Waves 在今后,预定会依照当时在募资网页上提出的时间表,以 99 美元的价格推出
NX Head Tracker 和 Nx app for Windows 同捆的套装组合,并且以推出廉价版 NX
Head Tracker 为目标,和电脑以及智慧型手机制造商交涉,希望让 Nx 系统可以成为装
置中的预载软件。
  而使用 Webcam 的电脑版,对于蓝芽装置会碰上审核问题的日本市场来说,应该会是
目前最方便使用的软件技术才对,但很可惜的是目前电脑版的发售时间和价格都尚未确定

  另外笔者还有提问“既然使用摄影机就可以侦测头部位置,那如果用智慧型手机的内
部镜头,就算不搭配 Nx Tracker 使用,应该可能组成 Nx 系统才对吧?”,而回答则是
“理论上应该可能,实际上目前也正在检讨当中”。
  只不过如果是搭配智慧型手机来使用,在看影片或是玩游戏时一定需要盯着画面看(
也就是内部镜头一定是朝向玩家),而另一方面在播放音乐时,又多半是把智慧型手机放
在口袋里面等地方。所以目前应该还是要搭配 Nx Head Tracker 使用吧。
  更为拟真,更能让人投入的体验,虽然是拥有吸引人的魅力没错。但是不管是多有魅
力的体验,想要让人克服“麻烦”这个障碍,也是一直都很困难。
  但就算是在这个前提之下,光是靠现在几乎是笔电标准配备的 Webcam,就可以实现
3D 音效的技术,想必也很能让人克服“麻烦”,而拥有充份普及化的潜力。
  在今年的游戏开发者大会上,还同时发表将会对应 Wwise 以及 FMOD 等音效中介软
体,也许玩家可以在不远的将来,就看到活用 Waves Audio 新技术的游戏出现在市面上
作者: AlfredCheng (未来 过去 分歧点)   2016-08-23 19:19:00
我之前发文分享的~还被人说洗文章数XD
作者: skychy (就跟你说不要那么囉嗦..)   2016-08-24 10:56:00
重新看了一遍文章内容,感想还是跟楼上那篇一样“这些声音定位/强化技术老早就都有了”撇开耳机+webcam的外部定位,单纯就3D音场强化这块,十几年前的A3D就是主打这块,然后被onboard音效淹没了与其说是冷饭热炒,不如说是想搭著VR的顺风车吧!现在大多数消费者都用onboard音效,姑且可以解读成“其实大部分的人已经满意这种音质/效果”,而VR装置进入消费市场的当下,会购买VR设备的人,大多是“为了体验效果愿意多花钱”的族群,刚好符合这篇强化音效技术的受众这班顺风车再不赶上,下次就又不知道要等到啥时了 XD
作者: Tunie (兔妮)   2016-08-24 11:29:00
VR已经有这功能了 至少我玩的游戏有 ,所以我也完全搞不懂这装置还能做什么qq
作者: NoneWolf (Forty2)   2016-08-25 11:11:00
还是多此一举的感觉阿QQ不是就算不搭配VR HMD 根本是不搭配才会用的上的东西吧QQ
作者: anipeg (我是Make)   2016-08-28 23:39:00
vrgame处理音效时已有考虑定位,这只适用在听LIVEaudio吧我倒是希望能有支援喇叭用的定位系统~~

Links booklink

Contact Us: admin [ a t ] ucptt.com