[讨论] WWDC21与iPad Pro M1的故事中段

楼主: KimomiKai (时雨大天使)   2021-06-19 00:57:49
一样哈噜镇楼先。
https://i.imgur.com/EsteLQN.jpg
前情提要:
[讨论] M1 iPad Pro讲的故事前半段
https://www.ptt.cc/bbs/iOS/M.1621091454.A.576.html
[讨论] 6/7 WWDC21节录
https://www.ptt.cc/bbs/iOS/M.1623110705.A.7F3.html
========
这次接续次一篇讲的前半段,结合WWDC21发表的开发者应用技术做结合。
(可以参考节录最末段Susan出来讲API那边)
首先是‘Object Capture’。
大体是利用多个2D图片叠加拟合3D物件所需要的深度资讯,而这个API最主要投入于AR应
用开发。
那为什么要着重于AR应用的开发?
时间需要回朔到2014~2017这段期间。
-2014 Google Tango
2014年2月透过手机上的‘双镜头’来获取物件所需要的深度资讯,但是Android手机镜头
百家争鸣,没有一个统一的规格以至于Google没办法很好的掌握好阵营内的各个硬件设备
,最终相关研究成果大部分转化成后来的ARCore基础应用。
-2017 Google ARCore
吸取前一次的教训,Google转而利用手机上配置的‘单镜头’,通过不断对同一场景进行
关键点获取来重建深度资讯,这动作就是Structure from Motion(运动结构重组)
但这样退而求其次的技术也面临一个重大问题,那就是要进行重组必定要先进行一段镜头
环绕物体的动作,不可能达到打开镜头立刻获取资讯,必定有时间成本放在这一块上。
此外利用这个方式查找深度资讯所占用的手机资源非常大,手机端要运算经常性的让手机
发烫,电量也通常无法维持很好的续航。
-2017 Apple ARKit
在2020年前,苹果的确和Google一样使用‘单镜头’进行同样的动作。
差别在于,苹果iPhone镜头的硬件参数以及手机的空间位移差等资讯,苹果自家最清楚,
可能造成的误差范围都有纳进去算法内做校正。不过硬件配合的掌握只是让苹果在当年的
技术领先一小部分。
-2020 Apple LiDAR镜头
Light Detection and Ranging。
光学雷达的应用直接利用传感元来获取深度资讯,简单又粗暴。
同一时间Android阵营也有很多手机有配备ToF镜头,但是Google要推,但下游厂商不领情
也没什么用,各家镜头参数不一千奇百怪,只有Google自己着急算法导致大家都只玩自己
的很难配合。
你可能会说这跟Object Capture又有什么关联了?
不是,正因为前面有技术的积累发展,导致WWDC21苹果直接宣布往后要面向‘XR技术’近
一步发展。
========
什么是‘XR’?
Extended Reality延展实境,有区别于虚拟实境VR、扩增实境AR、混合实境MR,XR是结合
虚、实以及人体与设备实时互动的技术,XR可应用范围极为广泛,各项产业肯定都沾得上
边,举凡道路、广告、教育、行销、餐饮等只要你想得到的地方都可以用。
XR技术最早可以追朔到1962年的电影制作人Morton Heilig发明的Sensorama(有兴趣可以
自行查找资料),其形式类似于现今电影院内的4DX电影座椅,其包括座椅、气味,双镜
片全息虚拟装置,但由于早期的应用只能‘看’不能‘摸’,可谓一点互动能力都没有。
来到1968年MIT的计算机科学家Ivan Edward Sutherland所发表的‘达摩克里斯之剑’
(https://www.youtube.com/watch?v=Hp7YgZAHLos)
笨重的设备在实验室沈寂许久,直到后来的Oculus Rift消费及产品(还有HTC VIVE)等V
R产品上市,XR技术也多少被抬升上来。
虽然2016年间大抵还是流行VR设备(我的VIVE也顶多拿来玩Beat Saber、VR Kanojo),P
S VR更是简单,完全只靠PlayStation Camera然后和VR头盔建立距离资讯(虽然我只拿来
玩夏日课程)有在玩Just Dance一定会觉得XBOX上用Kinect一定比PS好很多。
不过随即而来的是2017的挖矿潮,能做复杂运算的显卡皆无法用原价购买(跟现在一样QQ
),此外VR多发展在娱乐游戏方面,在日常生活工具方面没有任何技术发展,这就导致XR
技术发展非常困难。
========
由于篇幅有点长,后面还要讲‘Universal Control’才是把标题完全讲清,假日再补上
下半段。
那WWDC21推这技术的意义是什么?跟后面要讲的Universal Control又有什么关联?
如果你没有错过阿婆近期的“供应商消息”至少你会听说过阿婆要推Apple Glass。
那这两大技术的发布是不是又确立了几个事实,这留给你们自己想想。
作者: ilovewhere (我喜欢哪里?)   2021-06-19 01:54:00
安安,哈噜开店推
作者: sableangle (米米米米米奇)   2021-06-19 02:20:00
其实tango主要是用不可见光+红外线摄影机来认识场景的,原理上比较接近Kinect,FaceID,LiDAR,拥有真实的环境深度资讯;难以普及是2014年代整个模组不容易做到手机大小,tango的工程机大概跟switch差不多大,当然Android的破碎话也是个很大的因素,而ARCore,ARKit单镜头的实作则是以外航位推算法为主,然后用镜头影像的变化矫正误差累积ARCore,ARKit在只处理运动姿态的应用中其实是不需要扫描识别环境的,只靠IMU就能够还原大部分的手机运动
作者: chocy0909 (ㄩㄔ)   2021-06-19 12:55:00
推推!

Links booklink

Contact Us: admin [ a t ] ucptt.com