http://n.yam.com/Article/20220328426319
成大团队人工智能技术发表3D版小猫巴克里
大成报／于郁金 2022.03.28 21:25
【大成报/记者于郁金/台南报导】国立成功大学今(28)日上午举办台湾原创动画《小猫巴
克里》3D版首映会，成大电机系特聘教授暨敏求智慧运算学院副院长杨家辉师生团队现场
展示由人工智能3D影片转换系统的最新研发成果，“裸视3D技术不用戴眼镜就能看立体电
影”，崭新又舒适的观影体验，惊艳四座。
杨家辉表示，业界已发展出2D影片转3D技术，但仍需大量人力切图与修正才能达到流畅与
舒适自然3D效果；经团队验证，“基于人工智能之3D影片转换系统”已可做到95%自动化
2D影片转换成3D，实务上只需要20分之1时间，大幅提升产量与效率。团队对于景深估计
与补洞的技术持续发展，未来目标朝全人工智能方向执行；此外，配合虚拟实境与扩增实
境应用，利用人工智能技术，原来精致的2D人、事、地、物影像，即可用来建构裸眼3D元
宇宙，加速元宇宙发展指日可待。
成大电资学院院长暨敏求智慧运算学院院长詹宝珠也是技术团队的成员，负责景深部份。
詹宝珠表示，景深用人去做其实很耗时间，连续几年研究团队都在找如何产生景深，并让
景深变成规格可以输入电视，让电视要播2D或3D都可以。
《小猫巴克里》3D版为首支由成大“人工智能3D影片转换系统”转换3D动画长片；试映会
现场，影片原创者邱立伟导演、国内裸眼3D萤幕制造厂商腾骐科技总经理潘群伦，以及国
内3D电影制作领导厂商兔将创意影业立体制作人苏莞筑与洪扬绚技术总监等皆出席与会。
享誉国际的台湾原创动画电影《小猫巴克里》导演邱立伟致词谈到，电影从黑白到彩色2D
到3D，再到AR或VR，所有的发展都在提供观众更真实感受；“(成大)这个技术如果能够透
过系统技术大量产出，观众可以接收到更多内容，会是一个非常有趣体验”。
邱立伟透露，当时《小猫巴克里》的确有考虑过直接做成3D影片，但是后来发现造价实在
太高，只好放弃。“成大团队技术成果让我们吓了一跳；杨老师技术团队反而把平面变成
立体，影片中有些画面我们没有真正搭建3D模型，没想到(人工智能)技术让平面的东西反
而呈现一个完全不同的风貌，等于变成另外一部电影，更有趣，更让观众可以投入，让(
电影)角色栩栩如生在眼前”。
传统3D电影制作需要大量人力、时间以及设备成本，《小猫巴克里》3D版运用国立成功大
学团队开发“基于人工智能之3D影片转换系统”，透过人工智能类神经网络及深度学习技
术，大幅提升影片2D转3D的速度及精准度，节省大量时间与人力，亦可节省后制及检查流
程，使整体成果更快、更准，3D效果更舒适。
“基于人工智能之3D影片转换系统”运用人工智能来解决两个关键问题，分别是像素3D资
讯(深度)生成及多视角影像合成，尤其裸眼3D影片需要多视角影像。
杨家辉进一步指出，现有影片都是属于单视角拍摄2D影片，要精确估计3D资讯，传统需要
设定许多推理条件来完成深度估测；设定推理规则时常有例外，使得推算出深度资讯有相
当大误差；“多视角影像合成，一定会产生前景边之空洞问题；传统算法多半是将背景
色彩做延伸来填补，因前景位移所产生空洞，这种方式在背景比较单调区域有不错效果，
但只要有非水平物件或者纹理背景，将会产生错误的填补资讯，并且在遮蔽资讯过多情形
下就无法重建出原始物件”。
“基于人工智能之3D影片转换系统”利用类神经网络强大物件化特征资讯，进而推算出单
视角深度资讯，在边缘区域将会做较锐化设计，减少模糊的不连续深度问题，同时深度学
习架构可以减少输入资讯视角数量，也能够在填补资讯上做出更加合理答案。
除此之外，“基于人工智能之3D影片转换系统”利用可变形卷积方式，来对影像上面各点
资讯位移来做预测，并且利用栅状卷积来对遮蔽区域资讯做计算，避免前景区域特征混和
正确影像资讯。“对于影像连续性的问题，我们加入时序特征计算，并且在时序上面也能
够提供被遮蔽区域相关资讯”。
“基于人工智能之3D影片转换系统”不只在技术上有所突破，亦突破传统思维，重新改造
影片转换流程，设计出影片分段器。杨家辉团队表示，每一帧画面在进入深度生成系统前
，会先被分类器分成不同种类片段；每段影片都会有较高相似性，而在这之中制作少量关
键深度；“利用关键深度来对系统进行训练，系统便可以针对每段影片做出相对应深度估
测；相较于直接做单视角深度估测，比较不会产生模糊情况而且准确率相对高很多，也可
以做出相应深度客制化设计”。
2009年电影《阿凡达》商业上成功，让电影制作公司趋之若鹜，纷纷投入3D电影制作，3D
影片蔚为风潮，3D影厅成为各电影院标准配备；当时，亦有人预估3D电视广播时代亦将紧
接而来；然而，过去十几年来3D电影产量比想像中少得多，3D电视广播亦胎死腹中，其中
关键便是3D电影制作成本与观赏舒适度。杨家辉表示，过去3D电影发展受阻主要是没有内
容，未来运用人工智能把2D影片大量转成3D，希望促进台湾影像内容软实力。
小猫巴克里真的算是台湾动画IP发展较好的了,几年前的电影版票房也是有赚,虽然海外票
房占大多数.

3D的优势不就是降低成本人力吗

便宜的烂3D才会降低人力成本

裸视3D技术，这个做起来不得了

3ds就有啊

好奇成品实际观看的样子